Home

金山云直播推流Android SDK架构简介

KSYStreamer Android SDK是金山云推出的 Android 平台上使用的软件开发工具包(SDK), 提供了对音视频的采集、处理、预览、编码、推流的能力，并具有强大的可扩展性。

本文将简要介绍当前推流SDK各主要模块的功能，以及开放源码的推流聚合类KSYStreamer组织这些模块的方式， 以方便开发者加强对SDK内部结构的理解，进而可以根据自己的需求使用各个模块组建自己的推流聚合类。

1. SDK的框架结构

SDK设计为采用分模块Pipeline化的结构，支持模块间自由连接以及运行时的动态重连接。

1.1. Pipeline结构

下图展示了SDK的pipeline设计结构图：

Figure 1. Pipeline设计结构图

1.2. 使用Pin来连接各个模块

Note	该小节主要用来说明SDK内部各个模块之间连接方式以及数据流的传送机制，开发者如需要自定义推流kit类，或者开发自己的模块，需要特别关注该部分的说明。

在搭建推流Pipeline的时候，各个模块之间的连接使用 SrcPin 和 SinkPin 来完成。

• 一个Module包含若干个Pin, Module之间的连接由Pin来实现

• Pin包含SrcPin和SinkPin, 分别产生和消耗数据流

• SrcPin及SinkPin均是泛型类，创建时需要指定数据格式，相同数据格式的Pin才可以连接，例如：

  • SrcPin<ImgTexFrame> → SinkPin<ImgTexFrame>

  • SrcPin<ImgBufFrame> → SinkPin<ImgBufFrame>

  • SrcPin<AudioBufFrame> → SinkPin<AudioBufFrame>

• 一个SrcPin可以连接多个SinkPin, 一个SinkPin只能跟一个SrcPin连接；

• 所有连接或断开连接的操作均由SrcPin端操作；

1.2.1. Pin的相关操作

• 调用SrcPin的connect接口连接两个模块

  public void connect(SinkPin<T> sinkPin)

• 调用SrcPin的disconnect接口断开连接

  // 断开所有已连接的SinkPin, recursive为true时表示需要递归断开后面所有已连接的模块
  public void disconnect (boolean recursive)
  // 断开指定的某个已连接的SinkPin，recursive为true时表示需要递归断开后面所有已连接的模块
  public void disconnect (SinkPin<T> sinkPin, boolean recursive)

  SrcPin调用disconnect后，SinkPin端可以收到onDisconnect事件

  // 源端已断开连接，recursive为true时需要release当前模块，并递归断开后面所有已连接的模块
  public abstract void onDisconnect (boolean recursive)

• 处理onFormatChanged

  该接口表示数据格式的改变，源端数据初始化完成及发生改变时均需要触发改事件， Sink端一般需要在该回调中进行一些初始化的工作。

  • 包含SrcPin的模块需要在合适的时机触发onFormatChanged;

  • 包含SinkPin的模块需要根据需要处理SrcPin触发的onFormatChanged事件；

• 处理onFrameAvailable

  • 包含SrcPin的模块需要在新的一帧数据ready时触发onFrameAvailable;

  • 包含SinkPin的模块在onFrameAvailable中可以获取新的一帧数据；

2. 各主要模块介绍

SDK内部主要实现了音视频的采集、处理、预览、编码和推流功能，下面将对应SDK中的类名进行说明。

2.1. 图像采集

CameraCapture	摄像头采集模块，封装了对手机Camera的相关操作，将采集到的图像输出为针对GPU的ImgTexFrame，和针对cpu的ImgBufFrame。
WaterMarkCapture	水印数据生成模块，生成logo图片以及时间戳的ImgTexFrame和ImgBufFrame数据。
MediaPlayerCapture	播放采集模块(目前在画中画中实现)，采集视频文件中的音视频数据，将视频内容输出为ImgTexFrame.
PictureCapture	图片采集模块(目前在画中画中实现)，将图片文件输出为ImgTexFrame.

2.2. 声音采集

AudioCapture	麦克风采集模块，包含普通的AudioRecord采集，针对低延迟音频的OpenSLES采集，以及不占用mic，仅输出静音数据的Dummy采集方式。
AudioPlayerCapture	背景音乐播放及采集模块。

2.3. 图像处理

如下仅列举了软编、硬编模式下基于GPU图像处理的相关模块，软编兼容模式因为应用场景较少，其基于CPU的图像处理模块封装在VideoEncoderMgt中，不再单独说明。

ImgTexFilterMgt	美颜滤镜的管理类，封装了美颜模块的动态替换操作。
ImgTexFilterBase	GPU Filter的基类，封装了SrcPin及SinkPin的相关操作，以及FBO的创建及复用逻辑。开发者如需自定义美颜滤镜，可以继承该基类来实现。
ImgTexScaleFilter	该模块完成Camera所采集数据的crop、scale、rotate及颜色空间转换。
ImgBeautyXXXFilter	各种内置美颜滤镜的实现类。
ImgTexMixer	基于GPU实现的图像混合类。可以接受最多8路Texture输入，然后根据设定的渲染位置及大小， 在MainIndex的数据到来时按照index从低到高的顺序依次将输入Texture渲染到下一级的FBO上。 该类同时提供了scalingMode及mirror属性的设置。

2.4. 音频处理

AudioFilterMgt	音频滤镜的管理类，封装了对音频滤镜的动态替换操作。
AudioFilterBase	音频filter的基类，继承该类可以方便的自定义音频滤镜。
(KSY)AudioXXXFilter	SDK内部实现的各种音频Filter.
AudioMixer	混音处理类，可以支持最多8路音频的混合。

2.5. 预览

AudioPreview	音频预览(耳返)的实现类，接收AudioBufFrame并将其播放出来。
ImgTexPreview	图像预览的实现类，接收ImgTexFrame并将其显示在设置的view上。SDK支持创建多个ImgTexPreview，可以据此实现多种美颜滤镜的同屏对比。

2.6. 编码

编码模块负责将原始的音视频数据进行压缩，以适合网络传输或本地存储。

VideoEncoderMgt, AudioEncoderMgt	音视频编码管理类，封装了软硬编切换的相关逻辑。同时软编兼容模式下的CPU Filter的相关处理也封装在VideoEncoderMgt中。
AVCodecVideoEncoder	视频软编的实现，支持264及265编码。使用264编码时，支持编码档次及场景模式的设置，以达到编码质量和功耗的平衡。
AVCodecAudioEncoder	音频软编的实现，支持AAC LC/HE/HEv2编码。
MediaCodecSurfaceEncoder	视频硬编的实现，根据机型本身的能力，实现了对264和265编码的支持。
MediaCodecAudioEncoder	音频硬编码的实现，支持AAC LC编码。

2.7. 封装和发布

这部分负责将编码后的音视频数据封装到一起，然后按照指定的协议、格式发送到网络或保存在本地。

RtmpPublisher	RTMP推流实现类，将编码后的音视频数据封装后按照RTMP协议推送到网络服务端。 该类实现了推流过程中的网络统计，并可以根据实时网络状况反馈推荐的推流码率，可据此结合编码模块实现推流过程中的网络自适应。 同时支持添加自定义meta信息。
FilePublisher	封装并存储视频文件到本地的实现类，支持mp4, flv,gif格式。同时支持在文件头中加入自定义meta信息。

3. KSYStreamer类的组织方式

KSYStreamer是SDK内部封装好的接口类，可以满足大多数直播、录制需求， 下图将详细展示KSYStreamer接口类中是如何将上一节中的各个模块组织起来的， 可以参看KSYStreamer的源码来阅读。

Figure 2. KSYStreamer组织结构图（可以在新标签页中查看大图）