关于美颜

[hi-glenn]

您好，

   我想使 WebRTC 具有美颜功能，请问具体该如何实现呢？ 
   
   比如我找到有 GPUImage 这个图像处理库，该如何结合到 WebRTC 上呢？

[cloudwebrtc]

你需要将VideoRenderer 里面的数据回调处理,通过onFrame 得到YUV，处理完后再发送给VideoSourceTrack.

[hi-glenn]

能否推荐这方面的 demo 呢？

好参考一下，最好 iOS 和 Android 都来一个

[cloudwebrtc]

我没写过这方面的项目，你可以通过下面的连接找到YUV帧回调的地方，拿到数据后再做理图形处理.
https://github.com/cloudwebrtc/flutter-webrtc/blob/master/ios/Classes/FlutterRTCVideoRenderer.m#L174
https://github.com/cloudwebrtc/flutter-webrtc/blob/master/android/src/main/java/com/cloudwebrtc/webrtc/SurfaceTextureRenderer.java#L97
隔壁有一个要做机器学习，面部检测的貌似是一样的需求，如果你可以帮忙PR 不胜感激
#108

[hi-glenn]

好的，感谢

[telinx]

美颜和ml逻辑以下描述都适合
android:
下载webrtc源码，修改videosource-》CapturerObserver=》 onFrameCaptured源码（在这添加你的抽象处理逻辑对象），重新编译aar引用，GetUserMediaImpl修改videosource，注入逻辑（获取i420数据转bitmap，处理bitmap，再将bitmap转成VideoFrame）
iso:
继承VideoCapturer，自己实现自己的Capturer，在获取frame的方法中处理，原理同android

[ryuujo1573]

美颜和ml逻辑以下描述都适合 android: 下载webrtc源码，修改videosource-》CapturerObserver=》 onFrameCaptured源码（在这添加你的抽象处理逻辑对象），重新编译aar引用，GetUserMediaImpl修改videosource，注入逻辑（获取i420数据转bitmap，处理bitmap，再将bitmap转成VideoFrame） iso: 继承VideoCapturer，自己实现自己的Capturer，在获取frame的方法中处理，原理同android

Hi, should I modify the source code instead of overriding sth like FooCapturerObserver from platform code, despite of poor generality in design?

I spent one hour figuring out what exactly should I do on videosource, and found that you mean source code by https://webrtc.googlesource.com/src rather than flutter-webrtc... Sorry...
I found myself incapable of messing around with the underlying code, hmmm...

I was wondering if you could help me on this: Is pure dart code implementation (with Platform Channel mighty) possible for a customized pipeline function to work, e.g. "美颜"?