闪烁问题

[linghu-cell]

为什么我将视频重绘了，利用关键帧在生成视频，视频还是很闪烁？

[williamyang1991]

你的问题没有给出信息量，我无法帮助你

[linghu-cell]

您好，谢谢您的回复。我是使用Ebsynth的python脚本，将风格化的关键帧设置为每 5 帧，使用泊松渐变混合在视频的前 90 帧上运行 Ebsynth，使用以下命令将结果保存：python video_blend.py C:\Users\silive\Desktop\result\de --beg 0 --end 90 --itv 5 --key keys --output C:\Users\silive\Desktop\result\de\test.mp4 --fps 30.0 --n_proc 4 -ps，结果生成的视频很闪烁，请问这个问题怎么解决办法，或者优化方法？

下面是利用ebsynth进行补帧的数据：第一帧 -> 关键帧 -> 原始视频的分帧 -> 补帧后生成的结果

第一帧：

关键帧：

原始视频的分帧：

输出的视频结果：
https://github.com/williamyang1991/Rerender_A_Video/assets/152581017/c5cfb1cd-9495-4bf2-9775-6387c6fc8383

[williamyang1991]

未风格化的原视频第一帧长什么样

[linghu-cell]

未风格化的原视频第一帧长什么样

没有风格化的第一帧

[williamyang1991]

我不确定能否帮你解决闪烁问题，只能给你些建议试试

1. 针对有些手部变得很奇怪的问题，我建议你使用loose-cross-frame-attention，可能会缓解这些问题
   
2. 关掉泊松渐变融合可能会更平滑一点
3. 你的视频里面存在场景切换，可以每个场景单独处理
4. Pixel-aware fusion detail level开小一点
5. Pixel-aware fusion strength开小一点
6. Pixel-aware fusion end开大一点

至于EbSynth，因为它除了泊松渐变融合也没有其他可调的参数了，所以这部分我也没有好的改进建议

[linghu-cell]

十分感谢您的建议，这对我很有用。
我在生成过程中，查看了整个生成文件，在生成文件中有一个tmp文件，这个文件应该和 gmflow 有关，其中生成的图片应该就是导致视频闪烁的原因。您能解答一下gmflow 的生成原理吗？

下面是 tmp 文件中部分图片：

这是文件目录：

[williamyang1991]

gmflow是光流，找两张图像之间每个像素的对应关系。如果你的视频压缩很厉害，或者很多区域是纯色块，这部分就很难找到准确的对应关系，因此就会有闪烁的问题

[linghu-cell]

gmflow是光流，找两张图像之间每个像素的对应关系。如果你的视频压缩很厉害，或者很多区域是纯色块，这部分就很难找到准确的对应关系，因此就会有闪烁的问题

好的，谢谢您的回复

[BITHG287]

为什么我将视频重绘了，利用关键帧在生成视频，视频还是很闪烁？

怎么样，问题解决了吗？我这边也是闪烁。。。

[linghu-cell]

为什么我将视频重绘了，利用关键帧在生成视频，视频还是很闪烁？

怎么样，问题解决了吗？我这边也是闪烁。。。

没有