训练512，推理出的视频嘴部遮罩没有去除。

[Ignorant98]

我通过data_processing_pipeline.sh将视频处理为512分辨率的，将stage1.yaml配置文件都设置为512，遮罩mask.png也重新输出为512分辨率，并从头训练U-Net，但中途推理出的视频嘴巴一直有个遮罩，在sync confidence值较高时，遮罩相比于低分会淡一些，但我无法确定是否是因为，训练次数和sync confidence较低造成的，希望有大佬能帮我。

val_video_75000.mp4

stage1.txt

[km2u-dev]

did u train the syncnet

[Ignorant98]

did u train the syncnet你训练过同步网络吗

我的U-Net和syncnet单独分开训练的，并没有将他们合并，你的意思是也需要将syncnet也训练到512分辨率吗？

[km2u-dev]

#12 (comment)

The author tells here to train syncnet

[Ignorant98]

#12 (comment)

The author tells here to train syncnet作者在这里讲述如何训练 syncnet
好的，感谢指引。

[km2u-dev]

let me know if you can solve the problem btw

[Ignorant98]

let me know if you can solve the problem btw如果你能解决这个问题请告诉我

当然可以，我正在进行512x512 SyncNet的训练，如果后续训练U-Net出结果后将告诉你。

[weijer]

如果你能解决这个问题，请告诉我

当然可以，我正在进行512x512 SyncNet的训练，如果后续训练U-Net出结果后将告诉你。

请问 512x512 需要什么配置显卡？

[Ignorant98]

如果你能解决这个问题，请告诉我

当然可以，我正在进行512x512 SyncNet的训练，如果后续训练U-Net出结果后将告诉你。

请问 512x512 需要什么配置显卡？

现在只是是测试流程阶段，使用了2张A100。这篇文章有提及训练256所需的配置：https://zhuanlan.zhihu.com/p/15729709724

[Ignorant98]

@chunyu-li 你好，我按照 #12 所提供的流程，训练512模型，并推理视频，嘴部还是有遮罩。是我训练不够，我使用2张A100进行训练。或者是配置修改错误。
配置文件：syncnet_16_pixel_attn.txt
stage1.txt

1，这是我训512 SyncNet的30000次结果

2，这是训练7500次的U-Net

3，视频效果
https://github.com/user-attachments/assets/3b0420b4-6ddf-4461-8711-c4a4e083b427

[chunyu-li]

一阶段训练跟syncnet没啥关系，你在256分辨率上复现成功了吗？我自己也没训过512，不知道code里会有什么问题，但说实话我感觉U-Net一阶段才训 7500步有点少

[Ignorant98]

一阶段训练跟syncnet没啥关系，你在256分辨率上复现成功了吗？我自己也没训过512，不知道code里会有什么问题，但说实话我感觉U-Net一阶段才训 7500步有点少

一阶段训练256的没问题。那就是我步骤和配置是没错，只是步数少，或者代码里需要修改一些问题了。

[skywalker00001]

一阶段训练跟syncnet没啥关系，你在256分辨率上复现成功了吗？我自己也没训过512，不知道code里会有什么问题，但说实话我感觉U-Net一阶段才训 7500步有点少

一阶段训练256的没问题。那就是我步骤和配置是没错，只是步数少，或者代码里需要修改一些问题了。

#191 我的384分辨率训练也遇到了一些问题，加个wx交流一波？我的wx： qq552086268

[Kydon-ai]

你用的时comfyUI吧，权重没下全会这样的，他拉下来并不会自动下载完。
参见：https://github.com/ShmuelRonen/ComfyUI-LatentSyncWrapper
找到整合权重，解压到该节点的checkpoint下面就可以了