Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于训练自己数据集一些疑惑: #161

Open
zhanghongyong123456 opened this issue Apr 14, 2022 · 2 comments
Open

关于训练自己数据集一些疑惑: #161

zhanghongyong123456 opened this issue Apr 14, 2022 · 2 comments

Comments

@zhanghongyong123456
Copy link

zhanghongyong123456 commented Apr 14, 2022

您好,再次感谢您开源的强大的视频抠像的项目,对于训练自己的数据集,有一些问题想请教一下,希望得到您的及时回复:
1.我制作了合成的数据集,这意味着,不能进行前景预测,对于前景预测,我看到作者回复的一些问题(
#132
),会影响运动模糊,产生背景泄漏的情况,对于项目我仅仅是注释了代码中对于前景loss的计算,其他的网络架构没有进行修改(尝试修改失败
#132 (comment)
)。第一次小数据集训练效果感觉很不错,于是制作了更加复杂的数据集,基于更加复杂、数据量很大的数据集,花费的很长时间得到的训练结果各种的不如意,没有小数据集的结果好,(
#150
),训练的策略基本按照您提供的进行阶段训练(这里没有制作第四阶段数据,于是使用的第三阶段视频数据集,进行第四阶段的训练),我看了训练的tensorboard 的loss 图表没有分析出来任何有用的信息。
2. 对于训练结果的闪烁现象,依然很严重,不确定是我训练超参数设置有问题,还是模型对于复杂区域会出现闪烁的问题,是否有解决或者缓解的方法。
期待您的回复!

@zhanghongyong123456
Copy link
Author

修改框架的补充:当我设置只进行pha估计的时候,在进行DGF细化的时候,为了匹配alpha的单通道格式,我将原来的图像和图像的均值拼接的操作直接替换为图像的均值(如下图),实验结果显示:我丢失了图像很多细化,所以对于这种框架方法的修改是不合适的,当只关注图像alpha而不去预测前景fgr应该如何修改细化DGF模块,期待您的回复!

  1. 对于alpha计算:(参考分割输出)
    05cbb544da3890950d4aeb5046a4ede
  2. 对于DGF细化模块的修改:
    4a36ac527651784b3164183cbbc445f

@chenzzzzzzz
Copy link

请问下您怎么制作替换未公开的两个数据集的呢?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants