如何应对滤波器发散？如何判断收敛情况？

[HeYingnan]

我发现在训练过程中，总是存在一些数据会在迭代过程中发散。并且，在训练过程中，loss总是根据数据的不同，来回震荡。请教下作者针对这两个问题，有什么解决办法呢？

[zzzzzzxm]

你好，请问你解决这个问题了吗？

[HeYingnan]

你好，请问你解决这个问题了吗？

在经过初始化训练后，可以通过合理设置数据混合方式来解决大部分发散问题。通过约束异常loss的反向传播，可以使训练持续训练下去。loss仍然是来回震荡的。但可以在验证集上观察到下降趋势，并根据此选取合适的模型。

[zzzzzzxm]

你好，请问你解决这个问题了吗？

在经过初始化训练后，可以通过合理设置数据混合方式来解决大部分发散问题。通过约束异常loss的反向传播，可以使训练持续训练下去。loss仍然是来回震荡的。但可以在验证集上观察到下降趋势，并根据此选取合适的模型。

好的，谢谢您的回复

[bhb-coder]

你好，能把训练代码给参考下吗