training loss

[chenjiachengzzz]

尊敬的作者您好，你们做出了非常棒的工作，我在复现你们实验结果时，遇到了一个问题，训练 loss 几乎不会变化(一直维持在 0.3)，请问这个现象是正常的吗？希望得到您的解答！

[iwuqing]

请问你是在使用哪个数据集进行训练哈?

[chenjiachengzzz]

请问你是在使用哪个数据集进行训练哈?

使用的是您提供的处理过的 HCP 数据

[iwuqing]

请问你在训练的时候都是使用的默认参数吗？

[chenjiachengzzz]

请问你在训练的时候都是使用的默认参数吗？

使用的是默认参数

[iwuqing]

你能展示下你的训练的loss曲线吗？

[chenjiachengzzz]

你能展示下你的训练的loss曲线吗？

loss 几乎不收敛

[iwuqing]

我之前训练并没出现这样情况，你是否可以尝试下把初始学习率降低一些？

[chenjiachengzzz]

我之前训练并没出现这样情况，你是否可以尝试下把初始学习率降低一些？

我现在使用 5e-5的学习率重新训练一下，您看一下 训练参数是否有错。您可以提供一下您训练的 loss 记录给我做一个参考吗？
十分感谢您的耐心回复！

[chenjiachengzzz]

我之前训练并没出现这样情况，你是否可以尝试下把初始学习率降低一些？

您好，我学习率下降到 5e-5 loss还是不降哎！

[FreshmanMa]

我之前训练并没出现这样情况，你是否可以尝试下把初始学习率降低一些？

您好，我学习率下降到 5e-5 loss还是不降哎！

之前我也遇到过，但是我把之前的工程下的 pycache 这个缓存文件删掉，我当时就解决了，不知道你那边这样能不能解决

[chenjiachengzzz]

我之前训练并没出现这样情况，你是否可以尝试下把初始学习率降低一些？

您好，我学习率下降到 5e-5 loss还是不降哎！

之前我也遇到过，但是我把之前的工程下的 pycache 这个缓存文件删掉，我当时就解决了，不知道你那边这样能不能解决

哇，可以了啊，loss 在降低了，太感谢大佬了，我被这个问题困惑很久了！