为什么模型训练一段时间之后 损失值为NAN

[wenshinlee]

Iteration:6800, l1_loss:0.0195, time_taken:34.68
Iteration:6850, l1_loss:0.0186, time_taken:34.54
Iteration:6900, l1_loss:0.0211, time_taken:34.56
Iteration:6950, l1_loss:0.0197, time_taken:34.67
Iteration:7000, l1_loss:0.0199, time_taken:34.17
Iteration:7050, l1_loss:0.0182, time_taken:34.50
Iteration:7100, l1_loss:nan, time_taken:34.08
Iteration:7150, l1_loss:nan, time_taken:34.11
Iteration:7200, l1_loss:nan, time_taken:33.50
Iteration:7250, l1_loss:nan, time_taken:33.02
Iteration:7300, l1_loss:nan, time_taken:33.36

[wenshinlee]

我是在Celeb上进行训练的，掩码是这样的，白色代表缺失

训练的时候，什么也没有更改

[CyrilCsy]

你好，能问一下，这个问题解决了嘛

[Ellohiye]

你好，能问一下，这个问题解决了嘛

你好，你复现也遇到这个问题了吗？可以交流一下吗

[Sheeran2000]

是不是因为mask二进制的值不一样, 作者那个有效值是1,缺失值是0, 你这个是缺失值是1, 有效值是0

我是在Celeb上进行训练的，掩码是这样的，白色代表缺失 训练的时候，什么也没有更改