tools中clip的问题

[cyzhangAThit]

Hi,
我之前曾经问过一个训练生成对话模型（机器翻译模型未做实验）过程中经常会遇到"NaN"的问题，之前获得的建议是调整学习率，我试过很多次，但仍然会出现这种情况。我最近发现在tools.py中的clip函数中，只处理了NaN的情况，而实际发现，梯度更多的是先出现Inf的情况，进而会导致cost出现NaN的情况。而加入Inf的处理后，"NaN"的情况目前就没有出现过了。不知道这种解决方案是否是对的？

[Glaceon31]

我们也发现即使处理了NAN的情况偶尔还是会有cost出现NAN的现象。你的方案应该是对的，如果有机会的话我们也会尝试一下，谢谢！