数值不稳定问题

[yangwei-nlp]

由于数值溢出问题，当preds中错误类别的数值绝对值特别大的时候，loss容易计算得到inf。

建议不要采用softmax+log，采用log_softmax+exp会更好。

Focal-Loss-Pytorch/Focal_Loss.py

Lines 42 to 43 in 1f3da28

	preds_softmax = F.softmax(preds, dim=1) # 这里并没有直接使用log_softmax, 因为后面会用到softmax的结果(当然你也可以使用log_softmax,然后进行exp操作)
	preds_logsoft = torch.log(preds_softmax)

[yatengLG]

好的，谢谢。