预训练阶段bf16 loss下降速度要比fp16慢

[makai281]

在增量预训练阶段，使用fp16时候，loss经常飘了，切换成bf16，loss不飘，但是loss下降速度要比fp16慢很多，在fp16时候，训练30k steps，loss从6.x降低到2.1，但是在bf16时候，训练到55k steps，loss还在3.6附近。

fp loss tensorboard

bf16 loss tensorboard

这个是正常的嘛？