[Question] 关于FP8训练的问题

[ifififa]

Your Question

我参照 https://thudm.github.io/slime/zh/advanced/low-precision.html 文档中例子做了FP8训练，TransformerEngine最终存了FP16的torch_dist权重，在转成HF格式后，再从FP16转到FP8是不是无损的呢？如果还是会有训推不一致的问题，怎么和TransformerEngine训练时的FP8保持对齐？

目前FP16转FP8用的是slime中提供的工具：tools/convert_hf_to_fp8.py

What I've Tried

I have tried the fp8 training.

Environment (if relevant)

• slime version:
• Python version:
• PyTorch version:
• CUDA/ROCm version:
• GPU type and count:
• OS:

Additional Context

No response

Pre-submission Checklist

• I have read the CONTRIBUTING.md and understand the collaboration scope.
• I have read the documentation and FAQ and my question is not answered there.
• I have searched for existing issues and my question has not been asked before.

[zhuzilin]

感谢反馈，这个现象是符合预期的：

• 我们保存出来的 checkpoint 本身是 BF16 精度，这是正常的，并不是 bug。
• 转换脚本会把权重转换到训练过程中推理路径使用的精度（也就是训练时 eval / generation 等操作实际用的 dtype），所以导出的权重精度/行为会和训练过程保持一致。

需要说明的是：目前没有一个可以把模型“完整转换成 HF 格式”，同时还能在数值上与 Megatron FP8 输出完全一致的方案。原因在于 Megatron 的 FP8 路径涉及特定的量化/缩放策略、算子实现细节以及可能的权重打包方式，而 HF 侧不存在 1:1 的等价表示，因此导出到 HF 后出现一定数值差异是预期的。

[ifififa]

感谢反馈，这个现象是符合预期的：

• 我们保存出来的 checkpoint 本身是 BF16 精度，这是正常的，并不是 bug。
• 转换脚本会把权重转换到训练过程中推理路径使用的精度（也就是训练时 eval / generation 等操作实际用的 dtype），所以导出的权重精度/行为会和训练过程保持一致。

需要说明的是：目前没有一个可以把模型“完整转换成 HF 格式”，同时还能在数值上与 Megatron FP8 输出完全一致的方案。原因在于 Megatron 的 FP8 路径涉及特定的量化/缩放策略、算子实现细节以及可能的权重打包方式，而 HF 侧不存在 1:1 的等价表示，因此导出到 HF 后出现一定数值差异是预期的。

@zhuzilin 感谢您的回复！用tools/convert_hf_to_fp8.py转换怎么设置--strategy、--block-size参数能尽量与训练时Megatron FP8保持一致呢？我目前用的是--strategy block，--block-size 32 32

[BeerTai]

想问一下，fp8训练的话，如果hf模型本身权重就是fp8了，那么转换成megatron权重的时候是不是要先将hf的fp8转换成bf16，然后再映射到megatron权重？

[Gao016]

想问一下，fp8训练的话，如果hf模型本身权重就是fp8了，那么转换成megatron权重的时候是不是要先将hf的fp8转换成bf16，然后再映射到megatron权重？

是这样的