higgs tts input异常

[paleyoupa]

python examples/higgs_audio_v3_quickstart.py
--checkpoint /workspace/models/higgs-audio-v3-tts-4b
--text "Four score."
--out test_four_score.wav
Could not determine semantic model type from config architecture. Defaulting to HubertConfig.
[FP8 W8A8] 'Four score.'
-> test_four_score.wav (40.68s audio, 17.80s wall incl 1st-call setup)
done.
用"Four score."生成的wav文件也是杂音，40.68s应该是超时了

python examples/higgs_audio_v3_quickstart.py
--checkpoint /workspace/models/higgs-audio-v3-tts-4b
--text "Four years ago."
--out test_four_years.wav
Could not determine semantic model type from config architecture. Defaulting to HubertConfig.
[FP8 W8A8] 'Four years ago.'
-> test_four_years.wav (1.32s audio, 7.28s wall incl 1st-call setup)
done.
用其他生成没问题

[LiangSu8899]

您好！我这边尝试复现了一下，能稳定复现 40.68s 的是 BF16 路径，纯 FP8 路径没有这个问题。

我这边具体结果：

• FP8 + "Four score."：正常，大概 1.40s / 35 frames
• BF16 + batched prefill + "Four score."：稳定复现 40.68s，也就是直接跑满 max_new_frames，没有生成 EOC
• BF16 关掉 batched prefill 之后就恢复正常了，我这边会修复这个batched prefill的bug

---

另外，你给的 "Four years ago." 是 1.32s，但我这边纯 FP8 单独跑大概是 1.00s；我这边能跑到 1.32s 的路径是 BF16/eager。这个现象有点像是：你那边虽然日志里打印了 [FP8 W8A8]，但实际生成轨迹不像我这边的纯 FP8，可能中间有 fallback、代码分支不一致，或者某段 prefill / KV 路径走到了 BF16 或者非 FP8 等价路径。

麻烦你帮忙确认一下环境：

• 用的是哪个 FlashRT commit / branch？
• checkpoint 路径 /workspace/models/higgs-audio-v3-tts-4b 是否和main这边最新版本代码一致？
• GPU / driver / torch 版本分别是什么？
• 有没有设置过 FLASHRT_HIGGS_BATCHED_PREFILL / FLASHRT_HIGGS_GRAPH？

另外建议在 quickstart 里加几行打印，确认一下实际走的精度路径：

print("fe.fp8 =", fe.fp8)
print("graph =", fe._use_graph)
print("batched_prefill =", fe._batched_prefill)

wav = fe.generate(args.text)

print("decoder =", type(fe._dec).__name__ if fe._dec else None)

[paleyoupa]

1.用的是higgs的分支，编译的docker镜像
2./workspace/models/higgs-audio-v3-tts-4b 这个模型就是bosonai/higgs-audio-v3-tts-4b 的模型
3.5060ti，Driver Version: 595.71.05 CUDA Version: 13.2 , torch 2.9.0a0+145a3a7bda.nv25.10
4.FLASHRT_HIGGS_BATCHED_PREFILL / FLASHRT_HIGGS_GRAPH 应该没设置过
5.另外补充一点，我用sglang-omni跑相同的higgs-audio-v3-tts-4b 模型，没发现这个问题
6.根据你的建议重新跑了下
python examples/higgs_audio_v3_quickstart.py --checkpoint /workspace/models/higgs-audio-v3-tts-4b --text "Four score." --out test_four_score.wav
Could not determine semantic model type from config architecture. Defaulting to HubertConfig.
[FP8 W8A8] 'Four score.'
-> test_four_score.wav (40.68s audio, 17.84s wall incl 1st-call setup)
done.
fe.fp8 = True
graph = True
batched_prefill = True
decoder = HiggsAudioV3Fp8Decoder

[LiangSu8899]

好的，谢谢提供信息，5060这个数值那应该相对合理
#141 做了完整修复，目前90和6000环境在各类prompt和参数组合下是能稳定运行的了，您可以拉这个分支测一下看看@paleyoupa，稳定运行我这边就合并进上游了，谢谢