Repository navigation
Qwen3-ASR + vLLM 0.14.0 AsyncLLM:并发请求下同一音频转写结果漂移 1–3 字(非串音) #224
Replies: 1 comment
|
你的判断是对的。vLLM 默认不保证 batch invariance:temperature=0 加固定 seed,只能保证同一个 batch 组成下结果可复现。reproducibility 文档 也写明,在线/并发场景下只能靠 batch invariance 模式。你的 AsyncLLM 并发提交就属于这种情况。 v0.14.0 里可以试 import os
os.environ["VLLM_BATCH_INVARIANT"] = "1" # 必须在 import vllm 之前
from vllm import AsyncEngineArgs
from vllm.v1.engine.async_llm import AsyncLLM
engine = AsyncLLM.from_engine_args(AsyncEngineArgs(
model="Qwen/Qwen3-ASR-1.7B",
attention_backend="FLASH_ATTN",
# 其余参数照旧
))backend 不在支持列表里会直接报错(override_envs_for_invariance)。FLASHINFER 也能用,但只保证 decode 阶段不变。 关于 4090,需要说明:文档 写的是 compute capability ≥ 9.0(H100/B200)。不过 v0.14.0 的代码对 如果开了还有漂移,或者性能接受不了,最便宜的做法是只在回归测试时设 |
Uh oh!
There was an error while loading. Please reload this page.
Qwen3-ASR + vLLM 0.14.0 AsyncLLM:并发请求下同一音频转写结果漂移 1–3 字(非串音)
一、结论摘要
同一个音频文件、同一组推理参数、temperature=0,通过 AsyncLLMEngine 并发提交多个请求时,
转写结果会出现 1–3 个字的漂移(缺字、多字、同音替换、标点变化)。内容始终属于本音频,
不是串音。串行执行(并发 1)则逐字可复现。
判断为 vLLM 连续批处理导致的 batch 组成依赖(batch invariance 缺失),
而非缓存、数据竞争或业务层 bug。
二、环境
Qwen3ASRForConditionalGeneration)+ Qwen3-ForcedAligner-0.6BAsyncLLM.from_engine_args(进程内,非vllm serve)三、现象与实测数据
3.1 并发矩阵(同一音频 15902119.wav,98.2s)
而是每一步 batch 里恰好有哪几条序列。
说明是负载诱发,不是内容串扰。
全程单 chunk、不发生切块,因此漂移与 chunk 边界无关,是纯解码数值差异。
3.2 漂移形态
幺三三二,→。再见→按键、他们的电话→他们电话(少一个“的”)、高空作业→空作业、1997→19997、从→你无一处 ≥ 4 字
3.3 排除串音(30 个混合请求,3 个音频)
3.4 一个容易误判的“掉字”假象
对比时若按
timeline.blocks的下标逐项比,会把一个“分块边界移动”误判成整段错位:导致其后所有块的下标整体错位(示例中报了 318 处差异)
建议:比较结果时先按“去标点后的字符序列”对齐,或先按块文本聚合再比,
不要用块下标直接比对。
四、已排除的原因
五、根因分析(推断,与官方文档一致)
temperature=0只保证“每一步取 argmax”,不保证“相同输入必然相同输出”。会改变 GEMM 的 tile 形状与 split-K、以及 attention 的归约顺序。
这个量级的抖动足以翻转 argmax。
表现为字数 ±1(缺字/多字)。
All reactions