什么时候能支持WebSocket实时请求Qwen3-ASR

[JasonYangchen]

什么时候能支持WebSocket实时请求Qwen3-ASR
When will WebSocket real-time request Qwen3-ASR be supported

[LauraGPT]

FunASR 最新版本已支持基于 vLLM 的实时流式推理，推荐使用 Fun-ASR-Nano 模型（31 种语言）：

WebSocket 实时服务

pip install funasr>=1.3.3 vllm>=0.12.0

# 启动服务（vLLM 引擎 + 动态 VAD + 说话人分离）
python examples/industrial_data_pretraining/fun_asr_nano/serve_realtime_ws.py \
    --port 10095 --language 中文 --tensor-parallel-size 2

客户端

• 浏览器：打开 client_mic.html（支持麦克风/文件/热词/说话人）
• Python：python client_python.py --server ws://localhost:10095 --mic

性能

• vLLM 引擎比 PyTorch 快 3-5 倍
• RTF < 0.08，首字延迟 ~480ms
• 支持多卡 tensor parallel

文档

• 完整 vLLM 指南：docs/vllm_guide.md
• GitHub Pages：modelscope.github.io/FunASR/vllm.html

Qwen3-ASR 为社区模型，目前通过 FunASR AutoModel 接口支持离线推理。

[qiulang]

你好 #2836 说 ”Fun-ASR-Nano 当前为离线模型，不支持真正的流式推理。如需实时识别，请使用 paraformer-zh-streaming 模型“

所以现在是可以实时了，对吧

[JasonYangchen]

同问，什么时候支持WebSocket流式并发请求Qwen-ASR
就像examples/industrial_data_pretraining/fun_asr_nano/serve_realtime_ws.py一样
@LauraGPT

[qiulang]

@LauraGPT 我实际使用碰到两个问题：

1. 安装funasr 1.3.3 跑你给的ws例子会报错

ModuleNotFoundError: No module named 'funasr.models.fsmn_vad_streaming.dynamic_vad'

我查了代码发现是 funasr 1.3.3 发布包里没有包含 dynamic_vad.py，但 GitHub 仓库里已经有了。serve_realtime_ws.py 在顶层直接 import 这个模块，启动就报错。所以我的就从本地克隆的仓库安装 uv pip install /home/vllm/FunASR，覆盖 PyPI 版本。

2. 我安装的 vllm 是最新版 0.21 会报错

ModuleNotFoundError: No module named 'vllm.inputs.data'

原因：funasr 的 inference_vllm.py 写的是 from vllm.inputs.data import EmbedsPrompt，但 vLLM 0.21.0 已经把 EmbedsPrompt 移到了 vllm.inputs，子模块 vllm.inputs.data 不再存在。所以我改了 inference_vllm.py 的import

[qiulang]

补充，我看到 funasr 1.3.5 我说的两个问题都修改了 👍