Repository navigation
[腾讯犀牛鸟2026 #6790] Qwen3-ASR-0.6B ncnn C++ 端到端移植与跨平台验证 #6999
Maester-raven
started this conversation in
Show and tell
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
Qwen3-ASR-0.6B ncnn C++ 端到端移植与跨平台验证
对应任务:#6790
项目仓库:
https://github.com/Maester-raven/Qwen3-ASR-ncnn
实际完成 Linux / macOS 严格一致性验证的代码 commit:
726b9b5352724cefb0faeee20b58a9a66f4307c01. 完成情况
本项目完成了 Qwen3-ASR-0.6B 到 ncnn 的转换以及 C++ 端到端 ASR 推理。
主要完成内容:
完整推理流程:
最终 C++ runtime 推理过程不依赖 PyTorch / Transformers。
Python 工具主要用于模型导出、转换以及离线资源生成。
2. 模型转换
为了适配 ncnn 推理,将模型拆分为多个模块,包括:
相关导出与转换脚本位于项目仓库的
tools/目录。Audio Transformer 中的 scaled dot-product attention 在导出后还需要进行对应的 ncnn graph patch。
生成后的
.param/.bin权重文件体积较大,因此没有提交到 GitHub repository。3. C++ Autoregressive Decode
C++ runtime 实现了:
Prefill 生成第一个 token,之后每一个 decode step 只输入最新 token,并复用之前保存的 KV Cache。
4. PyTorch / Hugging Face 一致性验证
固定验证输入:
PyTorch / Hugging Face reference 与最终 ncnn C++ runtime 进行逐 token 对比:
最终 ASR 输出:
验证结果:
5. Linux / macOS 跨平台验证
同一份最终 C++ source 分别在两个平台完成 fresh build 和完整 ASR 推理。
Linux x86_64
macOS arm64 / Apple Silicon
6. Apple Silicon FP16 数值一致性问题
在 macOS Apple Silicon 初次验证时,默认 ncnn FP16 runtime path 在 generated token index 22 出现 argmax 分叉。
当时两个候选 logit 非常接近:
由于是 autoregressive generation,一个 token 的不同会继续影响后续 KV Cache 和整个生成序列。
为了进行确定性的跨平台一致性验证,最终关闭:
使用 FP32 runtime path 后:
两个平台最终生成完全相同的 reference token sequence。
7. Persistent Decode 优化
初始版本中,每个 autoregressive decode step 都会重新加载 ncnn 模型,造成较大的系统调用与模型加载开销。
之后将以下
ncnn::Net常驻内存:每个 inference operation 只重新创建
ncnn::Extractor。Linux 测试:
该优化通过增加常驻内存占用,显著降低了 autoregressive generation 中重复加载模型的开销。
8. 当前限制
当前实现仍然是 fixed-shape prototype。
目前假设:
目前尚未实现:
本文中的严格 PyTorch / ncnn parity 结论针对固定 Chinese validation fixture。
英文和中英混合输入目前尚未加入严格 regression set,因此本文不对未测试输入作一致性声明。
9. Repository
https://github.com/Maester-raven/Qwen3-ASR-ncnn
最终验证状态:
All reactions