[ncnn] Qwen3-TTS 0.6B C++/ncnn 移植：Windows/Linux CPU FP32 任意文本推理

[mzyfc]

本项目将 Qwen3-TTS-12Hz-0.6B-CustomVoice 的确定性推理链路迁移到 C++/ncnn，目标是在不依赖 Python、PyTorch 或在线 API 的环境中完成文本到 24 kHz WAV 的生成。

实现范围

• Qwen2 byte-level BPE C++ Tokenizer，支持 Windows UTF-8 命令行。
• BF16 文本 embedding 查表和 2048 → 2048 → 1024 文本投影。
• Talker 28 层 GQA Transformer Prefill 和单 Token KV Cache Decode。
• 官方 repetition_penalty=1.05 和 codec token suppress 策略。
• 5 层 Code Predictor，C++ 控制 15 个残余码本的逐步生成。
• RVQ、pre-conv、8 层 Speech Decoder Transformer 和 Vocoder。
• 根据文本长度和生成帧数，在运行时专门化 pnnx 固化的 Gemm、Reshape 和 Crop 参数。
• 公共 Qwen3TTS::synthesize_to_file() API 和 qwen3_tts_cli。

pnnx 固定序列长度问题

pnnx 导出的 Transformer 图会把 trace 时的序列长度写入 Gemm 的 M 参数和 Reshape 维度。Talker Prefill、Speech Decoder 和 Vocoder 因此不能直接处理其他文本长度或音频帧数。

本项目保留共享权重 .bin，运行时只修改 .param 中与序列长度相关的字段，再通过 ncnn::Net::load_param_mem() 加载专门化参数。单 Token Decode 使用独立的长度 1 参数图，并复用 Prefill 权重。

数值验收

用例	帧数	Token	PCM 最大绝对误差
中文短句	23	368/368	2.25939e-06
英文短句	31	496/496	5.69411e-06
长中文	63	1008/1008	3.72529e-06

任意文本样本：

这是本地运行的千问零点六B语音模型测试。

• C++ Token ID 与 Hugging Face 完全一致。
• Talker Prefill 输入最大误差 2.02656e-06。
• 31 帧主码本序列与 PyTorch 完全一致。
• 最终 59,520 个 PCM 样本量化后最大相差 1 LSB。
• Windows CPU FP32、4 线程耗时约 21–23 秒。
• Ubuntu 24.04.1 / WSL2、GCC 13.3.0 的 Release CTest 为 9/9，通过时间 258.98 s。
• Linux 正式 CLI 耗时 46.8491 s；与 Windows 输出长度一致，逐 int16 样本最大差异 1 LSB（142 个样本）。

Windows Release CTest：9/9 通过，总时间约 109.12 s。Linux Release CTest：9/9 通过，总时间约 258.98 s。

使用方式

Windows：

qwen3_tts_cli.exe `
  --model outputs/reference `
  --text "这是一个新的语音合成测试。" `
  --language Chinese `
  --speaker Vivian `
  --threads 4 `
  --max-frames 48 `
  --output result.wav

Linux：

./build-linux-release/qwen3_tts_cli \
  --model outputs/reference \
  --text "这是一个新的语音合成测试。" \
  --language Chinese \
  --speaker Vivian \
  --threads 4 \
  --max-frames 48 \
  --output result.wav

当前限制

• 已验证 Windows x64 与 Ubuntu 24.04.1 / WSL2 x86_64 CPU FP32。
• 暂不支持 voice instruction、Vulkan、FP16/INT8 和流式输出。
• 转换后的模型资产体积较大，需要单独发布，不直接提交到 Git。

仓库地址：https://github.com/mzyfc/Qwen3-TTS-ncnn

上游项目：

• https://github.com/QwenLM/Qwen3-TTS
• https://github.com/nihui/ncnn_llm
• https://github.com/Tencent/ncnn
• https://github.com/pnnx/pnnx

[danialzivehdadr]

Ok me book on 💁

[danialzivehdadr]

🫂🙏

[danialzivehdadr]

مشکل چی بود میشه توضیح بدید بهتر متوجه شدم یاد نمیاد