Repository navigation
Releases
gsv.cpp v0.1.3
gsv.cpp 0.1.3
已有一键包 0.1.0 / 0.1.1 / 0.1.2 下载
GSV.CPP-win64-patch-0.1.3.zip(约 15 MB),
关闭 GAG 后解压覆盖到原目录即可,不需要重下 3 GB 完整包。该补丁是累积式的,
已包含 0.1.1 / 0.1.2 的全部内容,从 0.1.0 直接打或打过 0.1.1 / 0.1.2 再打结果一致,无顺序问题。文件集合是历史补丁的超集(0.1.1 的 5 个文件、0.1.2 的 16 个文件全部在内且为最新版),已逐项校验。
sha256f9e38652d956313a8e28c9953979054cfc011955ff46752a71ac00a86c523062(15,205,857 字节,17 个文件)。
本版只做两件事:AR 解码里一处纯浪费的 KV cache 拷贝(CPU + GPU 两条解码路径都清了),
以及 GAG「批量合成」页的两个可用性问题(用 Default 预设点合成会卡死 + 没有说明)。
引擎:AR 解码不再每 token 复制整个 KV cache
解码图里每层每 token 都有一次 concat(cache[0..L), 新列):把已经存在的 L 列 K/V 复制到新缓冲,
再让 flash attention 读回来。这份拷贝的唯一作用是让"写 → 读"依赖在图上显式化,数学上完全多余
(L≈200 时 2.0 ms/token,占解码 29%)。
现在新列直接写进常驻 cache 的第 len 列,flash 读 cache 的 [0, len] 视图;写→读顺序由
"副作用根先 expand、节点序即执行序"保证。GPU 的图缓存解码路径同理:为了冻结注意力 key 长度
原本每层每步固定复制 Lmax 列,现在 flash 直接读常驻 cache 的常量长度视图(cache 多分配 1 列、
mask 语义相应调整),图缓存照旧复用。
| 路径 | 0.1.2 | 0.1.3 | 变化 |
|---|---|---|---|
| CPU 4 线程,prompt 200,179 步 | 24.84 ms/token | 12.55 ms/token | −49% |
| CPU 8 线程,prompt 400,179 步 | 23.9 ms/token | 12.9 ms/token | −45% |
| Vulkan,prompt 200,179 步 | 2.88 / 2.91 / 3.06 ms/token | 2.52 / 2.54 / 2.73 | −12% |
| Vulkan,prompt 400,179 步 | 3.33 / 3.42 / 3.54 ms/token | 3.13 / 3.20 / 3.29 | −7.5% |
| Vulkan,批量 2 路 | 787.6 / 683.2 ms | 629.8 / 623.7 ms | −10~20% |
端到端(同文本/参考音频/seed,8.68 s 输出,warm):AR 段 924 → 745 ms,总耗时
3810 → 3556 ms,输出 wav 与 0.1.2 逐字节相同(corr 1.000000)。
正确性口径:CPU 路径逐 token 概率转储 md5 前后完全相同;GPU 路径因 flash 改读非连续 cache 视图
会走不同内核,概率差 mean|d| 9.6e-7 / max|d| 2.2e-2,小于 CPU 与 Vulkan 之间的正常后端差
(mean 4.7e-5 / max 5.9e-2),argmax 与生成 token 序列全部一致。
GAG:批量合成页
| # | 问题 | 根因 / 修法 |
|---|---|---|
| 1 | 用 Default 预设点「开始合成」直接卡死 |
批量合成按预设里的参考音频逐段请求,Default 是空模板(参考音频/参考文本都空)→ 引擎返回 400;旧代码把这个 400 当异常吞掉、重试 3 次,然后在工作线程里直接弹 QMessageBox、直接改控件——跨线程操作 Qt 控件会把界面挂死。现在工作线程只通过信号回 GUI 线程(文件列表/输出目录/格式/API URL 都在开跑前快照成参数),400 不再重试并直接显示引擎给的原因,requests.post 也补了 timeout |
| 2 | 没人知道 Default 不能用于批量合成 |
页面顶部新增说明(批量合成用「预设」里保存的参考音频与参数,Default 只是空模板),并加「去配置预设」按钮直接跳到「语音合成」页;开跑前预检参考音频为空 / 文件不存在 / 缺参考文本,当场弹窗而不是发请求 |
| 3 | 顺带修 | 每段合成用任务自己的 preset_name,不再读当时下拉框的值 |
其它
- 引擎版本号
gsv_server --version→0.1.3。 docs/benchmark.md增加本次 A/B 的数字与验证口径。
下载
| 文件 | 大小 | sha256 | 用途 |
|---|---|---|---|
GSV.CPP-win64-patch-0.1.3.zip |
15,205,857 B | f9e38652d956313a8e28c9953979054cfc011955ff46752a71ac00a86c523062 |
累积补丁,覆盖到 GSV.CPP-win64-0.1.0.zip 一键包即可,无需重下 3 GB |
gsv.cpp-windows-x64-vulkan.zip |
15,146,625 B | f083aaa28cef019880aaf63e473083a56fb743a250dd9f6ac972652000e2920e |
只要引擎(gsv_server.exe + 4 个 ggml DLL),给独立部署用 |
gsv.cpp v0.1.2
gsv.cpp v0.1.2
C++/ggml inference server for GPT-SoVITS V5 (v5turbo 4-step DMD / v5dev 32-step). The whole
pipeline runs in C++ on a Vulkan or CPU ggml backend: AR → cond → DiT/CFM → HiFi-GAN.
本版是 0.1.2 的重发。早前那份 0.1.2 已下架:它的引擎有一个"第二次渲染开始崩坏"的 bug,
而且带了一个听感损失明显的实验开关。补丁是累积式的,已包含 0.1.1 的全部内容。
相对 0.1.0 / 0.1.1 的修复
| # | 问题 | 修复 |
|---|---|---|
| 1 | 同一次会话里第二次渲染起语无伦次、时长暴涨(18 s 句子渲染成 49 s)。根因:HuBERT 的全零注意力 mask 建图时只写一次,却放在 ggml_gallocr 的可复用 arena 里,第一次推理结束时被最后一层 FFN 的中间结果覆盖 → 第二次起注意力被随机加权 → 参考语义码退化成常数 → AR 失去参考条件 |
mask 改成独立 ctx/buffer 的常驻张量。回归测试 tests/test_prep_repeat.cpp |
| 2 | 参考音频每次渲染都重新预处理(GAG 每次渲染都把它上传成新的临时路径,按路径做键的缓存永远 miss) | 缓存改按文件内容(XXH3-64)命中;prep 700→0 ms |
| 3 | 参考侧 decode_encp 每段都重算(长句切 6 段 = 6 次) |
引擎内按(参考码、参考音素、ge)记忆化,段间/请求间复用;cond 650→450 ms |
| 4 | 目标文本 G2P + BERT 每段每次请求都重算(50–450 ms/段) | 按 (lang, text) 缓存,sidecar 的 /g2p 也加了缓存;g2p 200→0 ms |
| 5 | 切 v5dev / v5turbo 声线直接报错 engine load failed for voice: v5dev(6 ms 就失败)。根因:GUI 传的是相对路径 --models runtime/models,与 manifest 里的相对文件名叠加成不存在的路径 |
服务端把 --models 与 manifest 路径都解析成绝对路径,加载前检查文件并点名缺哪个;GUI 也改传绝对路径 |
| 6 | GUI"音色"下拉只有 default |
取声线列表的线程结果与 deleteLater 抢跑导致信号丢失,改为 finished 里读回结果 + 失败重试;"音色"与"模型版本"双向联动 |
| 7 | "跳过首步"勾了无效 | /tts 与 /batch(cut0) 路径漏传 skip_first_step,已接上 |
| 8 | "CFG跳过"功能移除 | 实测对音色影响明显(跳 30% 时 mel relL1 1.6e-3,可辨),不是免费加速。引擎、HTTP API、日志、文档、GUI 控件全部删除;请求里带 dit_cfg_off_t 会被忽略。dit_uncond_reuse 保留 |
| 9 | 日志看不出实际用的 cfg / 步数 / 声线 | [tts] 日志打印 voice=v5dev(v5dev) … cfg=1.30 steps=32 以及 reuse ref/text/fea 缓存命中;请求 jsonl 同步带上 |
0.1.1 的内容同样包含:中英/日英/粤英/韩英混合、auto_yue、非 ASCII 参考音频路径、
语种不匹配的明确报错、sidecar 强制 UTF-8、GUI 支持 mp3/flac/ogg/m4a/aac/aiff/opus/wma 参考音频。
下载
| 文件 | 大小 | sha256 | 用途 |
|---|---|---|---|
GSV.CPP-win64-patch-0.1.2.zip |
15,186,159 B | a6733730f64b079d91bdd893957ae45c17d8b9dbfe83d569196e51a12c0834e0 |
累积补丁,覆盖到 GSV.CPP-win64-0.1.0.zip 一键包即可,无需重下 3 GB |
gsv.cpp-windows-x64-vulkan.zip |
15,130,987 B | 5d7452d41607125dbcfabcb6d80c6e9230c8a162e3b3c50cbfcd54a1f84db5e0 |
独立引擎(gsv_server.exe + ggml DLL),自备模型与文本侧车 |
完整一键包(3.16 GB,含模型、嵌入 Python、前端数据)与模型权重在 HuggingFace:
KakaruHayate/GSV.CPP
(windows/GSV.CPP-win64-0.1.0.zip + patch/GSV.CPP-win64-patch-0.1.2.zip)。
Linux 构建本轮没有更新(本机无 Linux 工具链)。HuggingFace 上
server/里的 tar.gz 仍是
上一版,不含上述修复;需要 Linux 请按docs/build.md从源码构建。
安装(已有一键包 0.1.0 / 0.1.1 / 旧 0.1.2)
- 完全关闭 GAG(任务管理器里确认
gsv_server.exe与python.exe都已退出) - 把补丁 zip 内所有文件解压到一键包目录,选择覆盖
- 重新双击
Start GAG.bat
补丁顺序无关:从 0.1.0 直接打、或打过 0.1.1 / 旧 0.1.2 再打,结果一致。
说明
- 想用 CFG(
cfg_rate=1.30)必须选 v5dev 声线;default与v5turbo的cfg_rate都是 0。 - 若某个声线报
engine load failed,新版会直接写出缺哪个 gguf 文件;文件都在却失败才是显存问题。 - 明文:
GAG_config.json不会被补丁覆盖;旧预设里残留的dit_cfg_skip字段会被忽略。
gsv.cpp v0.1.0
C++/ggml inference server for GPT-SoVITS V5 (v5turbo / v5dev).
Assets
- gsv.cpp-windows-x64-vulkan.zip - gsv_server.exe + ggml DLLs (Vulkan, AVX2 baseline)
- gsv.cpp-linux-x64-vulkan.tar.gz - gsv_server + libggml*.so* (glibc 2.35+)
Models, text-frontend data and the Windows one-click package are on Hugging Face:
https://huggingface.co/KakaruHayate/GSV.CPP
Build from source: docs/build.md (English) /
docs/build.zh.md (Chinese).
The engine runs the full V5 pipeline in C++ (AR ? cond ? DiT/CFM ? HiFi-GAN vocoder); the Python
sidecar only does G2P/BERT ids. No CUDA and no ONNX Runtime are required.