Repository navigation
gsv.cpp 0.1.3
已有一键包 0.1.0 / 0.1.1 / 0.1.2 下载
GSV.CPP-win64-patch-0.1.3.zip(约 15 MB),
关闭 GAG 后解压覆盖到原目录即可,不需要重下 3 GB 完整包。该补丁是累积式的,
已包含 0.1.1 / 0.1.2 的全部内容,从 0.1.0 直接打或打过 0.1.1 / 0.1.2 再打结果一致,无顺序问题。文件集合是历史补丁的超集(0.1.1 的 5 个文件、0.1.2 的 16 个文件全部在内且为最新版),已逐项校验。
sha256f9e38652d956313a8e28c9953979054cfc011955ff46752a71ac00a86c523062(15,205,857 字节,17 个文件)。
本版只做两件事:AR 解码里一处纯浪费的 KV cache 拷贝(CPU + GPU 两条解码路径都清了),
以及 GAG「批量合成」页的两个可用性问题(用 Default 预设点合成会卡死 + 没有说明)。
引擎:AR 解码不再每 token 复制整个 KV cache
解码图里每层每 token 都有一次 concat(cache[0..L), 新列):把已经存在的 L 列 K/V 复制到新缓冲,
再让 flash attention 读回来。这份拷贝的唯一作用是让"写 → 读"依赖在图上显式化,数学上完全多余
(L≈200 时 2.0 ms/token,占解码 29%)。
现在新列直接写进常驻 cache 的第 len 列,flash 读 cache 的 [0, len] 视图;写→读顺序由
"副作用根先 expand、节点序即执行序"保证。GPU 的图缓存解码路径同理:为了冻结注意力 key 长度
原本每层每步固定复制 Lmax 列,现在 flash 直接读常驻 cache 的常量长度视图(cache 多分配 1 列、
mask 语义相应调整),图缓存照旧复用。
| 路径 | 0.1.2 | 0.1.3 | 变化 |
|---|---|---|---|
| CPU 4 线程,prompt 200,179 步 | 24.84 ms/token | 12.55 ms/token | −49% |
| CPU 8 线程,prompt 400,179 步 | 23.9 ms/token | 12.9 ms/token | −45% |
| Vulkan,prompt 200,179 步 | 2.88 / 2.91 / 3.06 ms/token | 2.52 / 2.54 / 2.73 | −12% |
| Vulkan,prompt 400,179 步 | 3.33 / 3.42 / 3.54 ms/token | 3.13 / 3.20 / 3.29 | −7.5% |
| Vulkan,批量 2 路 | 787.6 / 683.2 ms | 629.8 / 623.7 ms | −10~20% |
端到端(同文本/参考音频/seed,8.68 s 输出,warm):AR 段 924 → 745 ms,总耗时
3810 → 3556 ms,输出 wav 与 0.1.2 逐字节相同(corr 1.000000)。
正确性口径:CPU 路径逐 token 概率转储 md5 前后完全相同;GPU 路径因 flash 改读非连续 cache 视图
会走不同内核,概率差 mean|d| 9.6e-7 / max|d| 2.2e-2,小于 CPU 与 Vulkan 之间的正常后端差
(mean 4.7e-5 / max 5.9e-2),argmax 与生成 token 序列全部一致。
GAG:批量合成页
| # | 问题 | 根因 / 修法 |
|---|---|---|
| 1 | 用 Default 预设点「开始合成」直接卡死 |
批量合成按预设里的参考音频逐段请求,Default 是空模板(参考音频/参考文本都空)→ 引擎返回 400;旧代码把这个 400 当异常吞掉、重试 3 次,然后在工作线程里直接弹 QMessageBox、直接改控件——跨线程操作 Qt 控件会把界面挂死。现在工作线程只通过信号回 GUI 线程(文件列表/输出目录/格式/API URL 都在开跑前快照成参数),400 不再重试并直接显示引擎给的原因,requests.post 也补了 timeout |
| 2 | 没人知道 Default 不能用于批量合成 |
页面顶部新增说明(批量合成用「预设」里保存的参考音频与参数,Default 只是空模板),并加「去配置预设」按钮直接跳到「语音合成」页;开跑前预检参考音频为空 / 文件不存在 / 缺参考文本,当场弹窗而不是发请求 |
| 3 | 顺带修 | 每段合成用任务自己的 preset_name,不再读当时下拉框的值 |
其它
- 引擎版本号
gsv_server --version→0.1.3。 docs/benchmark.md增加本次 A/B 的数字与验证口径。
下载
| 文件 | 大小 | sha256 | 用途 |
|---|---|---|---|
GSV.CPP-win64-patch-0.1.3.zip |
15,205,857 B | f9e38652d956313a8e28c9953979054cfc011955ff46752a71ac00a86c523062 |
累积补丁,覆盖到 GSV.CPP-win64-0.1.0.zip 一键包即可,无需重下 3 GB |
gsv.cpp-windows-x64-vulkan.zip |
15,146,625 B | f083aaa28cef019880aaf63e473083a56fb743a250dd9f6ac972652000e2920e |
只要引擎(gsv_server.exe + 4 个 ggml DLL),给独立部署用 |