Repository navigation
Releases: CraneBW/ninfer-ternary-bonsai-ada
Releases · CraneBW/ninfer-ternary-bonsai-ada
Release list
NInfer Ada v1.0.0
NInfer Ada v1.0.0
首个 SemVer 主版本，发布原生 C++20/CUDA GSQ 推理、KVMem 状态恢复、页流水与 RTX 4070 Ti SUPER 调优源码。README 已依据当前实现和实测结果完整重写。
本版主要变化
- 直接运行现有 Qwen3.8-27B GSQ
.ninferv3 的混合 GGUF 量化块。 - 接入不可变 raw-K 来源与 GDN/KV 联合恢复、真实服务历史回放、有界异步页搬运和 source-K 双槽读前。
- 加入 INT8 prefill 流水、三格式 MMQ 路由、完整 K/J16 BF16 写回、保持 BF16 舍入边界的 SiLU/down 量化融合。
- 固定 MTP 扩展至 K15/T16，并修复 Prompt/SmallT 切换导致的 CUDA Graph 拓扑更新失败。
- 提供短档 K7、32K 长档 K15 两个显式配置；保留 sync 默认和已知实验的回退路径。
整体性能对照
RTX 4070 Ti SUPER 16 GiB，最终同一二进制、同一现有模型、同一 corpus，C1/Graph/INT8/chunk512。三个配置按 ABC/CBA/ABC 运行；两档共 18 个独立进程。每档九次完整 129 个输出 IDs 一致。
| 工作负载 | 推荐配置 | prefill tok/s：参考 → 推荐 | decode tok/s：参考 → 推荐 | 配对吞吐增幅中位：prefill / decode |
|---|---|---|---|---|
| pp4096 + tg128，ctx8192 | K7 | 1882.90 → 1973.53 | 186.59 → 189.75 | +5.23% / +0.76% |
| pp32768 + tg128，ctx36864 | K15 | 1683.13 → 1838.12 | 173.41 → 192.92 | +9.58% / +11.78% |
参考为同一二进制显式关闭六项性能开关的回退配置，不是旧发行版。绝对吞吐为各配置三次中位，百分比为逐组比值的中位。短档 decode 两正一负，不认领稳定提升；K15 相对 K7 短档 decode 退化 15.18%，长档提升 10.22%，因此按场景选择配置。
正确性与边界
最终 K15/Graph 配置通过冻结原 213K 六题：6/6 精确正确，HTTP、流终态和 usage 完整，服务正常退出。T16 与融合量化的独立参考、完整字节和 guard 验证通过。
TTFT 仍待进一步优化；本轮没有配对 TTFT 加速结论。256K/媒体验收沿用此前独立记录，本轮未重新认证 K15。P4 既有性能门槛尚未达到，普通页搬运继续默认 sync。
本次仅发布源码与可重算摘要，不包含模型权重、编译产物或本机 profiler 数据。