Skip to content

CookLLM v0.4.3

Latest

Choose a tag to compare

@github-actions github-actions released this 28 Oct 03:28

v0.4.3

🚀 适配Kvmem v0.19.0

  • 算法可选:NInfer / KVMem 预设新增「投机采样算法」(原生 MTP / DFlash 2 / DFlash),最终分别以 --spec mtp|dflash|dflash2 启动;llama.cpp 侧新增 DFlash 并行草稿,走 --spec-type draft-dflash 加伴随草稿模型(-md)。
  • 草稿步长:DFlash 家族草稿宽度开放 1–15,默认 5;MTP 保持默认 4。切换算法时同步校正 N-gram 步长——DFlash 默认关闭,切回 MTP 恢复到 31。

📊 调整分析采样规则

  • 会话均值:平均 Decode / Prefill 改为「总 token ÷ 总耗时」,轮次长短不一时不会被短轮次带偏。