Skip to content

CookLLM v0.3.5

Choose a tag to compare

@github-actions github-actions released this 13 Oct 19:16
· 25 commits to master since this release

v0.3.5

⚡ Ninfer / KVMem-Ninfer 核心加速与调优

  • GDN 状态半精度 (--gdn-state-fp16):默认开启,循环状态显存降低约 50%,大幅减少读写带宽并显著提升 Decode 速度。
  • 官方优化内核自动注入 (device-profiles.json):自动合并 55 条官方 SM120 专属调优内核,开箱即享极致吞吐。
  • 缓存与多轮思考:支持双缓冲池混合前缀缓存;新增 --preserve-thinking 默认保留多轮思维链上下文。

🛡️ 引擎协同与界面重构

  • KVMem 兼容隔离:智能识别引擎架构,在 KVMem 独占模式下自动拦截冲突缓存参数防崩溃。
  • UI 规范统一:重构预设栅格并精简文案(各区压缩为紧凑 2 行),全站开关统一样式为平齐卡片。