Repository navigation
CookLLM v0.3.5
v0.3.5
⚡ Ninfer / KVMem-Ninfer 核心加速与调优
- GDN 状态半精度 (
--gdn-state-fp16):默认开启,循环状态显存降低约 50%,大幅减少读写带宽并显著提升 Decode 速度。 - 官方优化内核自动注入 (
device-profiles.json):自动合并 55 条官方 SM120 专属调优内核,开箱即享极致吞吐。 - 缓存与多轮思考:支持双缓冲池混合前缀缓存;新增
--preserve-thinking默认保留多轮思维链上下文。
🛡️ 引擎协同与界面重构
- KVMem 兼容隔离:智能识别引擎架构,在 KVMem 独占模式下自动拦截冲突缓存参数防崩溃。
- UI 规范统一:重构预设栅格并精简文案(各区压缩为紧凑 2 行),全站开关统一样式为平齐卡片。