Repository navigation
Releases: Crvesoft/CookLLM
Releases · Crvesoft/CookLLM
Release list
CookLLM v0.4.3
v0.4.3
🚀 适配Kvmem v0.19.0
- 算法可选:NInfer / KVMem 预设新增「投机采样算法」(原生 MTP / DFlash 2 / DFlash),最终分别以
--spec mtp|dflash|dflash2启动;llama.cpp 侧新增 DFlash 并行草稿,走--spec-type draft-dflash加伴随草稿模型(-md)。 - 草稿步长:DFlash 家族草稿宽度开放 1–15,默认 5;MTP 保持默认 4。切换算法时同步校正 N-gram 步长——DFlash 默认关闭,切回 MTP 恢复到 31。
📊 调整分析采样规则
- 会话均值:平均 Decode / Prefill 改为「总 token ÷ 总耗时」,轮次长短不一时不会被短轮次带偏。
CookLLM v0.4.2
v0.4.2
🚀 新增图表与卡片优化
- 分析页新增图表:新增 实时 Decode / Prefill 图表, TTFT首字token延迟、MTP 接受率卡片(未开 MTP 自动隐藏)
- 优化卡片动画:模型卡片启动中统一琥珀呼吸态;修复启动按钮不跟手,就绪判定改为 HTTP 探针。
🛠️ 分析采样修复及调优
- 采样修复:补齐采样间隔内结束的尾部突发,Prefill 回显限定 60 秒窗口。
- Prefill 计数:llama.cpp的Prefill计数 改用
n_prompt_tokens_processed。
CookLLM v0.4.1
v0.4.1
✨ 打磨界面细节
- 下拉列表:优化顶栏下拉列表,调整为胶囊同宽对齐、单行截断。
- 启停按钮:胶囊与模型卡片按钮样式调整,停止图标由
■改为⏻。 - 优化配色:关闭服务是正常操作,原配色与红字更像危险或删除提示;现调整为绿色。
- 视图切换精简:卡片 / 列表切换改为单层边框与纯色选中块,去掉叠加描边和投影。
- 切换引擎优化:调整界面UI,更新分支引擎时可选择目录自动识别可执行文件。
CookLLM v0.4.0
v0.4.0
✨ 界面视觉优化
- GPU 卡片优化:网格调整,整体界面更为简约,线条统一改成主题色。
- 界面配色调整:侧边栏移除渐变效果,界面更纯净,主界面背景移除全局橙色光晕。
CookLLM v0.3.9
v0.3.9
🛠️ 体验修复
- 引擎切换更可控:浏览引擎分支时,检测到的版本/后端信息仅作展示,点击保存后才写回配置,避免误改。
- 配置导入补全:增量合并导入现在会一并恢复「探索页侧栏折叠」偏好。
- 文案优化:引擎管理弹窗标题调整为「切换引擎」,预设引擎提示更清晰。
🧹 底层重构
- 架构整理:Rust 后端按领域模块拆分,前端页面与状态解耦、样式模块化,行为保持一致,为后续迭代提速。
CookLLM v0.3.8
v0.3.8
🚀 功能新增与视觉重构
- 全局快捷键:新增系统级热键(呼出窗口 / 启停服务 / 切换引擎),支持在设置页自定义录制。
- 设置页 UI 重构:重构「下载授权」与「引擎管理及更新」卡片,优化布局与网格对齐。
🛠️ 性能调优与体验修复
- KVMem 官方参数对齐:默认值同步为官方推荐标准(预算
36864、生成预留16384、会话数1)。 - 启停交互与动画修复:启动中支持随时暂停,换模型一键无感切换;彻底修复过渡动画与状态不同步 Bug。
- 托盘唤醒修复:修复特定场景下系统托盘偶发无法打开主界面的问题。
CookLLM v0.3.7
v0.3.7
🧩 引擎与配置管理
- 引擎管理及更新:设置页原「llama.cpp管理及更新」升级为多引擎统一管理,支持全局快捷切换;官方在线更新仅适用于 llama.cpp,其它引擎显示手动替换提示。
- 配置备份导入向导:新增导入向导,支持智能增量合并 / 完全覆盖还原,含路径前缀重定位与缺失文件保留策略。
- KV 缓存格式:Ninfer 预设新增
--kv-dtype选项(支持 RotorQuant 体系、nvfp4、k8v4 等)。
✨ 交互与视觉优化
- 托盘右键菜单重做:新增状态行(启动中 / 运行中 / 失败)与快捷操作(停止 / 取消启动、打开 WebUI、复制 API 接口);模型子菜单支持一键切换(带
[GGUF]/[Ninfer]标签与当前项标记),托盘图标呼吸灯随状态变色(黄 / 绿 / 红)。 - 启停过渡动画:服务启动 / 停止期间按钮显示旋转过渡,引擎真正开始监听后才结束动画、收起日志抽屉并提示「已启动」,避免生硬跳变与过早提示。
- 复制 API 接口:模型卡 LIVE 徽标支持一键复制
/v1接口地址。 - 风格统一:全局强调主按钮统一为低饱和琥珀风格。
CookLLM v0.3.6
v0.3.6
🛠️ NInfer / KVMem 引擎底层对齐与深度调优
- 环境与目录对齐:工作目录对齐引擎根路径,注入环境变量跳过 Qwen 非必需 Prefill 重排。
- 长思考防截断:智能适配
--default-max-tokens,彻底解决 8192 token 处长思维链被截断中断的问题。 - 模板与内核直连:自动识别官方 Jinja 对话模板与 67 条 SM120 调优路线,实现开箱秒启。
CookLLM v0.3.5
v0.3.5
⚡ Ninfer / KVMem-Ninfer 核心加速与调优
- GDN 状态半精度 (
--gdn-state-fp16):默认开启,循环状态显存降低约 50%,大幅减少读写带宽并显著提升 Decode 速度。 - 官方优化内核自动注入 (
device-profiles.json):自动合并 55 条官方 SM120 专属调优内核,开箱即享极致吞吐。 - 缓存与多轮思考:支持双缓冲池混合前缀缓存;新增
--preserve-thinking默认保留多轮思维链上下文。
🛡️ 引擎协同与界面重构
- KVMem 兼容隔离:智能识别引擎架构,在 KVMem 独占模式下自动拦截冲突缓存参数防崩溃。
- UI 规范统一:重构预设栅格并精简文案(各区压缩为紧凑 2 行),全站开关统一样式为平齐卡片。
CookLLM v0.3.4
v0.3.4
🚀 新增功能与体验优化
- 托盘增强:新增实时状态、快捷启停及
[GGUF/Ninfer]格式标示与一键启动模型。 - 界面精修:底部栏精简为极简小绿点与独立预设胶囊;深色主题细节优化。
- 预设增强:完整支持 NInfer 多模态识图参数配置选项。