Skip to content

Releases: Crvesoft/CookLLM

CookLLM v0.4.3

Choose a tag to compare

@github-actions github-actions released this 28 Oct 03:28

v0.4.3

🚀 适配Kvmem v0.19.0

  • 算法可选:NInfer / KVMem 预设新增「投机采样算法」(原生 MTP / DFlash 2 / DFlash),最终分别以 --spec mtp|dflash|dflash2 启动;llama.cpp 侧新增 DFlash 并行草稿,走 --spec-type draft-dflash 加伴随草稿模型(-md)。
  • 草稿步长:DFlash 家族草稿宽度开放 1–15,默认 5;MTP 保持默认 4。切换算法时同步校正 N-gram 步长——DFlash 默认关闭,切回 MTP 恢复到 31。

📊 调整分析采样规则

  • 会话均值:平均 Decode / Prefill 改为「总 token ÷ 总耗时」,轮次长短不一时不会被短轮次带偏。

CookLLM v0.4.2

Choose a tag to compare

@github-actions github-actions released this 26 Oct 09:24

v0.4.2

🚀 新增图表与卡片优化

  • 分析页新增图表:新增 实时 Decode / Prefill 图表, TTFT首字token延迟、MTP 接受率卡片(未开 MTP 自动隐藏)
  • 优化卡片动画:模型卡片启动中统一琥珀呼吸态;修复启动按钮不跟手,就绪判定改为 HTTP 探针。

🛠️ 分析采样修复及调优

  • 采样修复:补齐采样间隔内结束的尾部突发,Prefill 回显限定 60 秒窗口。
  • Prefill 计数:llama.cpp的Prefill计数 改用 n_prompt_tokens_processed。

CookLLM v0.4.1

Choose a tag to compare

@github-actions github-actions released this 25 Oct 09:04

v0.4.1

✨ 打磨界面细节

  • 下拉列表:优化顶栏下拉列表,调整为胶囊同宽对齐、单行截断。
  • 启停按钮:胶囊与模型卡片按钮样式调整,停止图标由 ■ 改为 ⏻。
  • 优化配色:关闭服务是正常操作,原配色与红字更像危险或删除提示;现调整为绿色。
  • 视图切换精简:卡片 / 列表切换改为单层边框与纯色选中块,去掉叠加描边和投影。
  • 切换引擎优化:调整界面UI,更新分支引擎时可选择目录自动识别可执行文件。

CookLLM v0.4.0

Choose a tag to compare

@github-actions github-actions released this 23 Oct 12:18

v0.4.0

✨ 界面视觉优化

  • GPU 卡片优化:网格调整,整体界面更为简约,线条统一改成主题色。
  • 界面配色调整:侧边栏移除渐变效果,界面更纯净,主界面背景移除全局橙色光晕。

CookLLM v0.3.9

Choose a tag to compare

@github-actions github-actions released this 22 Oct 12:17

v0.3.9

🛠️ 体验修复

  • 引擎切换更可控:浏览引擎分支时,检测到的版本/后端信息仅作展示,点击保存后才写回配置,避免误改。
  • 配置导入补全:增量合并导入现在会一并恢复「探索页侧栏折叠」偏好。
  • 文案优化:引擎管理弹窗标题调整为「切换引擎」,预设引擎提示更清晰。

🧹 底层重构

  • 架构整理:Rust 后端按领域模块拆分,前端页面与状态解耦、样式模块化,行为保持一致,为后续迭代提速。

CookLLM v0.3.8

Choose a tag to compare

@github-actions github-actions released this 19 Oct 11:17

v0.3.8

🚀 功能新增与视觉重构

  • 全局快捷键:新增系统级热键(呼出窗口 / 启停服务 / 切换引擎),支持在设置页自定义录制。
  • 设置页 UI 重构:重构「下载授权」与「引擎管理及更新」卡片,优化布局与网格对齐。

🛠️ 性能调优与体验修复

  • KVMem 官方参数对齐:默认值同步为官方推荐标准(预算 36864、生成预留 16384、会话数 1)。
  • 启停交互与动画修复:启动中支持随时暂停,换模型一键无感切换;彻底修复过渡动画与状态不同步 Bug。
  • 托盘唤醒修复:修复特定场景下系统托盘偶发无法打开主界面的问题。

CookLLM v0.3.7

Choose a tag to compare

@github-actions github-actions released this 16 Oct 06:53

v0.3.7

🧩 引擎与配置管理

  • 引擎管理及更新:设置页原「llama.cpp管理及更新」升级为多引擎统一管理,支持全局快捷切换;官方在线更新仅适用于 llama.cpp,其它引擎显示手动替换提示。
  • 配置备份导入向导:新增导入向导,支持智能增量合并 / 完全覆盖还原,含路径前缀重定位与缺失文件保留策略。
  • KV 缓存格式:Ninfer 预设新增 --kv-dtype 选项(支持 RotorQuant 体系、nvfp4、k8v4 等)。

✨ 交互与视觉优化

  • 托盘右键菜单重做:新增状态行(启动中 / 运行中 / 失败)与快捷操作(停止 / 取消启动、打开 WebUI、复制 API 接口);模型子菜单支持一键切换(带 [GGUF]/[Ninfer] 标签与当前项标记),托盘图标呼吸灯随状态变色(黄 / 绿 / 红)。
  • 启停过渡动画:服务启动 / 停止期间按钮显示旋转过渡,引擎真正开始监听后才结束动画、收起日志抽屉并提示「已启动」,避免生硬跳变与过早提示。
  • 复制 API 接口:模型卡 LIVE 徽标支持一键复制 /v1 接口地址。
  • 风格统一:全局强调主按钮统一为低饱和琥珀风格。

CookLLM v0.3.6

Choose a tag to compare

@github-actions github-actions released this 14 Oct 07:54

v0.3.6

🛠️ NInfer / KVMem 引擎底层对齐与深度调优

  • 环境与目录对齐:工作目录对齐引擎根路径,注入环境变量跳过 Qwen 非必需 Prefill 重排。
  • 长思考防截断:智能适配 --default-max-tokens,彻底解决 8192 token 处长思维链被截断中断的问题。
  • 模板与内核直连:自动识别官方 Jinja 对话模板与 67 条 SM120 调优路线,实现开箱秒启。

CookLLM v0.3.5

Choose a tag to compare

@github-actions github-actions released this 13 Oct 19:16

v0.3.5

⚡ Ninfer / KVMem-Ninfer 核心加速与调优

  • GDN 状态半精度 (--gdn-state-fp16):默认开启,循环状态显存降低约 50%,大幅减少读写带宽并显著提升 Decode 速度。
  • 官方优化内核自动注入 (device-profiles.json):自动合并 55 条官方 SM120 专属调优内核,开箱即享极致吞吐。
  • 缓存与多轮思考:支持双缓冲池混合前缀缓存;新增 --preserve-thinking 默认保留多轮思维链上下文。

🛡️ 引擎协同与界面重构

  • KVMem 兼容隔离:智能识别引擎架构,在 KVMem 独占模式下自动拦截冲突缓存参数防崩溃。
  • UI 规范统一:重构预设栅格并精简文案(各区压缩为紧凑 2 行),全站开关统一样式为平齐卡片。

CookLLM v0.3.4

Choose a tag to compare

@github-actions github-actions released this 12 Oct 19:01

v0.3.4

🚀 新增功能与体验优化

  • 托盘增强:新增实时状态、快捷启停及 [GGUF/Ninfer] 格式标示与一键启动模型。
  • 界面精修:底部栏精简为极简小绿点与独立预设胶囊;深色主题细节优化。
  • 预设增强:完整支持 NInfer 多模态识图参数配置选项。