Skip to content

flashCat 1.4.1

Choose a tag to compare

@imi4u36d imi4u36d released this 31 Oct 14:37
· 138 commits to main since this release
13e2bc9

flashCat 1.4.1

这一版修的是模型切换的可靠性:跨引擎切换进行中再选一个模型,界面会永久停在「切换中」,只能重启应用。

修复:跨引擎连续切换卡在「切换中」

以 22:02 那次事故为样本,三个漏洞叠在一起:

  • 切换完成判得太早:oMLX 的 uvicorn 在权重还没搬完时就返回 application startup complete(/health 立刻 200),而 103GB 权重要到下一秒才开始 Loading model。旧逻辑只等健康检查,于是把一次 27B 的加载在开头就判成完成——4 秒后再点一个模型,那台还在搬权重的进程直接吃 SIGINT,要等 20 秒强杀才让出显存。现在切换的就绪判据是「目标模型真的进了引擎自己的 loaded_models」。
  • 第二次选择被静默丢弃:useModel / applyModelFromAnyEngine / applyModel 开头都是 guard !isSwitchingModel else { return },换引擎只 toast 一句就返回,点了等于没点。现在跨引擎的新选择立刻接管上一次切换,同引擎的二次选择排队(只保留最后一次),切换中换引擎也不再被拒绝。
  • 旧切换任务没人收尾:被跳过的任务走 guard !Task.isCancelled else { return } 直接返回,switchingModel 永远留着。现在切换状态带代数(generation),被接管/被取消的旧任务静默退出,没有任何路径能把界面留在「切换中」。

生命周期提示补全

「切换中」不再是一句冻结的文案:

  • 概览、侧栏、菜单栏一并显示 切换中 · <阶段> · 已等待 m:ss,热引擎权重还在搬时按「加载权重」报阶段而不是「就绪」
  • 切换中提供取消等待按钮:放弃等待,引擎继续在后台加载,状态交回引擎自己的启动阶段(进度、秒数、日志继续走),不会打断搬了一半的权重

附带的概览页改动

  • 新增会话网格:网关侧按请求打点,一格一路请求,显示解码/预填充速度、首字延迟、输入 token、上下文占用与该路的速度曲线
  • 并发口径标注:多路并跑时「解码速度」是引擎聚合值,标签会说明,不再统一标 LIVE
  • MTPLX 标注「仅支持串行」并说明并发会排队
  • 吞吐曲线保留窗口 5 分钟 → 30 分钟,「全部」档不再等于「5 分钟」

安装

  • flashCat-1.4.1.dmg:打开拖进「应用程序」
  • flashCat-1.4.1.pkg:双击一路安装

应用为 ad-hoc 签名、未公证,首次打开请右键 → 打开。运行时包不含在应用内,首次启动按引导安装。本版 116 个单元测试全部通过。