Repository navigation
flashCat 1.4.1
flashCat 1.4.1
这一版修的是模型切换的可靠性:跨引擎切换进行中再选一个模型,界面会永久停在「切换中」,只能重启应用。
修复:跨引擎连续切换卡在「切换中」
以 22:02 那次事故为样本,三个漏洞叠在一起:
- 切换完成判得太早:oMLX 的 uvicorn 在权重还没搬完时就返回
application startup complete(/health立刻 200),而 103GB 权重要到下一秒才开始Loading model。旧逻辑只等健康检查,于是把一次 27B 的加载在开头就判成完成——4 秒后再点一个模型,那台还在搬权重的进程直接吃 SIGINT,要等 20 秒强杀才让出显存。现在切换的就绪判据是「目标模型真的进了引擎自己的loaded_models」。 - 第二次选择被静默丢弃:
useModel/applyModelFromAnyEngine/applyModel开头都是guard !isSwitchingModel else { return },换引擎只 toast 一句就返回,点了等于没点。现在跨引擎的新选择立刻接管上一次切换,同引擎的二次选择排队(只保留最后一次),切换中换引擎也不再被拒绝。 - 旧切换任务没人收尾:被跳过的任务走
guard !Task.isCancelled else { return }直接返回,switchingModel永远留着。现在切换状态带代数(generation),被接管/被取消的旧任务静默退出,没有任何路径能把界面留在「切换中」。
生命周期提示补全
「切换中」不再是一句冻结的文案:
- 概览、侧栏、菜单栏一并显示
切换中 · <阶段> · 已等待 m:ss,热引擎权重还在搬时按「加载权重」报阶段而不是「就绪」 - 切换中提供取消等待按钮:放弃等待,引擎继续在后台加载,状态交回引擎自己的启动阶段(进度、秒数、日志继续走),不会打断搬了一半的权重
附带的概览页改动
- 新增会话网格:网关侧按请求打点,一格一路请求,显示解码/预填充速度、首字延迟、输入 token、上下文占用与该路的速度曲线
- 并发口径标注:多路并跑时「解码速度」是引擎聚合值,标签会说明,不再统一标 LIVE
- MTPLX 标注「仅支持串行」并说明并发会排队
- 吞吐曲线保留窗口 5 分钟 → 30 分钟,「全部」档不再等于「5 分钟」
安装
flashCat-1.4.1.dmg:打开拖进「应用程序」flashCat-1.4.1.pkg:双击一路安装
应用为 ad-hoc 签名、未公证,首次打开请右键 → 打开。运行时包不含在应用内,首次启动按引导安装。本版 116 个单元测试全部通过。