Skip to content

flashCat 1.5.3 · 实时 · 可比 · 轻量

Choose a tag to compare

@imi4u36d imi4u36d released this 08 Nov 09:16
· 23 commits to main since this release
3df9351

flashCat 1.5.3 · 实时 · 可比 · 轻量

把概览的速度读数收成一套口径:解码统一走网关,引擎只保留自己真正量过的生命体征;
同时去掉装饰数据,把采样内存收口。

修复

  • 预填充那格不再挂着一个恒定不变的大数字。 过去把引擎的「上一请求终值」或
    「开机以来均值」当成当前速度:splash 的 prefill_tokens_per_second 是两个累计
    计数器之比;MTPLX 的 latest.prefill_tok_s 只在请求结束时落一次,空闲时原样重复。
    现在按粒度打 LIVE / LAST / AVG 角标,卡片说明随之改口,空闲时不再冒充当前速度。
  • splash 改用真·瞬时批次值。 current_prefill_batch / current_decode_batch
    带 valid 标记;有样本时标 LIVE,刚启动没跑过同类批次时退回均值并标 AVG。
    同时按 active_requests[].phase 区分「正在跑」与「上一批残留」。
  • MTPLX 接上正在预填充的那一路。 实时值在 in_flight[].prefill_state,服务端
    每完成一个 chunk 就刷新;多路并发取 elapsed_s 最大的那一路,和 MTPLX 自己的
    仪表盘同口径。兜底从单 chunk 峰值换成 tokens / compute_time_s 滚动均值,峰值只留诊断。
  • EngineLiveRates 的闩锁降级为 LAST。 值仍然保留,卡片不会空成「—」,但粒度
    如实标成「上一个请求的实测值」;真有 prefill_tokens_live 在涨时才回到 LIVE。
  • isLive 布尔换成 EngineRateKind。 一个 bool 分不出「上一请求」和「累计均值」;
    多端点合并时粒度与数值同源,取 rank 最高的那一路,不会出现「数值是均值、角标写 LIVE」。
  • 预填充不再回落到网关估算。 网关的 (整段提示词 − 缓存命中) / TTFT 分母混着排队
    与缓存恢复,分子要等末帧 usage,请求进行中算不出可靠值;引擎不上报时显示「—」。

变更

  • 概览解码速度统一走网关。 hero 大数字、总解码曲线与「最近请求」改为同一份按请求
    低通聚合:大数字 = 活跃会话速率之和,三处数字能对上;「最近请求」明确标「网关估算」。
    引擎的 LAST / AVG 不再参与当前速度;只有网关没有在跑会话(客户端直连引擎端口)时
    才用引擎实时计数兜底,且要求 activeRequests > 0。
  • 来源和值一起显示。 hero 角标区分「网关估算 / 网关 LAST / 引擎实时」;曲线 chip
    同样标来源;没有实时值显示「—」,不再拿 0.00 冒充读数。
  • SESSIONS 改读引擎 activeRequests。 直连引擎端口的请求也会算进去;预填充、
    首字 p50、内存与上下文上限继续读引擎,说明文字标明「引擎」。
  • 总解码曲线横轴固定 60 秒。 Swift Charts 默认按样本时间范围铺满宽度,只有两三个
    样本时会把一次 1 秒的请求拉成一整条长线;现在短线只占右侧那 1 秒。
  • 去掉三张指标卡写死的装饰迷你柱。 上下文卡生成中标 EST,结束后回落到引擎 usage。
  • 预填充读数改成「最近一小段」的实时值。 只保留最近约 1.2 秒(1~2 个 chunk)的
    采样点;chunk 之间保持上一格的实测速度,超过 3 秒没有新 chunk 才退回本轮累计均值。
    预填充期间轮询提到 0.4 秒,跟得上 chunk 节奏;其余时间仍是 1 秒。

性能

  • 概览采样内存收口。 曲线只服务 60 秒 / 5 分钟,样本保留从 30 分钟降到 10 分钟;
    ThroughputSample 不再为每个点分配 UUID;网关快照从 [String: Any] 改成结构体,
    每秒刷新少了字典装箱与字符串键;删掉每会话 480 格、但没有任何界面在读的历史桶。

工程

  • 本版 258 个单元测试通过(44 个 App + 214 个 Kit),3 个依赖本机运行时包 / 集成环境
    的用例自动跳过。
  • pack-index.json 收录 MTPLX 2.12.3。
  • EngineLiveRates、StatusParser、GatewayMeter 的回归用例覆盖了 LIVE / LAST / AVG
    三态、末帧 usage 不回灌速率、多路速率相加等边界。

安装

  • flashCat-1.5.3.dmg:打开后把 flashCat 拖进「应用程序」
  • flashCat-1.5.3.pkg:双击一路安装

系统要求:Apple Silicon,macOS 26.0 或更高(splash 引擎自身要求 26.4)。
应用为 ad-hoc 签名、未公证,首次打开请右键 → 打开。
引擎运行时不包含在应用内,首次启动按引导下载(80 MB ~ 600 MB)。