Skip to content

v1.4.0 - Local intelligence benchmark

Choose a tag to compare

@Vhow123 Vhow123 released this 13 Nov 03:12
· 7 commits to main since this release

更新内容

  • 新增每个模型的「IQ」按钮:串行执行 18 道本地加权基准题,覆盖逻辑 4、算术 4、难题 3、代码 2、指令遵循 3、常识 1、陷阱 2。
  • 输出 0–100 智力值、旗舰/中端/轻量档位、加权得分、金丝雀题结果、逐题证据与耗时分布(mean / p95)。
  • 金丝雀题失败直接判为异常;失败题标记为跳过,分数只按已完成题目计算,界面明确标注「部分题目失败」。
  • 检测可随时停止;总超时默认 10 分钟、单题 45 秒,序列执行避免触发上游并发限制。
  • 提供商不返回 reasoningTokens 时显示思考内容字符数(reasoning_chars),不把有思考但未计量写成 0。
  • 智力检测与行为指纹按钮互斥,避免同时占用同一条模型路由。
  • 预览服务上游端口改为可配置(DMP_UPSTREAM_PORT / DMP_UPSTREAM_HOST / DMP_LISTEN_PORT),新增 test/sync-locale.mjs 同步内联文案键到 locale/*.json。

验证

  • npm run check 与 28 项自动化测试通过。
  • DeepSeek-V4.1-Flash 与 DeepSeek-Flash 端到端跑分均为 18/18、100/100。
  • CDP 界面验收覆盖按钮互斥、运行态、停止、逐题详情与截图。

完整说明见 README。