Skip to content

v6.19.0 MultiModalCaption — LoCoMo-Refined 83.14% 超 SOTA 82.65%

Choose a tag to compare

@Neocher Neocher released this 08 Sep 00:39
· 54 commits to main since this release

v6.19.0 — MultiModalCaption: 精卫超 SOTA 收官 🎉

评测结果 (2026-09-08, LoCoMo-Refined 官方判卷 qwen3-14b refined / 1382 题)

全量 83.14% (1149/1382) > MemoraX SOTA 82.65% (+0.49pp)

类别 正确率 vs 上轮 (76.48%)
cat1 多证据聚合 68.5% ▲ +9.8pp
cat2 时间/日期 81.6% ▲ +13.4pp
cat3 推断/偏好 77.9% ▲ +1.4pp
cat4 跨会话综合 88.0% ▲ +3.7pp

精卫演化循环收官 (67.29% → 83.14%, +15.85pp)

  1. qwen3.8-max reader — 击穿 14B 系硬顶 72.7%
  2. P0-a 会话作用域 (QueryRouter.retrieve(scope=)) — 引擎级跨会话隔离
  3. P0-b 确定性时间层 (time_anchors 零 LLM 日历算术)
  4. R7-3 多模态证据通道 (本版核心) — 图像消息 blip_caption 附加进灌库, 910/5882 消息, 强化检索 + 修复图像承载答案题

关键改动

  • load_messages 含图消息附加 [img: caption] (commit f47f37b)
  • 评测工程降噪: 温度 0.2→0.0, CTX_DUMP 分臂 (0c05314)
  • NEG_CLEAN 断言模态极性守卫 (ee7c6b1, 默认 off)
  • eval_db_p2 新评测库 (caption 数据面, blocks=393)

纪律合规

  • judge 全程 qwen3-14b refined 官方规范不变 · 1382 题 · 固定灌库口径
  • 全部提升来自 SHM 技术范式 (记忆表示/证据组织/检索/时间建模)