机器人操作榜单如何被“hack”？CoRL 2026 Benchmark Gaming Audit 对 DexLab 的启发

[huangkiki]

TL;DR

核心思想：机器人榜单不需要篡改 scorer 也能被“hack”——模型可以不学榜单声称要考的能力，只利用任务编号、固定的测试分布或贴近测试的训练数据，仍然拿到高分。

具体例子： LIBERO 本来想考“机器人能否读懂指令并完成操作”。论文却用一个不读任何语言、只查 task ID 的约 0.09B DINOv2+MLP，在 Spatial/Object/Goal 上仍然得到 99.0%/100.0%/98.8%。这就像一场声称考阅读理解的考试，学生不读文章，只记住“第 3 题选 B”也能拿满分。

• 这证明： LIBERO 总分本身不能证明语言理解能力；高分与所声称能力之间存在可识别性缺口。
• 这不证明： 高分 VLA 一定没有语言能力，也不证明所有 benchmark 都无效；RoboCasa/RoboTwin 2.0 并没有被同一个简单探针击穿。
• 对 DexLab 的直接行动： 先做 scorer mutation audit，再做“去掉声称能力”的最小探针和训练支持内重采样；这两关都能解释后，才扩展 persistent contact sequence。

---

补充：从 evaluator mutation audit 扩展到 benchmark gaming audit

结论先行：Jiang 等人的 CoRL 2026 Oral Best Paper Award Finalist What Are We Actually Benchmarking in Robot Manipulation? 并不是在证明“所有榜单都造假”，也不是主要攻击直接修改 scorer。它证明的是更基础的识别问题：一个总分可能同时由目标能力、任务捷径、长期适配的固定测试分布、训练数据与测试域的距离以及统计噪声产生；因此高分本身未必能唯一识别论文声称的能力。 这与本 Discussion 的评分语义审计互补：前者先问 evaluator 是否接受伪完成，后者再问即使 evaluator 没写错，这个协议是否仍允许不具备目标能力的系统冲到高分。

论文给出四种可执行诊断：

1. Shortcut solvability：LIBERO 上一个约 0.09B、共享 DINOv2 + MLP 的探针不读取语言，而是使用 task-ID embedding；Spatial/Object/Goal 分别达到 99.0%/100.0%/98.8%，与当时最佳报告相差不超过 1 个百分点。它不证明高分 VLA 没有语言能力，只证明 LIBERO 总分不能单独证明该能力。RoboCasa、RoboTwin 2.0 上同类探针仍明显落后，说明诊断是单向反证，不是“所有 benchmark 都一样容易”。
2. Statistical significance：只有 top-line score 时，作者对所有与总分相容的逐实例结果构造 paired Wald 方差上下包络，将比较分成 no improvement、provably not significant、indeterminate 和 provably significant。indeterminate 不能被偷换成“不显著”；正确动作是发布每个 task/episode 的结果。arXiv v1/项目页的 LIBERO 数字为 19.8%，当前 camera-ready 代码产物修正为 144/789 = 18.3%，所以引用时必须带版本。
3. Creeping overfitting：CALVIN 保持同一 1,000-sequence manifest，只把 block pose 在训练支持范围内重采样，X-VLA、GR-1、RoboFlamingo 的平均完成链长分别下降 1.027、0.749、0.498，95% CI 均不跨 0；只换一份官方 sequence manifest 时，变化很小且 CI 跨 0。当前证据更像对窄测试分布过拟合，而不是只记住某 1,000 个样本。
4. Data-source dependence：SimplerEnv 协议没有约束训练数据来源。作者为四个 task 分别用 120 条贴近官方 grid 的 scripted simulation demos 训练 22M policy，取得 91/96，接近 X-VLA 报告的 92/96。它不是统一训练数据下的公平模型对比，而是一个存在性反例：同一总分未必证明从真实 BridgeData V2 到仿真测试的跨域泛化。

对 DexLab 当前顺序的具体修改

保留原帖的第一步：用 region/tolerance、事件顺序、idle、隐藏支撑、错误 carry/reset 与 state injection 做 scorer mutation audit。只有 positive control 被接受、negative control 被拒绝且所需信号可观测后，结果才具备基本语义。

随后，在扩大 Wuji 任务或做 persistent-job 序列前，加入最小的 benchmark gaming audit：

声称能力	最小缺失能力探针	训练支持内重采样	必须保存
语言/视觉条件操作	去掉对应输入；用 task ID、固定动作或特权状态替代	指令同义/对称条件、相机与可见性	原始输入、替代输入、逐实例配对结果
接触保持/手内操作	去掉接触信号或用目标位姿直达；禁止隐藏支撑	物体初姿、支撑高度、接触初态、摩擦/顺应性在已声明支持内变化	原生接触观测、事件顺序、失败层、整条 run 结果
连续作业可靠性	reset 与 no-reset 成对控制	job 边界、carry state 和恢复条件	每个 job 事件及整条独立 run；不要把同 run 的 job 当独立样本

每项结果还要披露训练数据与测试的共享资产、scene template、seed/grid、仿真器和生成器；评测前冻结实例、分母、统计单位和最小可检测差异。若预期增益小于当前样本量可分辨范围，应增加样本或停止声称排名进步，而不是只发布多一个小数位的总分。

证据状态与边界

本次通读了论文 31 页正文/附录、6 幅图和 10 张表，并核查公开仓库 a5ad04ab0f26d46680c4d1c24911c728d37f7d16。公开 CPU 产物的 scripts/recompute_claims.py 与 scripts/validate_release.py --skip-exact-inputs 在本轮复算通过；这只验证 claim-to-artifact 计算与发布包一致性，没有重跑策略训练、仿真 rollout 或真机。完整复现仍依赖外部权重、数据和五套 benchmark 环境。

因此，当前可采用的是审计协议和记录契约，不是这些论文结果已经在 DexLab 复现。下一步仍保持原有顺序：先评分语义，再用一个最小 Wuji 案例做缺失能力探针与训练支持内重采样；只有二者都可解释，才设计最短 persistent contact sequence。若探针暴露总分不可识别，先修协议；不扩任务榜，不把更多任务数量当成有效性修复。

来源：论文与附录 · 项目页 · 公开代码与复现说明

---

迁移说明：本文最初作为 HolidayFactory Discussion #302 的补充评论 发布；由于 benchmark gaming audit 是独立研究主题，现整理为单独 Discussion，便于从 Discussions 列表直接发现和继续讨论。