HolidayFactory 对 DexLab 的启发：从单回合接触评测走向持续 job 序列 / Persistent-job evaluation

[huangkiki]

我的判断：HolidayFactory 对 DexLab 最有价值的不是 Hydroelastic Contact、状态化执行器或生成式工厂，而是把 evaluation 从 episode 内的评分器提升成 first-class world component：固定 job 定义、允许场景状态跨 job 传播，并以 run 而不是 job 作为统计单位。DexLab 值得先借鉴这一层，用一个很小的“不 reset 接触序列”验证它是否暴露出当前单回合评分看不到的失败。完整七任务工厂、agentic world generation 和求解器迁移暂不应进入当前主线。

这次新增的认识很具体：同一个 grasp / hold / release，如果每个阶段单独 reset 都能通过，并不代表连续执行仍可靠；上一阶段留下的物体位移、接触分布和执行器状态，可能决定下一阶段是否成功。 这与 DexLab 现有“定位最先失败层”的方向一致，但把时间范围从 episode 内扩展到 job 之间。

用一个 DexLab 场景理解差异

以现在的 Wuji 抓取与接触切换为例，设想三个连续 job：

1. 两指夹住物体并保持；
2. 卸载一部分载荷，再重新建立接触；
3. 释放、重新靠近并稳定夹持。

单回合 benchmark 会在每一步前重建场景和物体初态，因此第一步留下的一毫米位移、局部滑移或不对称接触不会进入第二步。HolidayFactory 的做法则让物理状态继续演化，按 job 分别记录开始、完成、失败和超时，同时保留 run-level 结果。

这只是用来说明接口差异的迁移示例，不是 HolidayFactory 的实验，也不是本轮运行结果。

HolidayFactory 实际做了什么

论文把工业任务写成 world = scenario + evaluation：

• scenario 包含 scene variants 与 process logic，例如输送带、队列和设备事件；
• evaluation 定义 job、metrics 与 rubric；
• 同一 run 内不 reset，前一个 job 的物体、机构和队列状态直接影响后一个 job；
• 24/7-Bench 记录完成、失败、超时/未完成 job，并报告吞吐、job latency 和电机能量。论文 §2.1、§5

论文给出一个直观数字：若每个 job 独立且成功率为 95%，连续完成 20 个 job 的概率只有 36%。真实状态的依赖会使这个问题更复杂，而不是变简单。

但这项证据有明确边界：HolidayFactory 没有比较任何策略在七项 persistent jobs 上的表现，也没有硬件验证。它验证了世界构造、若干物理 probe、评测编译和 scripted job evaluation；“持续作业 benchmark 能区分策略”仍是待验证主张。论文 §6.1、§6.6

DexLab 已经有什么，缺的又是什么

已有的是很强的证据基础设施。 DexLab 明确区分受控物理比较与任务鲁棒性评估，冻结场景和 backends，把 timeout/runtime failure 留在分母里，并使用独立评分器；这不是空泛的“以后做 benchmark”设计。基准协议、报告聚合

接触 trial 也已经保存参数 readback、独立评分、成本、失败结果和 artifact hash；物理失败不会被当成基础设施错误反复重跑。contact trials

缺的是跨 job 的状态语义。 当前首个 benchmark task 在每场实验前 init_state()，而 AppleStemEnv.reset() 会关闭并重建场景，源码注释明确写着“never reuse the previous apple state”。benchmark worker 也为每个 job 创建新环境并跑到 14 秒终止。benchmark.py、apple_stem.py

这没有错：它让单任务成功率更清楚。但连续接触本身的问题会落在 reset 之外。

建议先借什么

1. 直接借：job 与 run 两层记录

不要先引入 HolidayFactory 的整套 engine 或七个工业任务。给现有一个 Wuji 接触案例增加一个独立的 persistent contact sequence benchmark track：

层级	必须记录的内容	不能混淆的内容
job	开始/完成/失败事件、物理耗时、失败原因	不能把“策略输出结束”当 job 完成
carry state	物体位姿、接触状态、滑移、执行器/控制状态、是否有未释放辅助	不能用 reset 后的快照代替
run	全部 job 的顺序与最终状态、run-level 结果、总时长/吞吐	不能把同一 run 内 job 当独立样本算置信区间
evidence	原始状态、接触读回、评分、版本、seed、预算、失败	不能只挑成功 job 或只给视频

第一条最小测试可以继续使用现有 Wuji fixture、当前控制器与固定物理配置，只改变评测入口。连续执行 hold → unload → re-establish → release，另设 reset 版本作为诊断对照。两者使用相同脚本动作和物理配置，比较的是状态继承带来的差异，不是学习策略或引擎排名。

2. 需适配：static / reset / idle 检查

HolidayFactory 的评测生成部分提供了一个很值得 DexLab 借鉴的反例：可执行检查和“任务语义正确”不是一回事。其直接生成条件中，verification feedback 能提高 executable evaluation 的接受数，却没有修正已有语义误判；问题引导才帮助恢复正确的完成事件和容差。论文 §4.3

迁移到 DexLab，不必让模型写 scorer，只需对现有 scorer 做 mutation audit：

• 修改 start/completion 区域或先后顺序，评分器是否拒绝？
• 把倾斜/位移容差从合理值改成明显过宽，是否仍被 interface/schema 检查默认放行？
• 不执行动作时，是否可能因初始状态或物体自然运动而“完成”？
• 在第一 job 失败后，第二 job 是否错误地使用了 freshly reset 的状态？
• 注入隐藏支撑、附加外力或 score-only 特权状态时，是否能识别为无效证据？

这一步不需要新 GPU 实验，先证明评测器确实测的是宣称的问题。

3. 暂缓：生成式资产、场景与评测

HolidayFactory 的 Eris 确实报告了有价值的工程结论：测量残差反馈比 binary pass/fail 更能修复资产，且优势跨多个 LLM backbone。但论文没有公开代码、资产和 benchmark 场景，七个任务也没有策略比较。论文 §4.1

对 DexLab，当前更合适的是保留自己的冻结场景、独立评分和最小实现，而不是加入通用 agentic world framework。只有当某个具体场景扩展反复成为阻塞，且生成结果能通过 DexLab 现有几何/接触/任务 triple gate 时，再考虑 agent 生成资产或场景。

同样，Hydroelastic Contact、状态化执行器和磁触觉不应因为论文描述丰富就直接迁入默认 backend。它们没有真实硬件测量验证；而 DexLab 已有 Discussion #222 对“接触意图与反馈”的拆分，以及成熟的 contact probes。更合理的是等代码/资产可获取后，作为一个新的接触候选做同目标响应与负例比较。

最小验证协议

建议先定义一个有限、可复现的 development protocol，不直接产生 leaderboard 结果：

1. 正向控制：单个 job 中，固定 Wuji 接触与释放能在无隐藏辅助下完成。
2. 负向控制：不动作、隐藏支撑、错误初始状态和 score injection 必须失败。
3. reset 对照：相同脚本动作在每 job reset 与 persistent 两种执行方式下运行。
4. 状态传播：报告上一 job 结束与下一 job 开始的位姿、滑移、接触和辅助状态差异。
5. 统计单位：以 run 为统计单位；job 结果只用于组成序列证据，不能把同一 run 的 3–5 个 job 当独立重复。
6. 停止条件：若正向控制不稳、负向控制也能通过，或 reset/persistent 没有产生可解释差异，就不扩展到更长任务。

若把当前 #48 Wuji in-hand 作为后续候选，仍应先遵循其尚未决定的 receiving-finger/rolling 路线与冻结协议。current work

什么会改变这个判断

• 如果 persistent 与 reset 条件在多个 seed 下结果完全相同，且 carry-state 差异不能解释失败，那么这一层对 DexLab 不应优先。
• 如果 HolidayFactory 后续发布代码，并用至少两个 policy 在 persistent runs 上得到可区分、可复算的结果，那么它从“接口参考”升级为值得直接对照的 benchmark。
• 如果 DexLab 的 evaluator mutation audit 无法区分“可执行但意图错误”的评分器，那么应先修评测语义，而不是增加更多任务或模型。

结论：先借 evaluation contract、跨 job 状态和 run-level 统计，不借整套工厂与生成管线。 这是对 DexLab 当前“接触失败归因 + 可复算证据”主线最小、也最可能产生新信息的增量。

English summary

HolidayFactory's most transferable idea is not its hydroelastic simulator or generative factory, but its evaluation contract: a run contains repeated jobs without reset, and scenario state persists between them. DexLab already has strong frozen scenarios, native contact records, independent scoring, and retained failures. Its current benchmark, however, creates a new environment per case and explicitly rebuilds the apple scene on reset.

Proposed first step: add a small, separate persistent-contact-sequence benchmark around one existing Wuji case. Record job events and carry state, compare reset and no-reset execution under the same scripted physics, retain idle/hidden-support/state-injection controls, and use runs rather than jobs as independent statistical units. Also mutate existing evaluator regions, event order, and tolerances to verify that executable checks do not silently accept the wrong task semantics.

Do not import HolidayFactory's entire seven-task factory, agentic asset pipeline, or richer contact/actuator stack yet. The paper has no hardware validation and has not compared policies on persistent runs. Its asset-repair evidence is useful, but the code and benchmark worlds are not available for direct reproduction.

核查范围与版本

• 核查日期：2026-11-11。单一 AI 助手使用 distill 整理并自审，没有独立多方评审。
• DexLab：main@4c3dafc1cd96b90c09a36f0c178c6eeab9bd015b。核对了 README、AGENTS、current-work、benchmark 协议、模型评测协议、AppleStem 环境、benchmark worker、contact trials 与现有 Discussions。
• HolidayFactory：arXiv 2611.11789v1，2026-11-09 提交；已读 HTML/PDF 全文与 LaTeX source，并核对 26 幅 Figure、51 个 Table、46 个编号公式及关键未编号公式。
• 论文数字均为作者报告；DexLab 当前 reset 行为与证据结构来自固定版本源码/文档。跨 job 序列、evaluator mutation 和所有对照实验均为待验证提案，尚未实现或运行。
• 本帖不修改 current-work、不创建实验任务、不恢复调度，也不启动训练或物理运行。

[huangkiki]

重点重读 §4–§5 后的补充判断：原帖的方向需要保留，但优先级更清楚了。§4 最值得借的是“生成物、确定性检查、模型 critic、人工确认、物理证据必须分层”；§5 最值得借的是“job lifecycle + carry state + run-level 统计”，不是七个工业任务本身。对 DexLab，先做评测语义审计，再做很短的不 reset 接触序列；生成资产和生成场景仍应暂缓。

§4：真正有用的不是“agent 会造世界”，而是每一层的证据边界

§4 把 world construction 拆成三个不同问题，这一点比 branch 数量或模型名称更重要：

层	论文怎么做	最有价值的证据	仍然不能证明什么
Asset	Eris 把 typed constraints 路由到 mesh/code-rigid/code-articulated，并用 conformance、collider、articulation、interaction 检查把测得残差送回修复	72 个首轮资产中 47% 被拒；32 个匹配任务里 12 个首轮失败，测得反馈一轮修复 11 个、两轮完成最后 1 个	资产通过检查不等于任务可执行；评审时仍要看 scene 和完整 control loop
Scene	ISG 先生成 task plan，再生成 scene specification；确定性检查之后才让 plan/scene critic 判断	跳过 plan 检查会更快到 scene spec，却显著减少完整可执行候选；固定 critic 重判会让同一批 candidate 的接受数大幅变化	模型 critic 的 acceptance 不是独立质量标签；critic 只看 catalog/文本时可能接受“茶壶代替 vise”
Evaluation	agent 提问并提案，人确认，无模型 compiler 转成 job/metrics/rubric，再做 static/reset/idle checks	这些检查能抓住未声明完成事件、初始状态错误和 idle 自动完成	不能推断任务意图；论文中把 10° upright tolerance 改成 1° 或 45° 后，三项检查仍可通过

相应的论文证据定位：§4.1 Eris、§4.2 scene generation、§4.3 evaluation generation。

对 DexLab 的直接启示

1. “测得残差”比“模型说不行”更适合进入修复循环。 Eris 的收益不是来自多轮自然语言自我批评，而是来自具体几何/交互失败被测量后再修复。DexLab 的 contact trials 已有相同的证据基础：参数 readback、独立 verify、失败 receipt 与 artifact hash 都在同一批次里。现有 contact trial 证据链

这支持一个很窄的借鉴：如果以后让 agent 扩展 DexLab 的场景，只允许它修改可编辑 spec，并把几何、接触、任务结果与失败归因作为下一轮的输入。不要先建“agent 自动修一切”的通用框架。

2. 输出必须显式标记 physics / visual / unmeasured。 HolidayFactory 的 compiler 禁止 visual 或 unmeasured 条件伪装成 success predicate；论文还明确说 visual evidence 当前只作附加证据。这一点直接适合 DexLab 的“命令不是测量、回放不是物理成功、渲染不是 visual control”原则。

3. model critic 只能做提案筛选，不能替代 scorer。 §4.2 的 critic-swap 结果显示，同一批通过 deterministic checks 的候选在固定 critic 下可能从 7/10 接受降到 3/10。DexLab 不应把 VLM critic 加进任务 pass/fail；更合适的用途是给 reviewer 标出可疑 stand-in asset、缺失 affordance 或语义不一致，最终仍由可复算 scorer 决定。

4. background generation 暂不值得接入。 §4.2 的 proprietary/open-source 对比中，均值 2.85 对 1.78，但两者“usable”都是 0/27；且背景只进入 observation model，不改变物理 transition。对专注于 contact failure attribution 的 DexLab，这种渲染层扩展既不能改善物理归因，也没有达到可直接使用的质量门槛。

§5：关键是把 job 做成可重算的状态机，而不是把 episode 拉长

§5 的接口比“七种工业任务”更值得迁移：

• job 由 privileged state 的 start / required / completion / failure 事件定义，失败覆盖同帧完成；
• 谓词必须连续保持一定时间才触发，以过滤接触噪声；
• job 结束状态区分 completed、failed、timed-out、censored；
• run 可因完成目标、总时长或 inactivity/stall 结束；
• metrics 包括 throughput、latency、失败/未完成、protocol violation 与电机能量；
• 因为同一 run 内 job 共享状态，run 才是统计单位。§5.2、§5.3

这直接补上了 DexLab 当前 episode benchmark 之外的一个空白，但不要求照搬工业流程。现有 AppleStem benchmark 明确每场重新初始化，14 秒 episode 内完成评分；AppleStemEnv.reset() 还会关闭并重建场景，不复用上一颗苹果的状态。benchmark worker、AppleStem reset

§5 里最容易漏掉的反例

论文用 185/185 region checks、20/20 start-state probes 和 32/32 scripted trajectories 验证六项任务，看起来自洽性很强。但 scripted replay 仍暴露了一个只有沿完整轨迹才看得到的问题：搬运路径重新进入 start volume，导致 start event 重复触发和 protocol violation。最后通过压缩 start volume 高度并延长 hold 才消除。

这给 DexLab 的启示不是“增加更多检查数量”，而是：

评测器既要在单帧/初始状态上做 mutation，也必须在完整轨迹上反事实测试。静态 region test 通过，不能证明事件边界正确。

建议把 §4 和 §5 合成一个很小的 DexLab 入口

第一步：只做 evaluator mutation audit，不新增物理实验

选现有 Wuji 或 contact scorer，冻结原 scorer 和证据，人为构造下列 mutation：

1. start / completion region 平移、放大或重叠；
2. upright / displacement / hold tolerance 收紧或放宽；
3. completion 与 release 的事件顺序交换；
4. 去掉 required event；
5. 无动作 idle run；
6. 用上一 job 的最终状态代替 reset 初态；
7. 加入 hidden support、外部辅助力或 score-only state injection。

每个 mutation 先声明“应被哪一层拒绝”，再由独立 scorer 执行。若某项真值错误仍被接受，就先补 evaluator，而不是增加任务或模型。

第二步：只有在上一步通过后，才做三段 persistent contact sequence

建议仍是 Wuji 的 hold → unload/re-establish → release/re-grasp，不引入新 benchmark 题材：

• 相同脚本控制、物理配置和 seed；
• 一组每个 job reset，一组不 reset；
• 每个 job 保存开始/完成/失败事件与 carry state；
• run 保存 job 顺序、终止原因、总物理时间与所有失败；
• 负例必须包含 idle completion、hidden support、state injection；
• 以多次独立 run 报告结果，不把同一 run 内几个 job 当独立重复。

最小继续条件也应提前冻结：正向控制必须稳定；负例必须失败；reset 与 persistent 之间应出现可由 carry state 解释的差异。如果三者任一不成立，就没有理由把序列扩成更长任务。

更明确的取舍

内容	判断	理由
§5 的 job/run 数据模型	直接借鉴	能补 DexLab 单 episode 之外的持续状态语义，且不依赖新引擎
§4 的 deterministic/measured feedback 与 missing-data 标记	直接借鉴	与 DexLab 现有独立评分、失败保留原则一致
evaluator mutation audit	优先实施候选	成本低、能先确认 scorer 是否测对任务
§4 的 LLM scene critic / evaluator author	需适配，暂不进入 verdict	critic 稳定性不足，单一任务/模拟用户的外部效度有限
生成式资产、背景和七任务工业世界	暂缓	无公开代码/世界，缺乏策略结果；背景甚至未达到 proven usable
Hydroelastic Contact / stateful actuator 迁移	暂缓并等待可复现材料	论文无真实硬件验证，不能替代 DexLab 当前 contact attribution

更新后的判决：§4 给 DexLab 的是“生成与验证如何分层”，§5 给的是“连续 job 如何变成可复算的评测对象”。先把这两点落成 scorer mutation 和三段接触序列；不要因为论文叫 benchmark，就先把七任务或生成式 world 放进主线。

English follow-up

A focused reading of Sections 4–5 changes the emphasis, not the overall conclusion. Section 4's useful contribution is layered evidence: editable generation, deterministic checks, model critics, human confirmation, measured physical probes, and explicit unmeasured requirements must remain distinct. Eris shows that measured residual feedback repairs assets better than independent resampling, but the critic-swap and evaluation-generation studies also show that executable acceptance does not establish task semantics.

Section 5's useful contribution is a job lifecycle rather than seven factory scenarios: privileged-state start/required/completion/failure events, debounced events, completed/failed/timeout/censored jobs, run-level termination, and run-based statistics because jobs share persistent state. Its scripted replay also found a failure that static region checks missed when a carry path re-entered the start region.

For DexLab, first mutate and audit the current scorer's regions, tolerances, event order, idle behavior, reset assumptions, and hidden-support/state-injection controls. Only after that passes, add a three-job Wuji hold → unload/re-establish → release/re-grasp sequence, comparing reset and persistent execution under the same script and physics. Keep run as the unit of analysis. Do not yet adopt the generative world pipeline or the full industrial task suite.

[huangkiki]

已整理为独立 Discussion：#314 机器人操作榜单如何被 hack？

这条评论保留原始发布记录；后续请在独立 Discussion 中继续讨论。

TL;DR

核心思想：机器人榜单不需要篡改 scorer 也能被“hack”——模型可以不学榜单声称要考的能力，只利用任务编号、固定的测试分布或贴近测试的训练数据，仍然拿到高分。

具体例子： LIBERO 本来想考“机器人能否读懂指令并完成操作”。论文却用一个不读任何语言、只查 task ID 的约 0.09B DINOv2+MLP，在 Spatial/Object/Goal 上仍然得到 99.0%/100.0%/98.8%。这就像一场声称考阅读理解的考试，学生不读文章，只记住“第 3 题选 B”也能拿满分。

• 这证明： LIBERO 总分本身不能证明语言理解能力；高分与所声称能力之间存在可识别性缺口。
• 这不证明： 高分 VLA 一定没有语言能力，也不证明所有 benchmark 都无效；RoboCasa/RoboTwin 2.0 并没有被同一个简单探针击穿。
• 对 DexLab 的直接行动： 先做 scorer mutation audit，再做“去掉声称能力”的最小探针和训练支持内重采样；这两关都能解释后，才扩展 persistent contact sequence。

---

补充：从 evaluator mutation audit 扩展到 benchmark gaming audit

结论先行：Jiang 等人的 CoRL 2026 Oral Best Paper Award Finalist What Are We Actually Benchmarking in Robot Manipulation? 并不是在证明“所有榜单都造假”，也不是主要攻击直接修改 scorer。它证明的是更基础的识别问题：一个总分可能同时由目标能力、任务捷径、长期适配的固定测试分布、训练数据与测试域的距离以及统计噪声产生；因此高分本身未必能唯一识别论文声称的能力。 这与本 Discussion 的评分语义审计互补：前者先问 evaluator 是否接受伪完成，后者再问即使 evaluator 没写错，这个协议是否仍允许不具备目标能力的系统冲到高分。

论文给出四种可执行诊断：

1. Shortcut solvability：LIBERO 上一个约 0.09B、共享 DINOv2 + MLP 的探针不读取语言，而是使用 task-ID embedding；Spatial/Object/Goal 分别达到 99.0%/100.0%/98.8%，与当时最佳报告相差不超过 1 个百分点。它不证明高分 VLA 没有语言能力，只证明 LIBERO 总分不能单独证明该能力。RoboCasa、RoboTwin 2.0 上同类探针仍明显落后，说明诊断是单向反证，不是“所有 benchmark 都一样容易”。
2. Statistical significance：只有 top-line score 时，作者对所有与总分相容的逐实例结果构造 paired Wald 方差上下包络，将比较分成 no improvement、provably not significant、indeterminate 和 provably significant。indeterminate 不能被偷换成“不显著”；正确动作是发布每个 task/episode 的结果。arXiv v1/项目页的 LIBERO 数字为 19.8%，当前 camera-ready 代码产物修正为 144/789 = 18.3%，所以引用时必须带版本。
3. Creeping overfitting：CALVIN 保持同一 1,000-sequence manifest，只把 block pose 在训练支持范围内重采样，X-VLA、GR-1、RoboFlamingo 的平均完成链长分别下降 1.027、0.749、0.498，95% CI 均不跨 0；只换一份官方 sequence manifest 时，变化很小且 CI 跨 0。当前证据更像对窄测试分布过拟合，而不是只记住某 1,000 个样本。
4. Data-source dependence：SimplerEnv 协议没有约束训练数据来源。作者为四个 task 分别用 120 条贴近官方 grid 的 scripted simulation demos 训练 22M policy，取得 91/96，接近 X-VLA 报告的 92/96。它不是统一训练数据下的公平模型对比，而是一个存在性反例：同一总分未必证明从真实 BridgeData V2 到仿真测试的跨域泛化。

对 DexLab 当前顺序的具体修改

保留原帖的第一步：用 region/tolerance、事件顺序、idle、隐藏支撑、错误 carry/reset 与 state injection 做 scorer mutation audit。只有 positive control 被接受、negative control 被拒绝且所需信号可观测后，结果才具备基本语义。

随后，在扩大 Wuji 任务或做 persistent-job 序列前，加入最小的 benchmark gaming audit：

声称能力	最小缺失能力探针	训练支持内重采样	必须保存
语言/视觉条件操作	去掉对应输入；用 task ID、固定动作或特权状态替代	指令同义/对称条件、相机与可见性	原始输入、替代输入、逐实例配对结果
接触保持/手内操作	去掉接触信号或用目标位姿直达；禁止隐藏支撑	物体初姿、支撑高度、接触初态、摩擦/顺应性在已声明支持内变化	原生接触观测、事件顺序、失败层、整条 run 结果
连续作业可靠性	reset 与 no-reset 成对控制	job 边界、carry state 和恢复条件	每个 job 事件及整条独立 run；不要把同 run 的 job 当独立样本

每项结果还要披露训练数据与测试的共享资产、scene template、seed/grid、仿真器和生成器；评测前冻结实例、分母、统计单位和最小可检测差异。若预期增益小于当前样本量可分辨范围，应增加样本或停止声称排名进步，而不是只发布多一个小数位的总分。

证据状态与边界

本次通读了论文 31 页正文/附录、6 幅图和 10 张表，并核查公开仓库 a5ad04ab0f26d46680c4d1c24911c728d37f7d16。公开 CPU 产物的 scripts/recompute_claims.py 与 scripts/validate_release.py --skip-exact-inputs 在本轮复算通过；这只验证 claim-to-artifact 计算与发布包一致性，没有重跑策略训练、仿真 rollout 或真机。完整复现仍依赖外部权重、数据和五套 benchmark 环境。

因此，当前可采用的是审计协议和记录契约，不是这些论文结果已经在 DexLab 复现。下一步仍保持原有顺序：先评分语义，再用一个最小 Wuji 案例做缺失能力探针与训练支持内重采样；只有二者都可解释，才设计最短 persistent contact sequence。若探针暴露总分不可识别，先修协议；不扩任务榜，不把更多任务数量当成有效性修复。

来源：论文与附录 · 项目页 · 公开代码与复现说明