RoboColiseum 对 DexLab 的启发：动作回放、仿真可信度与有预算的完整任务评测

[huangkiki]

TL;DR

RoboColiseum 最值得借鉴的，是把三个问题连起来：同一条动作在仿真和真机里产生什么响应；更换物理或渲染后哪些条件改变；模型在有限预算内是否真正完成任务。 它让仿真服务于可检验的模型改进，而不只提供更多场景。

以“抓起杯子、转向、放到指定位置”为教学例子：先固定发给机器人的关节与夹爪指令，让物体通过接触动力学自行运动，再比较到达、持物和释放过程；之后固定策略，检查参数改动是否改善独立条件下的响应。直接逐帧写入杯子位姿，只能复现画面，不能检验这条因果链。这个例子用于解释方法，并非新增作者实验。

对 DexLab，第一步应是把已有合格记录整理成可复算的动作—响应证据，再接独立条件验证；暂不引入整个多引擎平台。 平台报告的 22 组配对结果支持已测配置下的评分相关性；它不证明任意接触模型准确、任意新任务误差小于 10%，也不等于 DexLab 已复现。

本轮同时读了平台报告与 Agent2Act 跨模型报告。前者是主线；后者解释控制工具如何影响模型表现。下文为单执行者分析与建议，尚未运行实验或采纳新架构。

1. 回放输入，才能检验输出

平台报告 §1 将机器人动力学、物体接触和相机观测分开建模。G2 物体回放保持约 100 Hz 的记录指令，物理子步为 1 ms；物体由接触与动力学推进，不通过抓取绑定或逐帧替换位姿移动。它还区分源后端拟合、参数冻结后的迁移，以及目标后端重新适配。来源：§1.1–1.3

这对 DexLab 的实际价值是避免把执行器误差、观测误差都塞进摩擦参数。若机器人未到达请求位置，先查控制、限幅和时序；若机器人响应匹配而物体开始滑移，再查接触与几何；若三维轨迹匹配而像素误差仍大，检查相机。这个顺序可以缩小竞争解释，但不是凭一种残差就唯一判因。

参数拟合也应保留边界：强位置反馈能够压低轨迹误差，而动力学模型仍不正确；能拟合某段轨迹的摩擦、阻尼和 armature，可能只是该配置下的有效参数。像把一只秤校到一个砝码上，校准点准确不保证整个量程准确。这里类比的是“拟合条件与验证条件分离”，并不把接触系统简化成线性秤。

DexLab 已有独立评分、接触记录和参数对照方向，但这些不自动构成真实硬件辨识。建议先在一条现有合格记录上并列保存：请求、实际施加输入、关节与物体响应、首次接触/失稳事件、观测有效掩码、评分。没有独立实机记录时，可以检验仿真内部一致性；不能把它命名为 Real2Sim 校准。

2. 物理与画面可以组合，反作用不能默认存在

报告 §2 的关键架构是物理模块拥有状态，渲染消费状态；换相机与外观时，不必同时更换接触模型。它的 libuipc 路径由 CPU MuJoCo 推进机器人，机器人连杆姿态和速度驱动 IPC 中的物体与柔性接触；报告明确说明 IPC 接触力不回传 CPU 机器人模型。来源：§2

源码核对需要再加一个版本条件：Genie Sim 083793f23876 的 driver.py 已有可选 barrier 与 dynamic_proxies。代理将上一完成时刻的刚体位姿、速度送入 CPU，CPU 本地接触计算再影响机器人；返回 IPC 的是机器人状态。这是带代理的分步状态耦合，不能写成“完全没有环境影响”，也不能升级成“回传了 IPC 原生接触力、同一步联合求解或已保证动量/能量一致”。默认 latest 与显式 barrier 的时钟语义也不同。实现：driver、CPU worker。

以手拉布料为例，布料可以随给定手运动发生变形；若要研究布料拉力怎样拖慢手、改变腕力矩或触发失握，就必须核查这些反作用进入了哪个动力学模型。像沿预定轨迹移动挂钩可以展示布怎样垂下，却不能仅凭布的形状推断手需要承受多大力。该类比只解释状态驱动与受力反馈的差别，不判断具体 IPC 场景是否成功。

DexLab 可直接借鉴状态归属、时间戳和物理/渲染分离的记录原则。需要力矩闭环或换指承载时，先核查反力、作用点、坐标系、采样/生效时刻和能量交换；不要因接口统一就替换现有合格 native reference。生产适配仍属于既有 UniSim 边界。

3. 相关性、完整成功和资源预算分别回答问题

公开证据	能支持什么	不能直接推出什么
平台 §1.4：16 项任务、22 组机器人—任务配对，Pearson r=0.9686；图中拟合为 sim=0.913×real+0.054	这些配置的任务分数呈较强线性关联	每个样本误差 <10%；新任务预测误差；固定任务内模型/checkpoint 排名可靠
Season II §3.3：Agent 与 VLA/WAM 分榜；固定官方集外另有动态集；任务步数与推理调用预算、超额惩罚和完整完成奖励	评测开始同时约束进度、完整完成与成本，并检查测试集过拟合	动态集参与总分；上述规则自动消除全部投机；公开文字已足以复算服务器全部计分
Agent2Act v1 §III-A：按任务等权聚合原生子步骤分，各 case 运行一次	同一 harness、样本与种子下的条件化比较	子步骤分等于完整任务成功率；一次运行给出稳定排名或统计显著差异

第一行的相关系数衡量共同变化，不衡量绝对一致。混合不同任务的难易度也可能抬高总体相关性。要用仿真筛模型，需要固定任务和本体，在未用于拟合的实机条件上检查模型排序、误差与不确定性；要证明每任务误差界限，则需要逐项配对数据和清晰的误差定义。平台配对图

对预算，同样不能只比较“调用次数”：一个调用可能生成不同长度的动作 chunk。DexLab 应分开记录模型调用、发出的动作数、实际完成的物理步数、仿真时间和墙钟时间，并把失败、超时与基础设施错误保留在原分母。官方分数、完整成功率和成本分别展示；可以讨论新的复合分，但不能覆盖历史原生结果。Season I 的旧榜和 Season II 的新任务/预算协议也应分别保留。

4. “知道怎么做”到“接触做成”之间，先补观测再判因

Agent2Act 并非语言模型直接驱动力矩的裸控制：它检查候选动作、转换执行命令，再根据新观测形成偏差反馈，环境独立判分。当前源码还区分生成、发出与后续观测到的动作效果；通过 IK 检查不能证明无碰撞或已抓稳。架构与输入边界

单独看论文 §V-B 的灵巧手叠碗 case： 初始是碗堆叠任务，模型获得视觉与实测机器人状态，输出手臂目标和每手 20 个手指关节目标；接近后反复调整手指与腕部，仍未形成稳定抓持，因而无法可靠抬碗并完成堆叠。进一步提供指掌位姿和包围盒仍未完成。现有证据能定位的第一失效层是“稳定抓持建立”，早于“堆叠落位”。这还不是唯一物理根因：接触布局、几何误差、驱动力不足或响应失配未被公开接触力时序和受控对照区分；自由度数量也不能独自充当主因。反复尝试消耗预算属于可能的任务后果/放大因素，不替代抓持机制解释。

下一判因门槛是获得同一次尝试的指尖—碗相对位姿、接触建立/丢失时刻、法向/切向作用、关节实际值与目标值，以及碗的六维运动；先判“未形成有效夹持”还是“夹持后受载滑脱”，再只改变相关因素。像用几根筷子托碗，位置摆得像样并不等于力和力矩足以承载；类比不覆盖具体指垫顺应性、摩擦或碰撞体。该 case 是作者的定性观察，本轮没有轨迹可供独立重放。论文 §V-B

对 DexLab 的取舍

1. 先借动作回放与残差分层。 使用已有合格记录核对输入、执行、接触和评分，不为接入新平台重跑全套基线。它与当前“先评分语义、再首次失效层”的顺序兼容。
2. 再设计独立条件与双重预算。 待原生评分可靠后，选择能区分竞争解释的短接触过程；固定控制与观测，明确拟合/验证划分、动作/推理预算和整个 run 的统计单位。这是候选设计，不是已启动实验。
3. 暂缓整个平台迁移与大规模榜单。 只有当前失败明确需要新材料/接触能力，且状态、时钟和反力语义可验收时，才论证引擎接入。源码存在、相同资产或漂亮画面不足以跨过这一步。

如果独立留出条件显示现有物理已经足够，而改进主要来自动作反馈或局部策略，就优先修控制；如果固定输入下仍有可重复、可测的接触响应偏差，再考虑辨识或物理更改。这个可改变决定的对照，比先扩场景库更有价值。

版本、覆盖范围与公开入口

• 核查日期：2026-11-13。平台网页标注 2026-10-28，按当日页面内容核查，动态网页不是不可变论文版本；平台报告入口当时尚无 arXiv 链接。
• Agent2Act 论文：2610.27865v1（2026-10-20）。其主实验、少量 harness 消融、定性扩展 case 分别解释，不混成统一基准或今天的实时榜。
• Genie Sim：083793f238762d336ce8570d22118a60a6830875，重点读了 IPC driver/CPU worker、设计边界和 Agent2Act runtime；未审计全部 backend、评分服务器或整个系统。
• RoboColiseum 仓库：38ff053c1c33。这是参与评测的指南/skills 入口，仿真和控制实现另指向 Genie Sim；仓库入口开放不代表所有训练数据、资产和托管计分均在同一许可下完整公开。
• DexLab 对照基线：ddb3775 当前方向。本轮是公开材料与源码静态核对，没有模型推理、物理运行、实机校准或性能复测；没有创建实验任务、修改评分或恢复后台调度。