You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
2026 年 10 月论文借鉴:DexLab 的接触梯度、世界模型与任务评测 / October research digest
#293
The useful transfer from this month's papers is a set of testable methods: whether contact gradients improve the actual forward objective, whether an action-conditioned model distinguishes alternative actions, and where a manipulation episode first fails. Six papers deserve detailed attention: DiffContact, DiffGIPC, Rollback, RoboJEPA, HandsOn, and SuperMimic. Eight additional papers provide targeted ideas for representations, reset distributions, bimanual rewards, and cross-embodiment data; diff-soup is background engineering material.
DexLab already has native Wuji records, independent scoring, and contact-response baselines. Lower position error has not established contact-loss prediction. CHORD's draft PR #292 reports finite training and checkpoint reload, while recorder parity and off/off repeatability remain failed; qualified scoring and complete migration remain 0/3. These are different evidence levels, and the draft is not merged mainline capability.
Prioritize qualified recording and repeatability, then identifiable action interventions, then gradient or counterfactual comparisons, and only then policy updates. Reuse #261's baseline/repeat/intervention protocol rather than assuming that similar visible states establish identical hidden solver state. For contact switching, retain #48's pending task decision. Use DiffGIPC to inform #218's coupled-simulation assessment without committing to another default backend.
Keep exact derivatives, relaxed backward sensitivities, and learned-model gradients distinct. Evaluate local consistency and actual forward improvement separately. Retain task-stage outcomes, physical time, model-call budgets, and wall-clock cost. A faster solver, a lower latent loss, or a completed training process does not establish better physical fidelity or learned manipulation.
This is a literature-based proposal grounded in a fixed DexLab snapshot and live issue/PR records. No new experiment was run, no queue was changed, and scheduled execution remains paused.
reacted with thumbs up emoji reacted with thumbs down emoji reacted with laugh emoji reacted with hooray emoji reacted with confused emoji reacted with heart emoji reacted with rocket emoji reacted with eyes emoji
Uh oh!
There was an error while loading. Please reload this page.
2026 年 10 月论文借鉴:DexLab 的接触梯度、世界模型与任务评测
最值得带进 DexLab 的,是三类可验证的方法:接触切换附近的梯度是否有用、世界模型能否区分不同动作的后果、任务失败发生在哪个阶段。建议先把这些方法接到已有的接触响应与 CHORD 记录工作上,再决定是否引入新求解器或更大的模型。
本次从 2026-10-02 至 2026-11-02 的月度推荐中筛出 14 篇直接相关论文,另留 1 篇通用 PDE 工程参考。以下是针对 DexLab 的研究判断与候选验证,不是已实现能力或新实验结果。
先对齐 DexLab 已经做到哪里
本轮核查的主线已有 Wuji 原生接触记录、独立评分和接触响应离线基线。固定控制下,合成抗扭接触将两秒保持漂移从 2.734 mm 降到 1.025 mm;这说明接触模型会改变任务表现,但没有建立真实指垫标定或合格的求解器失效。六个已有回合中的常速预测能降低短时位移误差,却仍漏报释放/卸载时的接触丢失。这正是“预测平均误差更好,但控制所需事件仍没学会”的具体入口。 Wuji 结果、接触响应基线
CHORD 的现状要分层看:主线交付了三任务准备入口;草稿 PR #292 报告纸巾盒有限训练和 checkpoint 重载已执行,但记录器一致性与 off/off 重复均未通过,独立评分被阻止,完整迁移仍为 0/3。该 PR 尚未合并,不能把训练进程成功写成学会操作,也不能先把差异归因于记录器。执行问题 #285、训练路线讨论 #281
因此下面的建议承接现有问题,不另建重复队列。Wuji 接触切换仍由 #48 决定并冻结具体动作;模型动作响应仍归 #261。本帖不替代这些任务中的待决选择。
六篇最值得展开的论文
1. DiffContact:把“导数准确”与“优化方向有用”分开
机器人在接触模式内部微调时,精确局部导数可能合理;但从分离到接触、从粘着到滑动的模式变化,未必能从当前模式的一阶导数看到。DiffContact 保留硬接触前向,只在反向使用中心路径松弛的敏感度,帮助优化器跨越这些边界。作者报告约 10 万控制样本、不到 2 分钟桌面 CPU 训练得到可上机的腿式策略。论文 v1,方法与实验
DexLab 可借鉴的是验证方式:固定前向物理与任务代价,分别检查候选导数的局部一致性,以及沿其更新后原生前向的真实代价变化。 在接触切换附近,有限松弛梯度本来就不等于硬接触映射的精确导数,不能只凭有限差分不吻合判它无用,也不能凭能反传就称其物理正确。
其点足和摩擦锥设置不能直接覆盖 Wuji 的合成抗扭接触、网格或 SDF 几何。先明确动作、接触模型及损失,再设计小幅更新对照;暂不把论文敏感度接到所有 DexLab 后端。
2. DiffGIPC:刚柔接触的导数必须经过两边的相互作用
DiffGIPC 把 FEM 形变体与每体 12 个运动自由度的仿射体放进耦合系统,反向保留碰撞和摩擦造成的跨物体依赖。对“改夹爪姿态,布料是否更稳”这类问题,不能把另一物体的接触响应当作常量。它是采用 IPC 接触与伴随求导的另一条路线,与 DiffContact 的硬前向/松弛反向应分别比较。论文 v1 §3–6
值得借鉴耦合导数检查与成本拆分,暂不据此新增一个默认引擎。 作者的约 150× 峰值对应完整 FEM 对照;约 4133× 还叠加了仿射体与完整 FEM 的表示差异。§7.4 的方向有限差分只覆盖声明的参数点、方向和窗口,共享案例取前 10 帧,不能升级成全轨迹、全方向保证。§7.4、Tables 2–4
这篇适合作为 #218 IPC 刚柔候选评估 的文献对照。先问现有布料/夹持问题是否真的需要形变自由度和耦合梯度;几何不穿透也不能替代材料、摩擦或实物响应验证。
3. Rollback:同一决策点的动作对比,比增加想象轨迹更关键
Rollback 保存世界模型上下文,从已有真实轨迹的决策点回退,分支尝试其他动作,用搜索子树的结局产生动作级监督;再用新真机转移适配模型。其同底座 RISE 对照在三项真机任务上有 10.67、11.11、11.85 个百分点提升,评测分母分别为 150、90、135。论文 v1,Table 1
对 DexLab 最有用的是“同起点、不同动作、独立判结果”的比较。 例如手指将要卸载时,比较原动作与较慢卸载,观察接触丢失时间和物体位移。这里是迁移示例,不是本文新增实验。应先复用 #261 的连续前缀 baseline/repeat/intervention 检查;可见状态接近不保证隐藏求解器状态一致,更不能默认所有后端已有可靠 snapshot 恢复。
搜索树固定策略/模型版本、真实回合固定策略版本也值得借鉴。48 张 H200 的改进系统和前期预热不适合作为首轮最低配置;冰壶的 64 条保真度验证轨迹参与过适配,不能拿这组结果证明未见轨迹泛化。传统模拟器也能保存/恢复状态,回退并非学得模型独有。
4. RoboJEPA:把预测指标绑定到规划用途
RoboJEPA 用冻结视觉特征训练跨 12 平台的动作条件潜预测器,规模达 8B。真正影响 DexLab 选择的是:短 rollout 训练并未形成清晰的长时域规划提升趋势;延长 rollout 并同时提高分辨率后,趋势才改善。这个实验支持训练信号与部署用途对齐,尚不能只归因于时域长度。论文 v1 §3.3、Figures 7–8
应保留潜误差作为预测诊断,同时独立评价接触建立/持续/丢失、位移方向和闭环任务结果。 不能把 JEPA 特征距离直接当作接触力或几何误差,也不能把动作条件指标与不使用动作的常速基线混成一种能力。数据按完整回合拆分,模型与编码器、时域及规划预算一起固定。
真机每模型—任务 30 次,VLA 参考的目标及控制接口不同;这些成绩不支持公平的通用模型排名。现阶段不建议为 DexLab 从零训练 8B;先解决兼容模型和明确动作语义的资格。Appendix G
5. HandsOn:让失败发生在哪一步成为可复算结果
HandsOn 的 66 项任务分 Core-50 与 Transfer-16,结合任务结果和接触建立、动作协调、目标保持等阶段诊断。作者报告最佳训练多任务策略 Core-50 成功率 29.1%。它给 DexLab 的增量是把“抓到了但没完成”拆开:是否接触成立、双手是否同时就位、是否使用了工具、是否持续保持目标。论文 v1 §3.3–3.4、§5.3.3
先迁移阶段记录和失败标签,再决定扩展任务库。 阶段应由状态/接触/独立判据重建,不用 reward 大小代替。保留物理时间预算、模型调用预算和推理墙时各自的口径;模型调用结束也不等于原生任务终止。
论文的 agent 评测披露了门锁指令与原生判据不一致、抬箱豁免 12 N 幅值阈值等例外。这些应随任务身份记录,不能将例外照搬为 DexLab 的合格协议。其真机片段也是定性演示,不是已计分的 sim-to-real 对照。Appendix C.4、B.5
6. SuperMimic:检验模型梯度是否真能改善原生目标
SuperMimic 用共享动力学模型、短时域 BPTT 和模型/策略共同更新,降低大规模人形动作跟踪训练成本。作者报告单 GPU 3 小时在其动作集上超过大规模既有跟踪基线;这是具体动作跟踪实验的成本结果。论文 v1
应借鉴可微模型的学习机制,但把三件事分别做实:固定策略下的前向预测、局部动作响应、更新后的原生任务收益。 接触即将消失时,低平均预测误差不能保证导数方向对;优化器还可能利用模型偏差。进入策略更新前,#261 的干预效果应先能与自然重复波动区分。
DexLab 现有 AMP 抬箱准备与 SuperMimic/PPO-Sim tracking 是不同任务和输入,不能用 AMP 结果充抵本论文复现,更不能推导出匹配预算的算法排名。项目已有边界
其余八篇:按需要补读
这些条目依据摘要及可得正文做定向筛选,未逐篇完成与上述重点相同深度的核查。建议用于补具体问题,不同时展开八条接入路线。
diff-soup(10-27)另作工程参考:稀疏刚性 PDE、GPU 线性求解与可微计算组织可能有用,但当前材料不足以支持其非光滑摩擦接触能力。纯 LLM RL 算法与训练基础设施论文暂不纳入本次 DexLab 主线。
建议怎样落到已有工作
优先顺序是:记录/重复资格 → 动作响应可辨认 → 梯度或分支比较 → 策略更新。 这些是研究建议,不改变现有排期、验收或资源预算。
如果以后进入梯度实验,建议在固定状态、动作和前向条件下预先选好微扰与步长,比较局部方向、更新后代价、接触失效和总成本。硬接触的不光滑点、松弛的替代梯度和学习模型的梯度应分组解释,不能用一个有限差分误差总分把三者排成“物理精度榜”。
如果以后进入模型与仿真共同改进,沿用 #281 的交叉评估思路:旧/新策略分别在旧/新物理配置下运行,区分“环境变容易”与“策略学会适应”。物理修改要有独立参照或数值证据,策略成功率提高不能自证物理更真实。
暂缓大规模模型训练、整库任务搬迁、统一跨引擎可微接口,以及直接把论文速度数字写进项目性能。 当前最先可能改变判断的证据,是合格重复与干预,而不是模型大小或任务数量。
核查范围与版本
f4cae049a763786c73107d10833e2e09567ba944。核对 README、AGENTS、current-work、模型评测协议、Wuji 接触与接触响应报告、原生动作入口、Wuji 独立评分器、CHORD 准备入口及 AMP 边界;源码所见与运行结果分别表述。9d718c833224292980277231f9e6908acb2cd48a。训练与失败描述来自该 PR/CHORD 纸巾盒原生贯通:真实训练、checkpoint 重载与运行记录 #285 的公开记录,本轮没有重跑。执行状态可能继续变化,应以关联任务最新证据为准。English summary
The useful transfer from this month's papers is a set of testable methods: whether contact gradients improve the actual forward objective, whether an action-conditioned model distinguishes alternative actions, and where a manipulation episode first fails. Six papers deserve detailed attention: DiffContact, DiffGIPC, Rollback, RoboJEPA, HandsOn, and SuperMimic. Eight additional papers provide targeted ideas for representations, reset distributions, bimanual rewards, and cross-embodiment data; diff-soup is background engineering material.
DexLab already has native Wuji records, independent scoring, and contact-response baselines. Lower position error has not established contact-loss prediction. CHORD's draft PR #292 reports finite training and checkpoint reload, while recorder parity and off/off repeatability remain failed; qualified scoring and complete migration remain 0/3. These are different evidence levels, and the draft is not merged mainline capability.
Prioritize qualified recording and repeatability, then identifiable action interventions, then gradient or counterfactual comparisons, and only then policy updates. Reuse #261's baseline/repeat/intervention protocol rather than assuming that similar visible states establish identical hidden solver state. For contact switching, retain #48's pending task decision. Use DiffGIPC to inform #218's coupled-simulation assessment without committing to another default backend.
Keep exact derivatives, relaxed backward sensitivities, and learned-model gradients distinct. Evaluate local consistency and actual forward improvement separately. Retain task-stage outcomes, physical time, model-call budgets, and wall-clock cost. A faster solver, a lower latent loss, or a completed training process does not establish better physical fidelity or learned manipulation.
This is a literature-based proposal grounded in a fixed DexLab snapshot and live issue/PR records. No new experiment was run, no queue was changed, and scheduled execution remains paused.
All reactions