调研：UniLab 相比 mjlab 的其余能力缺口盘点（视觉观测 / 传感器 / DR 广度 / 执行器 / 工具链）

[TATP-233]

调研：UniLab 相比 mjlab 的其余能力缺口盘点

结论（TL;DR）

课程学习能力已补齐（见 companion discussion《mjlab 课程学习 MBA 设计 vs UniLab 现状》）。对 mjlab（/home/user/ws/simulator/mjlab，v1.6.0+）做全量能力盘点后，mjlab 仍领先、且未被既有 roadmap（#1252 / #1389）完全覆盖的缺口，按建议优先级：

优先级	缺口	一句话
P0	视觉观测链路	UniLab 无任何 camera 策略观测任务；mjlab 有 RGB/Depth/Seg 传感器 + CNN encoder + 视觉任务全家桶
P1	传感器语义	缺 contact air-time / first-contact 语义与 raycast（lidar）传感器
P1	DR 广度（尤其视觉 DR）	mjlab 约 40 个 per-field 随机化 term；UniLab 契约 16 reset + 5 interval，视觉类字段不在契约内
P2	per-world mesh/material variants	mjlab 支持 per-env 网格/材质变体；UniLab 只有构造期固定 variant
P2	非理想执行器建模	mjlab 有 DC motor / learned MLP / muscle / delay；#1389 已声明 S6 单独立项，目前未见对应 issue
P2	Viewer / ops UX	viser checkpoint 热切换、term plotter（#1252 第 5 项仍 open）、夜间基准发布

各项详述

1. 视觉观测链路（最大缺口）

• mjlab：CameraSensor（RGB + depth + segmentation，经 mjwarp.render GPU 渲染，src/mjlab/sensor/camera_sensor.py）；SpatialSoftmaxCNN 图像观测 encoder（src/mjlab/rl/spatial_softmax.py）；注册任务 Mjlab-Lift-Cube-Yam-Rgb / -Depth / Mjlab-Multi-Cube-Seg-Yam（src/mjlab/tasks/manipulation/）。
• UniLab 现状：相机只存在于 playback/viewer 路径（CameraCfg、motrix camera、visualization/render_many.py）；全部 37 个注册任务无 camera 策略观测；SimBackend 契约没有 camera 渲染 capability。
• 建议落点：在 SimBackend 增加声明式 camera capability（fail-closed，符合 AGENTS.md 契约纪律），mujoco/mjwarp 先行 → obs term + CNN encoder + 一个视觉示范任务。这是打开 manipulation 上限的前置条件。

2. 传感器语义

• mjlab：ContactSensor（per-pair force、air time、first-contact / first-air、history，src/mjlab/sensor/contact_sensor.py）；RayCastSensor（grid / pinhole-camera / ring 图案，lidar 风格，src/mjlab/sensor/raycast_sensor.py）；TerrainHeightSensor。
• UniLab 现状：height scanner 有（create_hfield_scanner）；接触只有 per-link net-force 阈值近似（task 级 gait/contact term）；无 air-time 语义、无 raycast。注意 roadmap: 对照 mjlab 补齐 UniLab MBA 能力缺口（curriculum / DR / 通用 term 库），MicroDuck 作验收 example #1389 记录的"传感器面无缺口"指 MJCF builtin sensor 读取（gyro/velocimeter/framequat/subtreeangmom/contact-force），与本节是两层。
• 建议落点：air-time / first-contact 语义进 BackendSensorView 契约（足式 reward 直接受益）；raycast 作为可选 capability 单独评估。

3. DR 广度（尤其视觉 DR）

• mjlab：约 40 个 per-field 随机化 term（src/mjlab/envs/mdp/dr/）：actuator gains / effort limits、body mass / com / 物理一致 pseudo_inertia、geom friction/pos/quat/rgba/size/matid、joint damping/armature/friction/stiffness/limits/default/encoder_bias、light 全参、material、camera 内外参、site、tendon；分布支持 scale/add/abs × uniform/gaussian/log-uniform/categorical；底层机制是 @requires_model_fields 声明式字段展开 + per-world tile + RecomputeLevel 分级重算（src/mjlab/sim/randomization.py）。
• UniLab 现状：DomainRandomizationCapabilities 16 个 reset term + 5 个 interval term（unisim/dr/types.py），mujoco/mjwarp 全量、其余后端递减（fail-closed 是正确纪律）；MBA: event/DR term 补齐（body impulse / push 角速度 / fail-closed 放开） #1399 已补齐 body impulse / push 角速度等事件 term。但视觉 DR（geom rgba、material、light、camera 参数）与 tendon/site/pseudo_inertia 字段不在契约内，未见落地证据。
• 建议落点：与 Roadmap: 借鉴 mjlab 的性能机制与开发体验优势（7 个候选 sub-issue） #1252 第 2 项（声明式模型字段展开，仍 open）合并考虑，在 capability 契约中增加视觉 DR 组（mujoco/mjwarp 先行），为视觉任务的 sim2real 铺路。

4. per-world mesh / material variants

• mjlab：VariantEntityCfg（src/mjlab/entity/variants.py）支持 per-world 网格/材质变体 + 拓扑校验，有专页文档——外观级泛化的利器。
• UniLab 现状：src/unilab/base/variants.py 是构造期固定 variant 目录（ADR-0010），不支持 per-env 外观变体。

5. 非理想执行器建模

• mjlab：完整 actuator 包（src/mjlab/actuator/）：IdealPd、DC motor、LearnedMlpActuator（学习型执行器网络）、XML passthrough、builtin group fusion 与 delay。
• UniLab 现状：依赖后端 XML 原生执行器 + kp/kd DR；无 learned actuator、无 action delay 建模。roadmap: 对照 mjlab 补齐 UniLab MBA 能力缺口（curriculum / DR / 通用 term 库），MicroDuck 作验收 example #1389 已明确"非理想执行器（DC motor / BAM 类 + action delay）体量大，单独立项（S6）"，但目前未检索到对应 issue。
• 建议落点：按 roadmap: 对照 mjlab 补齐 UniLab MBA 能力缺口（curriculum / DR / 通用 term 库），MicroDuck 作验收 example #1389 的声明正式立 S6 issue；落在 backend/entity 层，不进 env 契约。

6. Viewer / ops UX

• mjlab：viser viewer 支持 checkpoint 热切换（本地或 W&B run 直接换权重）、reward bar、per-term plotter、camera overlay（src/mjlab/viewer/viser/）；nightly benchmark 自动训练并发布吞吐回归（物理 SPS vs env SPS、manager 开销占比）到 GitHub Pages；uvx --from mjlab demo 零安装演示。
• UniLab 现状：viser 播放与 per-term reward extras 数据已有，缺前端呈现（Roadmap: 借鉴 mjlab 的性能机制与开发体验优势（7 个候选 sub-issue） #1252 第 5 项仍 open）；benchmark 套件 + CI smoke 有，但无夜间发布的性能回归追踪（GPU/真后端验证目前靠 maintainer 证明，CI 仅 CPU）；demo 走 HF checkpoint，需完整安装。

已收敛项（避免重复立项）

以下曾是缺口、现已关闭或进行中：CUDA graph capture（#1252 第 1 项，已 done）；第三方 task 包 entry-point 注册（src/unilab/base/registry.py:348 unilab.tasks group，已落地）；通用 curriculum 引擎（#1397）；event/DR term 补齐（#1399）；观测真实化 term（#1400）；MicroDuck 验收（#1402）；play variant 标准化（#1499，open）。

UniLab 优势面（平衡视角，避免误读为全面落后）

• 9 后端 SimBackend 契约 + fail-closed 能力协商 + 自动生成的 support matrix（Registered/Configured/Tested 分级证据）；后端子进程隔离 EOL 运行时（IsaacGym py3.8 / IsaacSim py3.11）。
• 5 算法栈（PPO / APPO / SAC / TD3 / FlashSAC，含异步 off-policy、共享内存 collector、torchrun DP、perfetto tracing）vs mjlab 仅 rsl_rl PPO。
• 37 个注册任务、10+ 机器人（含灵巧手、Stewart、FR3）vs mjlab 13 任务、3 机器人。
• 契约驱动 sim2sim（DENYLIST 审计、play preflight、checkpoint dim guard、ONNX 数值校验）+ 双语 sim-to-real 文档 9 篇。
• CPU 可训练、ROCm / XPU / MPS learner profile、macOS 支持；双语文档站。

关联

#1289（MBA 全面对比）；#1252（mjlab 性能/DX 借鉴 roadmap）；#1389（MBA 能力补齐 roadmap，已关闭）；#1499（play variant 标准化）。