Repository navigation
Releases
v0.12.0 · Matching Cable 缺失流可见
v0.12.0 · Matching Cable 缺失流可见
这一版不是再加一个适配器就结束。 它把「数据不完整还能不能用」做成了明确语义:缺哪路相机、缺哪路深度、缺哪些可选数值字段,平台逐条记录并继续,而不是一个 ValueError 把整批数据挡在门外。
适配器基于 PR #2 的 Matching Cable 逐帧 HDF5 支持继续完善;本版重点是可选的流、可核对的缺失状态和合成回归。
现在怎么判断一条数据能不能进
必填只有三项:
master/joint_position→actionpuppet/joint_position→observation.statetimestamps:源毫秒时间,50 ± 10 ms/帧;越界直接失败,不静默按 20 FPS 继续
至少需要一路 RGB 相机。其余全部是可选的:
| 流 | 缺失时 |
|---|---|
camera_0..3 RGB |
只写入存在的相机,其余记入 missing_cameras |
depth_images/camera_1..2 |
存在的校验可读;缺失记入 missing_depth_source_cameras,不阻断 |
puppet/eef、master/eef、puppet/joint_effort、puppet/6f |
记入 optional_fields=not_provided,不写入输出特征 |
| 触觉 | 固定记录 tactile.status=not_provided;适配器不读取触觉字段 |
清单、批次来源、右侧检视和交付说明都显示这些字段。缺失不是自动修复,也不会补造画面或数值。
验证
新增 scripts/verify_matching_optional.py:不需要 9 GB 真实数据,生成 2 条 Episode × 2 帧、只有 camera_0、没有深度/触觉/可选数值的合成夹具,跑真实预览和六个转换/验证阶段。
本机结果:
cameras只有observation.images.camera_0;missing_cameras3 路;missing_depth_source_cameras2 路;optional_fields全部not_provided;tactile.status=not_provided;file_validation、matching_validation、field_mapping、format_write、official_verify、archive_verify六个阶段通过;- 官方加载器读取 2 Episode / 4 帧,
output_loader_consistency_checked=true; source_numeric_consistency_rechecked=false:本次没有重新读取源 HDF5 做逐帧数值回核,字段名不再冒充源数值重核。
另用同一夹具跑了完整业务链(导入 → 基础质检 → 筛选 → 标注审核 → 最终质检 → 转换 → 交付),4 帧产物与交付 ZIP 登记成功。该运行只证明链路,不证明真实 9 GB 数据、硬件同步或策略效果。
修复的审查项
- 帧数比较改为必须相等:源 Episode 多出或缺少帧都失败,不再取前 N 帧静默截断。
assert_source_unchanged()在清单含sha256时重新计算哈希,文件大小与 mtime 不变也能发现内容变化。- 50 ms 帧间隔从 warning 升级为硬失败(容差 ±10 ms)。
- 候选集拒绝重复的源/输出 Episode 索引。
- 官方验证字段改名为
output_loader_consistency_checked,业务门禁同步;不再声称源数值已重核。 - 新增合成回归覆盖缺失相机、缺失深度、缺失可选字段、额外帧和同大小同 mtime 的内容变化。
不宣称
- 没有在本机跑真实的 9 GB Matching Cable 数据;合成夹具只覆盖链路与缺失语义。
- 不声明相机硬件同步、策略训练效果、任务成功率或生产容量。
- 至少一路 RGB 仍是当前预览的前提;完全没有相机的数据不在本版支持范围。
- 没有触觉建模;触觉字段存在也不会进入交付。
- 仍是本机单用户、
127.0.0.1;没有登录、多租户或云部署。
证据入口
- Matching Cable 适配器:目录、必填/可选字段、缺失语义和命令
- 证据总表:版本链、测试计数与未验证事项
- 合成回归脚本:一条命令复现缺失流场景
- PR #2:原始适配器贡献与审查记录
v0.11.0 · 可复现验收
v0.11.0 · 可复现验收
这一版不加导入格式、不加页面、不加适配器。 它把「拿固定来源的真实 Episode,一条命令跑完并交付」做成可复现路径,并把官方训练加载器拉进验收。
真实样本,固定来源
新增 robodata fetch-sample:按 Episode 子集从固定 revision 下载,逐文件校验上游清单的大小与 SHA-256,写出 source_manifest.json。
- 本机样本:revision
54141acb0bd6bcb868e34b4eb328f26481d333b2的完整 Episode 0 和 1,9 个文件 / 19,215,391 字节。 - 没有裁帧,没有重写视频;下载的是上游完整 Episode。
--endpoint只改变传输路径(本机使用hf-mirror.com),revision 与固定哈希仍是信任根,清单记录transport_endpoint。- 导入时把下载清单与仓库内冻结的 Episode 0–4 SHA-256 清单交叉校验,不一致就失败。
一条命令,9 个阶段
新增 scripts/verify_pipeline.py,把来源校验、导入与基础质检、原始预览、审核夹具、转换、输出抽帧、官方 DataLoader、交付、独立 ZIP 验证串成一次运行,退出码与分阶段 JSON 报告同时给出。
本机 --mode full(Windows 11 / Python 3.12.10 / CPU / 2 Episode):
| 阶段 | 结果 | 耗时 |
|---|---|---|
| 来源清单校验 | 9 个文件 / 19,215,391 字节 | 0.05 s |
| 导入 + 基础质检 | 2 Episode / 1,300 帧 / 22 项覆盖 / 0 问题 | 7.97 s |
| 原始预览 | 6 个采样位置,480×640×3 |
2.03 s |
| 审核夹具 | 2 条保留,全部批准 | 0.20 s |
| 转换 + 官方离线验证 | 1,300 帧,22/22 输出覆盖 | 48.14 s |
| 输出抽帧 | 6 个位置与解码像素逐一相等 | 1.55 s |
| 官方 DataLoader 探针 | 4 个 batch / 32 帧 | 31.23 s |
| 交付 | ZIP 独立解包 + 官方加载 | 14.88 s |
| 独立 ZIP 校验 | 2 Episode / 1,300 帧 | 0.05 s |
| 合计 | 9 个阶段 | 约 106.1 s |
失败路径由自动化测试覆盖:坏样本在 file_validation 停止,后续节点统一收口为 skipped;终态与节点状态在同一次写入中发布,轮询方不会看到「已失败但后续节点仍 pending」的中间状态。
官方 DataLoader 探针
新增 scripts/probe_dataloader.py,在独立转换环境中用 lerobot 0.4.4 + torch 2.7.1+cpu,HF_HUB_OFFLINE=1、batch_size=8、num_workers=0、不打乱顺序读取前 4 个 batch。它核对:
- 加载帧数与 Episode 数等于输出清单;
action/observation.state为float32 [B,6]且全部有限;- 图像为
float32 [B,3,480,640]、值域[0,1]; task是非空字符串列表;- 不打乱时首尾动作与
dataset[0]/dataset[-1]逐元素相等。
本机 32 帧解码 23.373 秒(1.37 帧/秒);同一版本前一次 full 运行是 29.497 秒(1.08 帧/秒),更早的 fast 运行是 15.3 秒(2.09 帧/秒)。三次相差约 2 倍,说明它受系统负载与视频定位缓存影响很大。这是官方加载器可消费交付物的证据,不是训练效果、GPU 吞吐或策略成功率。
Docker / Linux
新增 Dockerfile、.dockerignore 和 acceptance.yml 的三个 job:
source-linux:Linux 上跑来源、导入与表格质检;full-windows:Windows 上下载固定样本并跑--mode full;docker-linux:构建镜像、检查健康页与坏样本。
本机没有 Docker,因此容器结论只来自 CI。容器内不安装转换环境,不做 Linux 真实数据转换或 Linux 桌面启动声明。
证据入口
- docs/ACCEPTANCE.md:下载、复核、三种模式与失败排查
- docs/EVIDENCE.md:版本链、测试计数、真实样本验收、历史记录、规模实验与未验证事项
- docs/benchmarks/2026-11-18-pipeline-2-episodes.md:分阶段耗时与 DataLoader 边界
- docs/DOCKER.md:容器范围与非声明
不宣称
- 2 Episode 子集不等于 SO-100 全量 50 条 / 32,068 帧,也不等于任意 LeRobot 数据集。
- 审核标签是脚本写入的验收夹具,不代表源任务成功或失败。
- 转换通过不证明训练效果、任务成功率或硬件同步。
- 本机没有 Docker;Linux 容器只在 CI 构建验证,不做容器内转换声明。
- 仍是本机单用户、
127.0.0.1loopback;公网多用户能力未在本版处理。
v0.10.0 · Evidence-grade
v0.10.0 · Evidence-grade
这一版不加导入格式、不加页面、不加适配器。 它只做一件事:把「这个项目到底做到了什么程度」变成一串能复查的数字和命令,而不是 README 里互相矛盾的说法。
版本链收口
v0.9.0 发布时,README 和前端写 0.9.0,pyproject.toml 还停在 0.6.0,config.py 还停在 0.8.0。质量报告会把 APP_VERSION 写进产物,这意味着报告可能声称自己来自一个从未发布的版本。
pyproject.toml、robodata/config.py、frontend/package.json、README 首行与 release 徽章统一到 0.10.0。- 新增
tests/test_version_consistency.py:任一位置漂移、或缺少对应RELEASE_NOTES_v<version>.md,测试直接失败。 uv.lock中的项目版本随pyproject.toml更新。
运行记录读取
/api/runs 在 300 条运行记录下曾超过 5 秒阈值。根因不是磁盘慢,而是 list_runs 对每个条目重复调用 get_run,每次都重新 resolve() 两次运行根目录并重新校验路径。
- 抽出
_state_from_directory(),get_run保留完整路径校验,list_runs对已枚举的目录直接读取状态。 - 300 条运行记录的列表读取恢复到阈值内;运行状态语义、只读约束和中断派生逻辑未变。
规模证据
新增 10 万 / 100 万行规模实验 与原始 JSON:
| 行数 | 重复 | 中位数 | 表格行/秒 |
|---|---|---|---|
| 100,000 | 3 | 4.719 秒 | 21,190 |
| 1,000,000 | 1 | 61.245 秒 | 16,328 |
边界写在实验文档第一段:只测 run_checks(check_video=False) 的表格路径,不含 Parquet 读取、视频解码、转换、打包、并发或服务开销;100 万行档只跑 1 次,100,000 行档方差很大。不声称端到端容量,也不声称性能优化。
训练输入冒烟
新增 scripts/train_smoke.py 与 说明:在标准化状态特征上跑 100 步小批量 SGD,预测 6 维动作。
本机合成数据结果:2,048 行,初始 MSE 0.71632246,100 步后 0.00012241,损失比 0.000171,参数全部有限,CPU 耗时 0.003 秒。
这不是策略训练。 不使用 ACT / Diffusion Policy / VLA,不证明任务成功率、泛化或硬件安全。仓库不包含已验收的 ALOHA / SO-100 产物,所以没有在这里重跑真实数据集;拿到数据后可用 --dataset-root 复现。
Linux 核心检查
新增 .github/workflows/linux-smoke.yml,在 ubuntu-latest 上安装锁定依赖,运行版本一致性、表格质检、数据集读取、坏样本校验和 100 步冒烟,再执行 robodata verify-fixtures。Windows 全量测试 workflow 保持不变。
这只证明核心 Python 路径可在 Linux 上安装并运行;Docker 镜像、Linux 桌面启动脚本和真实数据转换未在此版本验证,因此不写进能力声明。
证据入口
- docs/EVIDENCE.md:版本链、测试计数、坏样本、真实数据验收、规模实验、训练冒烟、未验证事项
- docs/benchmarks/2026-11-18-scale-experiment.md
- docs/TRAINING_SMOKE.md
不宣称
- 不宣称训练效果、策略成功率或硬件同步。
- 不宣称 100 万行表格检查等于 100 万行端到端转换。
- 不宣称 Docker 或 Linux 桌面可用;Linux CI 只覆盖核心 Python 检查。
- 运行边界仍是本机单用户、
127.0.0.1loopback;公网多用户能力未在本版处理。
v0.9.0 · 状态回退修复与上线级审计
RoboData Workbench v0.9.0
v0.9.0 是状态一致性修复版本,不新增界面。它处理的是一条真实反馈:提交审核后离开页面约一小时,回来发现「整个页面都回退到要导入的阶段」。审计结论是——这不是前端缓存或渲染问题,而是业务数据真的被改写了。
缺陷根因(修复前)
- 后端把「读取运行记录」实现成带副作用的操作:
GET与 SSE 读路径都会重放质检登记,apply_quality_report把已提交的审核全部打回草稿、清掉清洗确认、递增内容版本,并让已验证输出与交付包失效。 - SSE 终态不下发结束事件,浏览器
EventSource在服务端结束后无限自动重连,一小时里把这条危险读路径放大了成百上千次。 - 前端阶段进度是硬编码推导的,审核与产物一旦失效,七段进度只剩「导入」,视觉上就是「全部回退」。
由于 apply_quality_report 带幂等键,业务重置实际只发生 1 次;一小时里主要是空转读与前端刷新放大。这一点决定了修复重点是「读路径零副作用」,而不是轮询节流。
本版本修复
- 读路径零副作用:
_load_state、get_run/list_runs、available_runs/load_run全部改为只读派生视图,不写盘、不终止进程、不回写业务。 - 恢复只能显式触发:新增
POST /api/runs/{id}/recover,带 2 秒节流与 429;恢复质检登记必须带invalidate_reviews: true,否则 409 并完整说明「审核失效 / 清洗确认失效 / 产物与交付包非当前版本」。 - 门禁口径统一:新增只读
registration_operation_of(),门禁判定与真正执行回写的_register共用同一回退口径,历史记录缺字段也无法绕过。 - SSE 有始有终:终态 / 错误 / 超时下发
event: done,15 秒心跳、7200 秒超时;客户端在终态快照、done、带数据的错误事件上幂等关闭。 - 旧 Streamlit 入口同纪律:
sync_last_run改为纯只读 + 提示,load_run默认不再写盘,破坏性恢复改为两步确认;并有源码级护栏用例防回归。 - 进度与事实一致:
deriveStages(batch, runs)按真实审核、候选集、产物与独立验包结果推导,不再硬编码。 - 会话与草稿:URL + localStorage 双通道恢复;草稿绑定
content_version,版本变化自动失效并提示。 - 破坏性交互:质检重跑、恢复质检登记、修改筛选决定三道确认;保存标注 / 提交审核 / 审核 / 确认筛选在已有当前产物时明确告知「产物将失效」。
- 409 可操作兜底:API 客户端保留 HTTP 状态码;后端门禁拒绝时错误条提供「确认并重试」,先取服务器最新
revision/content_version,再带确认标记重发,消除「反复点同一个按钮 → 反复 409」的循环。 - 归因纠正:版本基准随写操作同步,提示改为中性的「批次内容版本已更新」,不再把自己人的操作误报成「后台处理」。
核验
| 项 | 结果 |
|---|---|
| Python 全量回归(独立 basetemp) | 289 passed, 7 skipped, 13 subtests passed / 318.20 s / exit 0 |
上线级审计套件 tests/test_launch_audit.py |
43 passed / exit 0 |
| 前端单测(Vitest,4 个文件) | 26 passed / exit 0(进度 7、会话 6、事件流与 409 兜底 10、主组件 3) |
| 前端类型检查与生产构建 | tsc --noEmit exit 0;tsc -b && vite build 成功,仅有 chunk 体积告警 |
真实 uvicorn 运行态 |
终态 SSE 在 8 ms 内下发 done 并关闭;连续读后 registration.json 字节级不变 |
| 性能硬断言 | 并发读 n=80 p95 < 2 s;5000 episode 读 < 1.5 s;300 条运行列表 < 5 s;60 次终态读状态不变 |
完整根因链、逐条修复位置、双入口复核与剩余风险见 上线级审计报告。
边界
- 运行边界不变:本机单用户、仅
127.0.0.1loopback,不提供公网交互实例;展示页为静态页。 - 本版不宣称「公网多用户可上线」:认证 / CSRF / 全局限流、任意本机路径收敛、上传配额与审计日志留存仍未处理。
content_version粒度仍是「任一业务写操作即作废全部已登记产物」的保守语义;是否拆成evidence_version属产品决策,未在本版单方面改动。- 端到端浏览器回归仍为 2 条旧用例,未覆盖「离开一小时 / 标签页被丢弃 / 409 重试」场景,列为后续迭代项。
- 自动验收中的标注审核门禁为脚本模拟,不代表人工审核、机器人执行或训练效果。
本版本于 2026-11-14 发布为 GitHub Release v0.9.0。安装、启动与复现命令见 README。
v0.8.0 · 16:9 固定工作台
v0.8.0 · 16:9 固定工作台
界面布局重构版本。把具身工作台(以及副项目基金工作台 v0.3.0)从「窄栏长页」重做为适配 1920×1080 / 1600×900 的固定 16:9 工作台。API 契约、Python 业务实现、数据口径、验收范围与「仅本机运行」边界均未改变。
设计参考:Voxel51 FiftyOne 的多相机共用时间轴、Foxglove 的逐帧步进与可拼装面板、IBM Carbon 的 Shell 与 DataTable 行高(取 32px 档)、Ant Design Pro 的 fluid 主区、Weights & Biases 的检视面板分层。
新增
- 统一 Shell:顶栏 48px / 侧栏 216px / 主区自适应 / 检视面板 320px / 底部时间轴 96px(基金为 34px 口径状态条)。整页不滚动,只有主区与检视面板局部滚动;导航迁入侧栏。
- 右侧检视面板:当前帧、任务列表、逐路检查、质检与候选、来源锁定集中在一列,可一键收起。
- 全局时间轴联动:播放/逐帧/拖动/5 个百分比书签统一驱动真实视频
currentTime;状态与动作曲线新增当前帧游标。点击相机放大,支持空格、← →、1–4、Esc。 - 基金侧 v0.3.0:全宽 32px 表格 + 固定表头,10 行全部进入 1920×1080 首屏且不被状态条遮挡;点行联动右侧检视,收益不可用时给出带原因的说明块。
- 展示与文档:新增 4 张 1920×1080 截图;在线作品集页新增「16:9 新工作台」区块、能力边界与追问入口;README / CHANGELOG / 演示路线同步。
核验
| 项 | 结果 |
|---|---|
| Python 全量测试 | 240 passed, 7 skipped, 13 subtests passed |
| 前端单测 / 浏览器流程 | Vitest 1 项、Playwright e2e 2 项通过;npm run build 通过 |
| 1920×1080 布局量测 | 48 / 216 / 1384 / 320 / 96 px(基金状态条 34px) |
| 1600×900 | 无横向溢出、无整页滚动、主区局部滚动 |
| 真实服务 | FastAPI 同源托管 frontend/dist;时间轴跳到 8.37 s 后视频 currentTime = 8.37 |
| 展示页 | Chromium 桌面 1280px / 移动 390px 双视口:无坏图、无横向溢出、无脚本错误;8 帧时间轴、4 张新界面图全部加载 |
边界
- 纯前端布局重构:未改 API 端点、Python 质检/转换/交付逻辑,未扩大数据验收范围。
- 时间轴驱动的是本机真实视频播放,但不证明相机硬件同步;逐路文件时间映射检查仍只是映射核对。
- 四相机 16:9 布局验证截图使用真实交付帧 + 构造的批次元数据,不作为业务状态或 ALOHA 转换证据;真实数据证据仍以 V0.6 验收记录为准。
- 两个服务仍只监听
127.0.0.1,展示页为静态页,不提供公网交互实例;面板拖拽与布局保存未实现。
在线展示页(无需安装):https://mahonghao1.github.io/Embodied-AI-Data-Processing-Platform/
v0.7.0 · 四路相机同步时间轴与作品集图集
v0.7.0 · 四路相机时间轴与作品集图集
本版本为展示与文档版本:业务代码与数据验收范围不变,把已通过验收的真实数据做成无需安装即可核对的展示入口。
新增
- 在线展示页加入四路相机同步时间轴:8 个时刻可拖动/播放/跳转,每帧从通过验收的交付包四路 H.264 视频按相同帧索引(0 / 150 / 300 / 450 / 600 / 750 / 900 / 1050,50 FPS)逐路解码后拼接,标注相机名、时刻与帧号。
- 新增真实数据图集:8 帧时间轴总览、5 条 Episode × 4 路相机共 20 格抽样图、质检报告聚焦图;采样参数与逐路亮度/方差核验结果写入
docs/assets/timeline/manifest.json。 - 展示页新增九个真实界面视角画廊、30 秒读懂三卡、架构与职责说明;能力边界扩到 5 条,面试追问速查表扩到 7 条。
- 两仓 README 扩充「先看什么」「界面一览」章节、图片索引表与版本说明;新增
RELEASE_NOTES_v0.7.0.md与变更记录条目。
核验
- Chromium 桌面 1280px / 移动 390px 双视口实跑:8 帧逐张加载通过,无坏图、无横向溢出、无脚本错误;标签切换、时间轴滑块、播放/暂停、8 个跳转按钮、视频折叠、速查表展开均正常。
- 所有图片来自本机实际运行截图或真实交付视频抽帧,未补画、未修饰;带「正在加载」或相机黑屏的旧录屏帧仍排除在公开展示之外。
边界
时间轴是静态帧序列,不代表相机硬件同步,不等于工作台实时解码,也不改变「两个服务仅监听本机地址、展示页为纯静态」的既有边界。数据验收范围仍以 v0.6.0 验收记录为准:固定 revision 的 ALOHA Coffee Episode 0–4、5,500 帧、四路相机、55/55 项输出质检;自动验收中的标注审核门禁为脚本模拟,不代表人工审核或机器人执行结果。
在线展示页(无需安装):https://mahonghao1.github.io/Embodied-AI-Data-Processing-Platform/
v0.6.0 · ALOHA 多相机工作台
v0.6.0 · ALOHA 多相机工作台
具身机器人数据的本地工作台:固定公开 ALOHA Coffee 样例的四路相机浏览、逐相机质检、LeRobot v3.0 转换与独立交付验包。新增 React + TypeScript 前端与仅监听 127.0.0.1 的 FastAPI 本地服务,Python 继续负责业务与数据处理,Streamlit 保留为回退入口。
本版新增
- 接入固定上游
lerobot/aloha_static_coffee@b144896feb1f37398a862927b22cd3abdf005a6b(MIT),锁定 revision、文件清单与 SHA-256。 - 四路相机
cam_high/cam_left_wrist/cam_low/cam_right_wrist逐路解码、帧数、时间映射检查与质检报告;界面可切换相机。 - 审核后链路:官方 LeRobot v3.0 写入、离线加载、数值核对、输出质检、ZIP 打包与独立验包;失败产物不登记为可交付。
- 新增批次总览、episode 与相机浏览、运行诊断、交付核验四类页面;锁定 Node.js 24 / Python 3.12 依赖。
- 新增 Windows / Python 3.12 手动集成工作流与故障用例(缺相机、坏视频、时间映射异常、未知格式、转换与验包失败)。
验收证据
- Episode 0–4:5 条、5,500 帧、50 FPS,四路相机各 640×480;10 个来源文件哈希运行前后一致。
- 官方离线加载通过;5,500 帧数值核对、四路各 60 帧抽样解码、输出质检 55/55 项、0 数据问题。
- 交付 ZIP SHA-256
a34a79cfb8dbe7b5f7cfa518224d69ee0f156386d206176a9698daf2a374e402;13 个业务阶段完成,独立解包与官方加载通过。 - Python 测试 240 passed / 7 skipped / 13 subtests passed;前端单测、Chromium 浏览器流程与生产构建通过;干净克隆复核 235 passed / 12 skipped。
- 完整证据:
docs/STATUS_v0.6.0.md、docs/VALIDATION_v0.6.0.md、docs/assets/workbench-v0.6.0-aloha.png。
边界
- 自动验收使用脚本明确标注的模拟审核门禁;不代表人工审核、任务成功率、机器人执行结果或模型训练效果。
- 仅承诺固定来源 revision 与固定字段组合;不宣称通用 LeRobot v3.0 数据集、MCAP / ROS 2 支持或硬件相机同步。
- 格式读写使用官方 LeRobot 库;仅使用公开数据与本机运行,不部署公开交互服务。