Skip to content

Releases

v0.12.0 · Matching Cable 缺失流可见

Choose a tag to compare

@MAHONGHAO1 MAHONGHAO1 released this 19 Nov 04:13

v0.12.0 · Matching Cable 缺失流可见

这一版不是再加一个适配器就结束。 它把「数据不完整还能不能用」做成了明确语义:缺哪路相机、缺哪路深度、缺哪些可选数值字段,平台逐条记录并继续,而不是一个 ValueError 把整批数据挡在门外。

适配器基于 PR #2 的 Matching Cable 逐帧 HDF5 支持继续完善;本版重点是可选的流、可核对的缺失状态和合成回归。

现在怎么判断一条数据能不能进

必填只有三项:

  • master/joint_position → action
  • puppet/joint_position → observation.state
  • timestamps:源毫秒时间,50 ± 10 ms/帧;越界直接失败,不静默按 20 FPS 继续

至少需要一路 RGB 相机。其余全部是可选的:

流 缺失时
camera_0..3 RGB 只写入存在的相机,其余记入 missing_cameras
depth_images/camera_1..2 存在的校验可读;缺失记入 missing_depth_source_cameras,不阻断
puppet/eef、master/eef、puppet/joint_effort、puppet/6f 记入 optional_fields=not_provided,不写入输出特征
触觉 固定记录 tactile.status=not_provided;适配器不读取触觉字段

清单、批次来源、右侧检视和交付说明都显示这些字段。缺失不是自动修复,也不会补造画面或数值。

验证

新增 scripts/verify_matching_optional.py:不需要 9 GB 真实数据,生成 2 条 Episode × 2 帧、只有 camera_0、没有深度/触觉/可选数值的合成夹具,跑真实预览和六个转换/验证阶段。

本机结果:

  • cameras 只有 observation.images.camera_0;missing_cameras 3 路;missing_depth_source_cameras 2 路;
  • optional_fields 全部 not_provided;tactile.status=not_provided;
  • file_validation、matching_validation、field_mapping、format_write、official_verify、archive_verify 六个阶段通过;
  • 官方加载器读取 2 Episode / 4 帧,output_loader_consistency_checked=true;
  • source_numeric_consistency_rechecked=false:本次没有重新读取源 HDF5 做逐帧数值回核,字段名不再冒充源数值重核。

另用同一夹具跑了完整业务链(导入 → 基础质检 → 筛选 → 标注审核 → 最终质检 → 转换 → 交付),4 帧产物与交付 ZIP 登记成功。该运行只证明链路,不证明真实 9 GB 数据、硬件同步或策略效果。

修复的审查项

  • 帧数比较改为必须相等:源 Episode 多出或缺少帧都失败,不再取前 N 帧静默截断。
  • assert_source_unchanged() 在清单含 sha256 时重新计算哈希,文件大小与 mtime 不变也能发现内容变化。
  • 50 ms 帧间隔从 warning 升级为硬失败(容差 ±10 ms)。
  • 候选集拒绝重复的源/输出 Episode 索引。
  • 官方验证字段改名为 output_loader_consistency_checked,业务门禁同步;不再声称源数值已重核。
  • 新增合成回归覆盖缺失相机、缺失深度、缺失可选字段、额外帧和同大小同 mtime 的内容变化。

不宣称

  • 没有在本机跑真实的 9 GB Matching Cable 数据;合成夹具只覆盖链路与缺失语义。
  • 不声明相机硬件同步、策略训练效果、任务成功率或生产容量。
  • 至少一路 RGB 仍是当前预览的前提;完全没有相机的数据不在本版支持范围。
  • 没有触觉建模;触觉字段存在也不会进入交付。
  • 仍是本机单用户、127.0.0.1;没有登录、多租户或云部署。

证据入口

v0.11.0 · 可复现验收

Choose a tag to compare

@MAHONGHAO1 MAHONGHAO1 released this 18 Nov 14:44

v0.11.0 · 可复现验收

这一版不加导入格式、不加页面、不加适配器。 它把「拿固定来源的真实 Episode,一条命令跑完并交付」做成可复现路径,并把官方训练加载器拉进验收。

真实样本,固定来源

新增 robodata fetch-sample:按 Episode 子集从固定 revision 下载,逐文件校验上游清单的大小与 SHA-256,写出 source_manifest.json。

  • 本机样本:revision 54141acb0bd6bcb868e34b4eb328f26481d333b2 的完整 Episode 0 和 1,9 个文件 / 19,215,391 字节。
  • 没有裁帧,没有重写视频;下载的是上游完整 Episode。
  • --endpoint 只改变传输路径(本机使用 hf-mirror.com),revision 与固定哈希仍是信任根,清单记录 transport_endpoint。
  • 导入时把下载清单与仓库内冻结的 Episode 0–4 SHA-256 清单交叉校验,不一致就失败。

一条命令,9 个阶段

新增 scripts/verify_pipeline.py,把来源校验、导入与基础质检、原始预览、审核夹具、转换、输出抽帧、官方 DataLoader、交付、独立 ZIP 验证串成一次运行,退出码与分阶段 JSON 报告同时给出。

本机 --mode full(Windows 11 / Python 3.12.10 / CPU / 2 Episode):

阶段 结果 耗时
来源清单校验 9 个文件 / 19,215,391 字节 0.05 s
导入 + 基础质检 2 Episode / 1,300 帧 / 22 项覆盖 / 0 问题 7.97 s
原始预览 6 个采样位置,480×640×3 2.03 s
审核夹具 2 条保留,全部批准 0.20 s
转换 + 官方离线验证 1,300 帧,22/22 输出覆盖 48.14 s
输出抽帧 6 个位置与解码像素逐一相等 1.55 s
官方 DataLoader 探针 4 个 batch / 32 帧 31.23 s
交付 ZIP 独立解包 + 官方加载 14.88 s
独立 ZIP 校验 2 Episode / 1,300 帧 0.05 s
合计 9 个阶段 约 106.1 s

失败路径由自动化测试覆盖:坏样本在 file_validation 停止,后续节点统一收口为 skipped;终态与节点状态在同一次写入中发布,轮询方不会看到「已失败但后续节点仍 pending」的中间状态。

官方 DataLoader 探针

新增 scripts/probe_dataloader.py,在独立转换环境中用 lerobot 0.4.4 + torch 2.7.1+cpu,HF_HUB_OFFLINE=1、batch_size=8、num_workers=0、不打乱顺序读取前 4 个 batch。它核对:

  • 加载帧数与 Episode 数等于输出清单;
  • action / observation.state 为 float32 [B,6] 且全部有限;
  • 图像为 float32 [B,3,480,640]、值域 [0,1];
  • task 是非空字符串列表;
  • 不打乱时首尾动作与 dataset[0] / dataset[-1] 逐元素相等。

本机 32 帧解码 23.373 秒(1.37 帧/秒);同一版本前一次 full 运行是 29.497 秒(1.08 帧/秒),更早的 fast 运行是 15.3 秒(2.09 帧/秒)。三次相差约 2 倍,说明它受系统负载与视频定位缓存影响很大。这是官方加载器可消费交付物的证据,不是训练效果、GPU 吞吐或策略成功率。

Docker / Linux

新增 Dockerfile、.dockerignore 和 acceptance.yml 的三个 job:

  • source-linux:Linux 上跑来源、导入与表格质检;
  • full-windows:Windows 上下载固定样本并跑 --mode full;
  • docker-linux:构建镜像、检查健康页与坏样本。

本机没有 Docker,因此容器结论只来自 CI。容器内不安装转换环境,不做 Linux 真实数据转换或 Linux 桌面启动声明。

证据入口

不宣称

  • 2 Episode 子集不等于 SO-100 全量 50 条 / 32,068 帧,也不等于任意 LeRobot 数据集。
  • 审核标签是脚本写入的验收夹具,不代表源任务成功或失败。
  • 转换通过不证明训练效果、任务成功率或硬件同步。
  • 本机没有 Docker;Linux 容器只在 CI 构建验证,不做容器内转换声明。
  • 仍是本机单用户、127.0.0.1 loopback;公网多用户能力未在本版处理。

v0.10.0 · Evidence-grade

Choose a tag to compare

@MAHONGHAO1 MAHONGHAO1 released this 17 Nov 17:05

v0.10.0 · Evidence-grade

这一版不加导入格式、不加页面、不加适配器。 它只做一件事:把「这个项目到底做到了什么程度」变成一串能复查的数字和命令,而不是 README 里互相矛盾的说法。

版本链收口

v0.9.0 发布时,README 和前端写 0.9.0,pyproject.toml 还停在 0.6.0,config.py 还停在 0.8.0。质量报告会把 APP_VERSION 写进产物,这意味着报告可能声称自己来自一个从未发布的版本。

  • pyproject.toml、robodata/config.py、frontend/package.json、README 首行与 release 徽章统一到 0.10.0。
  • 新增 tests/test_version_consistency.py:任一位置漂移、或缺少对应 RELEASE_NOTES_v<version>.md,测试直接失败。
  • uv.lock 中的项目版本随 pyproject.toml 更新。

运行记录读取

/api/runs 在 300 条运行记录下曾超过 5 秒阈值。根因不是磁盘慢,而是 list_runs 对每个条目重复调用 get_run,每次都重新 resolve() 两次运行根目录并重新校验路径。

  • 抽出 _state_from_directory(),get_run 保留完整路径校验,list_runs 对已枚举的目录直接读取状态。
  • 300 条运行记录的列表读取恢复到阈值内;运行状态语义、只读约束和中断派生逻辑未变。

规模证据

新增 10 万 / 100 万行规模实验 与原始 JSON:

行数 重复 中位数 表格行/秒
100,000 3 4.719 秒 21,190
1,000,000 1 61.245 秒 16,328

边界写在实验文档第一段:只测 run_checks(check_video=False) 的表格路径,不含 Parquet 读取、视频解码、转换、打包、并发或服务开销;100 万行档只跑 1 次,100,000 行档方差很大。不声称端到端容量,也不声称性能优化。

训练输入冒烟

新增 scripts/train_smoke.py 与 说明:在标准化状态特征上跑 100 步小批量 SGD,预测 6 维动作。

本机合成数据结果:2,048 行,初始 MSE 0.71632246,100 步后 0.00012241,损失比 0.000171,参数全部有限,CPU 耗时 0.003 秒。

这不是策略训练。 不使用 ACT / Diffusion Policy / VLA,不证明任务成功率、泛化或硬件安全。仓库不包含已验收的 ALOHA / SO-100 产物,所以没有在这里重跑真实数据集;拿到数据后可用 --dataset-root 复现。

Linux 核心检查

新增 .github/workflows/linux-smoke.yml,在 ubuntu-latest 上安装锁定依赖,运行版本一致性、表格质检、数据集读取、坏样本校验和 100 步冒烟,再执行 robodata verify-fixtures。Windows 全量测试 workflow 保持不变。

这只证明核心 Python 路径可在 Linux 上安装并运行;Docker 镜像、Linux 桌面启动脚本和真实数据转换未在此版本验证,因此不写进能力声明。

证据入口

不宣称

  • 不宣称训练效果、策略成功率或硬件同步。
  • 不宣称 100 万行表格检查等于 100 万行端到端转换。
  • 不宣称 Docker 或 Linux 桌面可用;Linux CI 只覆盖核心 Python 检查。
  • 运行边界仍是本机单用户、127.0.0.1 loopback;公网多用户能力未在本版处理。

v0.9.0 · 状态回退修复与上线级审计

Choose a tag to compare

@MAHONGHAO1 MAHONGHAO1 released this 14 Nov 15:52

RoboData Workbench v0.9.0

v0.9.0 是状态一致性修复版本,不新增界面。它处理的是一条真实反馈:提交审核后离开页面约一小时,回来发现「整个页面都回退到要导入的阶段」。审计结论是——这不是前端缓存或渲染问题,而是业务数据真的被改写了。

缺陷根因(修复前)

  1. 后端把「读取运行记录」实现成带副作用的操作:GET 与 SSE 读路径都会重放质检登记,apply_quality_report 把已提交的审核全部打回草稿、清掉清洗确认、递增内容版本,并让已验证输出与交付包失效。
  2. SSE 终态不下发结束事件,浏览器 EventSource 在服务端结束后无限自动重连,一小时里把这条危险读路径放大了成百上千次。
  3. 前端阶段进度是硬编码推导的,审核与产物一旦失效,七段进度只剩「导入」,视觉上就是「全部回退」。

由于 apply_quality_report 带幂等键,业务重置实际只发生 1 次;一小时里主要是空转读与前端刷新放大。这一点决定了修复重点是「读路径零副作用」,而不是轮询节流。

本版本修复

  • 读路径零副作用:_load_state、get_run / list_runs、available_runs / load_run 全部改为只读派生视图,不写盘、不终止进程、不回写业务。
  • 恢复只能显式触发:新增 POST /api/runs/{id}/recover,带 2 秒节流与 429;恢复质检登记必须带 invalidate_reviews: true,否则 409 并完整说明「审核失效 / 清洗确认失效 / 产物与交付包非当前版本」。
  • 门禁口径统一:新增只读 registration_operation_of(),门禁判定与真正执行回写的 _register 共用同一回退口径,历史记录缺字段也无法绕过。
  • SSE 有始有终:终态 / 错误 / 超时下发 event: done,15 秒心跳、7200 秒超时;客户端在终态快照、done、带数据的错误事件上幂等关闭。
  • 旧 Streamlit 入口同纪律:sync_last_run 改为纯只读 + 提示,load_run 默认不再写盘,破坏性恢复改为两步确认;并有源码级护栏用例防回归。
  • 进度与事实一致:deriveStages(batch, runs) 按真实审核、候选集、产物与独立验包结果推导,不再硬编码。
  • 会话与草稿:URL + localStorage 双通道恢复;草稿绑定 content_version,版本变化自动失效并提示。
  • 破坏性交互:质检重跑、恢复质检登记、修改筛选决定三道确认;保存标注 / 提交审核 / 审核 / 确认筛选在已有当前产物时明确告知「产物将失效」。
  • 409 可操作兜底:API 客户端保留 HTTP 状态码;后端门禁拒绝时错误条提供「确认并重试」,先取服务器最新 revision / content_version,再带确认标记重发,消除「反复点同一个按钮 → 反复 409」的循环。
  • 归因纠正:版本基准随写操作同步,提示改为中性的「批次内容版本已更新」,不再把自己人的操作误报成「后台处理」。

核验

项 结果
Python 全量回归(独立 basetemp) 289 passed, 7 skipped, 13 subtests passed / 318.20 s / exit 0
上线级审计套件 tests/test_launch_audit.py 43 passed / exit 0
前端单测(Vitest,4 个文件) 26 passed / exit 0(进度 7、会话 6、事件流与 409 兜底 10、主组件 3)
前端类型检查与生产构建 tsc --noEmit exit 0;tsc -b && vite build 成功,仅有 chunk 体积告警
真实 uvicorn 运行态 终态 SSE 在 8 ms 内下发 done 并关闭;连续读后 registration.json 字节级不变
性能硬断言 并发读 n=80 p95 < 2 s;5000 episode 读 < 1.5 s;300 条运行列表 < 5 s;60 次终态读状态不变

完整根因链、逐条修复位置、双入口复核与剩余风险见 上线级审计报告。

边界

  • 运行边界不变:本机单用户、仅 127.0.0.1 loopback,不提供公网交互实例;展示页为静态页。
  • 本版不宣称「公网多用户可上线」:认证 / CSRF / 全局限流、任意本机路径收敛、上传配额与审计日志留存仍未处理。
  • content_version 粒度仍是「任一业务写操作即作废全部已登记产物」的保守语义;是否拆成 evidence_version 属产品决策,未在本版单方面改动。
  • 端到端浏览器回归仍为 2 条旧用例,未覆盖「离开一小时 / 标签页被丢弃 / 409 重试」场景,列为后续迭代项。
  • 自动验收中的标注审核门禁为脚本模拟,不代表人工审核、机器人执行或训练效果。

本版本于 2026-11-14 发布为 GitHub Release v0.9.0。安装、启动与复现命令见 README。

v0.8.0 · 16:9 固定工作台

Choose a tag to compare

@MAHONGHAO1 MAHONGHAO1 released this 12 Nov 05:27

v0.8.0 · 16:9 固定工作台

界面布局重构版本。把具身工作台(以及副项目基金工作台 v0.3.0)从「窄栏长页」重做为适配 1920×1080 / 1600×900 的固定 16:9 工作台。API 契约、Python 业务实现、数据口径、验收范围与「仅本机运行」边界均未改变。

设计参考:Voxel51 FiftyOne 的多相机共用时间轴、Foxglove 的逐帧步进与可拼装面板、IBM Carbon 的 Shell 与 DataTable 行高(取 32px 档)、Ant Design Pro 的 fluid 主区、Weights & Biases 的检视面板分层。

新增

  • 统一 Shell:顶栏 48px / 侧栏 216px / 主区自适应 / 检视面板 320px / 底部时间轴 96px(基金为 34px 口径状态条)。整页不滚动,只有主区与检视面板局部滚动;导航迁入侧栏。
  • 右侧检视面板:当前帧、任务列表、逐路检查、质检与候选、来源锁定集中在一列,可一键收起。
  • 全局时间轴联动:播放/逐帧/拖动/5 个百分比书签统一驱动真实视频 currentTime;状态与动作曲线新增当前帧游标。点击相机放大,支持空格、← →、1–4、Esc。
  • 基金侧 v0.3.0:全宽 32px 表格 + 固定表头,10 行全部进入 1920×1080 首屏且不被状态条遮挡;点行联动右侧检视,收益不可用时给出带原因的说明块。
  • 展示与文档:新增 4 张 1920×1080 截图;在线作品集页新增「16:9 新工作台」区块、能力边界与追问入口;README / CHANGELOG / 演示路线同步。

核验

项 结果
Python 全量测试 240 passed, 7 skipped, 13 subtests passed
前端单测 / 浏览器流程 Vitest 1 项、Playwright e2e 2 项通过;npm run build 通过
1920×1080 布局量测 48 / 216 / 1384 / 320 / 96 px(基金状态条 34px)
1600×900 无横向溢出、无整页滚动、主区局部滚动
真实服务 FastAPI 同源托管 frontend/dist;时间轴跳到 8.37 s 后视频 currentTime = 8.37
展示页 Chromium 桌面 1280px / 移动 390px 双视口:无坏图、无横向溢出、无脚本错误;8 帧时间轴、4 张新界面图全部加载

边界

  • 纯前端布局重构:未改 API 端点、Python 质检/转换/交付逻辑,未扩大数据验收范围。
  • 时间轴驱动的是本机真实视频播放,但不证明相机硬件同步;逐路文件时间映射检查仍只是映射核对。
  • 四相机 16:9 布局验证截图使用真实交付帧 + 构造的批次元数据,不作为业务状态或 ALOHA 转换证据;真实数据证据仍以 V0.6 验收记录为准。
  • 两个服务仍只监听 127.0.0.1,展示页为静态页,不提供公网交互实例;面板拖拽与布局保存未实现。

在线展示页(无需安装):https://mahonghao1.github.io/Embodied-AI-Data-Processing-Platform/

v0.7.0 · 四路相机同步时间轴与作品集图集

Choose a tag to compare

@MAHONGHAO1 MAHONGHAO1 released this 11 Nov 05:21

v0.7.0 · 四路相机时间轴与作品集图集

本版本为展示与文档版本:业务代码与数据验收范围不变,把已通过验收的真实数据做成无需安装即可核对的展示入口。

新增

  • 在线展示页加入四路相机同步时间轴:8 个时刻可拖动/播放/跳转,每帧从通过验收的交付包四路 H.264 视频按相同帧索引(0 / 150 / 300 / 450 / 600 / 750 / 900 / 1050,50 FPS)逐路解码后拼接,标注相机名、时刻与帧号。
  • 新增真实数据图集:8 帧时间轴总览、5 条 Episode × 4 路相机共 20 格抽样图、质检报告聚焦图;采样参数与逐路亮度/方差核验结果写入 docs/assets/timeline/manifest.json。
  • 展示页新增九个真实界面视角画廊、30 秒读懂三卡、架构与职责说明;能力边界扩到 5 条,面试追问速查表扩到 7 条。
  • 两仓 README 扩充「先看什么」「界面一览」章节、图片索引表与版本说明;新增 RELEASE_NOTES_v0.7.0.md 与变更记录条目。

核验

  • Chromium 桌面 1280px / 移动 390px 双视口实跑:8 帧逐张加载通过,无坏图、无横向溢出、无脚本错误;标签切换、时间轴滑块、播放/暂停、8 个跳转按钮、视频折叠、速查表展开均正常。
  • 所有图片来自本机实际运行截图或真实交付视频抽帧,未补画、未修饰;带「正在加载」或相机黑屏的旧录屏帧仍排除在公开展示之外。

边界

时间轴是静态帧序列,不代表相机硬件同步,不等于工作台实时解码,也不改变「两个服务仅监听本机地址、展示页为纯静态」的既有边界。数据验收范围仍以 v0.6.0 验收记录为准:固定 revision 的 ALOHA Coffee Episode 0–4、5,500 帧、四路相机、55/55 项输出质检;自动验收中的标注审核门禁为脚本模拟,不代表人工审核或机器人执行结果。

在线展示页(无需安装):https://mahonghao1.github.io/Embodied-AI-Data-Processing-Platform/

v0.6.0 · ALOHA 多相机工作台

Choose a tag to compare

@MAHONGHAO1 MAHONGHAO1 released this 10 Nov 13:42

v0.6.0 · ALOHA 多相机工作台

具身机器人数据的本地工作台:固定公开 ALOHA Coffee 样例的四路相机浏览、逐相机质检、LeRobot v3.0 转换与独立交付验包。新增 React + TypeScript 前端与仅监听 127.0.0.1 的 FastAPI 本地服务,Python 继续负责业务与数据处理,Streamlit 保留为回退入口。

本版新增

  • 接入固定上游 lerobot/aloha_static_coffee@b144896feb1f37398a862927b22cd3abdf005a6b(MIT),锁定 revision、文件清单与 SHA-256。
  • 四路相机 cam_high / cam_left_wrist / cam_low / cam_right_wrist 逐路解码、帧数、时间映射检查与质检报告;界面可切换相机。
  • 审核后链路:官方 LeRobot v3.0 写入、离线加载、数值核对、输出质检、ZIP 打包与独立验包;失败产物不登记为可交付。
  • 新增批次总览、episode 与相机浏览、运行诊断、交付核验四类页面;锁定 Node.js 24 / Python 3.12 依赖。
  • 新增 Windows / Python 3.12 手动集成工作流与故障用例(缺相机、坏视频、时间映射异常、未知格式、转换与验包失败)。

验收证据

  • Episode 0–4:5 条、5,500 帧、50 FPS,四路相机各 640×480;10 个来源文件哈希运行前后一致。
  • 官方离线加载通过;5,500 帧数值核对、四路各 60 帧抽样解码、输出质检 55/55 项、0 数据问题。
  • 交付 ZIP SHA-256 a34a79cfb8dbe7b5f7cfa518224d69ee0f156386d206176a9698daf2a374e402;13 个业务阶段完成,独立解包与官方加载通过。
  • Python 测试 240 passed / 7 skipped / 13 subtests passed;前端单测、Chromium 浏览器流程与生产构建通过;干净克隆复核 235 passed / 12 skipped。
  • 完整证据:docs/STATUS_v0.6.0.md、docs/VALIDATION_v0.6.0.md、docs/assets/workbench-v0.6.0-aloha.png。

边界

  • 自动验收使用脚本明确标注的模拟审核门禁;不代表人工审核、任务成功率、机器人执行结果或模型训练效果。
  • 仅承诺固定来源 revision 与固定字段组合;不宣称通用 LeRobot v3.0 数据集、MCAP / ROS 2 支持或硬件相机同步。
  • 格式读写使用官方 LeRobot 库;仅使用公开数据与本机运行,不部署公开交互服务。