Skip to content

使用claude分析的代码,大家帮忙分析一下? #512

@hcwang

Description

@hcwang

🔍 真相 1:Hugging Face 上根本没有那个 ONNX 骨架模型!
虽然官方文档(MODEL_CARD.md)里写着让你执行 python scripts/seed_csi_bridge.py --model models/pretrained-encoder.onnx,但这实际上是过时或者尚未发布的占位文档!

你刚才用 huggingface-cli 下载下来的文件里(比如 model.safetensors),它的大小只有区区 48KB。这只是一个被精简和量化后的“对比度编码器(Contrastive Encoder)”,它甚至都不是 ONNX 格式。它被设计用来在边缘端跑非常基础的运动特征分类,它里面完全没有包含 180 万参数的 WiFlow
骨架预测网络。

🔍 真相 2:目前连 Python 脚本也没接上骨架网络
我检查了你说的那个 Python 脚本(scripts/seed_csi_bridge.py),发现它的源码里压根没有加载模型做本地推断的代码。它的功能仅仅是:把 ESP32 发来的 CSI 原始数据收集起来,通过网络发给一个名叫 Cognitum Seed 的外部硬件网关。文档里的命令是错的。

🔍 真相 3:真正的骨架模型需要你自己训练(而且前端还没法渲染)
根据项目里的 ADR-072-wiflow-architecture.md,真正的 WiFlow 骨架网络其实是用纯 JavaScript 写的。你需要收集自己房间的数据,然后执行:

1 node scripts/train-wiflow.js --data data/recordings/*.csi.jsonl --output data/models/wiflow-v1
来在本地训练出一个骨架模型。

但是(最致命的一点):
即便是你成功训练出了这个模型,当前的 Web 界面(Observatory UI)和 Rust 服务器也是无法使用它的。因为我在 Rust 源码中看到:

1 // v2/crates/wifi-densepose-sensing-server/src/main.rs
2 pose_keypoints: None, // 永远被硬编码为 None
在官方手册 (user-guide.md) 里明确写着:

“Wiring to real Candle/ONNX inference from the wifi-densepose-nn crate is a planned follow-up.”
(把真正的深度网络对接进引擎,是计划中的后续工作,还没做完。)


📝 最终结论:该如何继续?

如果你现在的核心诉求是“要在屏幕上看到一个可以准确还原我在房间里做出的各种姿势(挥手、下蹲、扭头等)的 3D 骨架”,非常遗憾,在当前的 0.6.3-esp32 版本中,这是不可能实现的。因为背后的那个超级神经网络代码虽然写了,但压根没连上数据管道和 UI 界面。

你目前看到的那个跟着你到处走动、而且不会再重叠的 3D 骨架,已经是这个开源项目目前能呈现出的最顶级的效果了。它展示了“基于低功耗传感器进行实时空间定位”的绝佳能力(仅仅基于极小的数学方差模型就算出了你的相对坐标),但它的“动作”是 UI 引擎帮你脑补出来的动画。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions