chenlongos支持教学机器人场景（sg2002）

[pengzechen]

目标

starry为内核，chenlong-minirootfs支持教学用机器人量产。

具体功能：

1、能够完成自动跟踪夹取动作。（不一定是网球
2、能够走通配网流程：机器人开ap，手机连接机器人，为机器人配置指定wifi，之后手机
也连接次wifi，最终手机能够通过网络控制机器人。
3、通过网络回传摄像头采集的数据。

需求拆解

1. 硬件
   基于北科完赛机器人继续推进：

• usb摄像头已经有两款可以使用。
• 底盘由esp32、驱动板、电机构成。用uart协议控制。具体协议如下：https://github.com/chenlongos/esp32_base_control.git
• 机械臂目前都是写死的序列，控制比较简单。具体协议可参考：https://github.com/pengzechen/aka-rk3588/blob/master/arm/arm.cpp

3. 驱动
   主要涉及的三类驱动：

• tpu @pengzechen 最近会加入中断支持
• usb 无中断版本@代骏翔已经做了测试相关demo地址： https://github.com/wyatt-dai/usbcam-test @杨金博 最近会加入中断支持。
• wifi @邵志航 wifi可以开ap、可以连带密码的wifi、可以启动sshd服务。（不知道能否跑起来时切换模式？）
• 串口穿透、pwm、pinmux相关功能已经完善。（代码质量有待提升

4. kernel（memory、task、syscall）

• 暂时只发现icache问题。
• 后面用python方案可能涉及一些syscall完善

6. 用户态
   用户态有两种方案。
   方案一 直接跑python，需要先梳理一下相关的库，具体做法应该就是直接跑，缺啥补啥
   方案二 cplusplus重写（要求使用标准库，最多是我们支持的库，或者chenlong-minirootfs提供的库），完成相同功能（现在有ai这种重写工作也不很费劲
   北科完赛小车现有cpp代码仓库：https://github.com/pengzechen/aka-rk3588

时间

6.15 拿到量产主控、6.30预计使用starry量产。

第一阶段TODO：

确定用户态形式，尝试用starry启动。

硬件

@代骏博、@张家源支持

驱动

tpu、usb、wifi功能已经可用。等待用户态调用才能发现问题。

kernel

基本功能可用。等待用户态调用发现问题。

用户态

需要做个讨论确定一个方案。

chenlong-minirootfs

需要支持以下相关库：
@shzhxh 可以先给出binary版本
1、usb相关库
2、uvc相关库
3、tpu相关 cvi系列库
4、yolo推理相关库
5、其他需求例如 zlib、json等

[BattiestStone4]

工作进展 (Progress Report)

更新日期：2026-06-12
维护：SG2002 网球收集机器人移植 / AKA-00 通信调研

一、总目标

在 SG2002 开发板上达成两件事：

1. 自动跟踪夹取：摄像头识别目标 → 追踪 → 夹取（目标不限于网球）。
2. 配网 + 远程控制全流程：
   机器人开 AP 热点 → 手机连接机器人热点 → 在网页给机器人配置目标 WiFi
   → 机器人切到 station 连上该 WiFi → 手机也连同一 WiFi
   → 最终手机通过网络远程控制机器人。

两个 OS 平台并行推进：Linux（SG2002 原生） 与 StarryOS。

---

二、当前状态总览

能力	Linux (SG2002)	StarryOS
自动跟踪夹取	✅ 已跑通，只差参数微调	⚠️ 逻辑应可移植，但没用过 USB 摄像头，整链未验证
手机连接机器人 / 远程控制	⚠️ 方案可行，未实机验证	❓ 不确定：受限 Python 能否建 HTTP/WebSocket 服务器存疑

---

三、本次完成的工作（Linux 自动跟踪夹取）

结论：已跑通，剩参数微调。

• 把 aka-rk3588 的完整追球-夹取-投放状态机移植到 aka0（SG2002/RISC-V，CVI runtime + OpenCV），tennis.cpp main() 完整，交叉编译产物为合法 RISC-V ELF64。
• 电机抽象层（UART ESP32-C3 / PWM 双驱动）、HSV 红桶检测、机械臂持球语义全部就位。
• 新增 UVC 相机支持：解决了"板子无 MIPI sensor → VI init 0xffffffff"的问题。
  新增 USE_UVC_CAMERA 编译分支，走 V4L2 /dev/videoN，MJPEG/YUYV → imdecode → BGR。
  test_uvc_capture 已验证能拍照。
• 串口排障闭环：回环测试收到 55 55 55，证明软件 + ttyS1 控制器 + GPIOA28/29 引脚全通；
  设备不动的根因锁定为接线（TX/RX 交叉、共地、3.3V 电平），非软件问题。
• 引导脚本 scripts/S97pinmux.sh：开机配 UART pinmux（电机 ttyS1=A18/19，臂 ttyS2=A28/29）。
• 运行库依赖闭包已收齐（5 个 .so），install_libs.sh 一键部署。
• 代码已 commit 并 push 到 feat/upstream-plus-camera（github.com/BattiestStone4/aka0）。

待微调项

• speed_scale=150 是移植时未在真车标定的假设值，直接决定整车快慢，需 test_motor 实测后定。
• AREA_* 面积阈值沿用 rk3588 640×480 标定值，换到 SG2002 相机后需重标。
• 机械臂电机角度仍需微调

---

四、配网 + 远程控制现状

Linux：方案可行，未实机验证。 可直接复用 AKA-00 的 AP 配网链路
（hostapd + udhcpd 开热点，wpa_cli + udhcpc 连目标 WiFi，双网卡 wlan0=AP / wlan1=STA）。

StarryOS：最大不确定项 —— 能否用 Python 建 HTTP/WebSocket 服务器与手机通信。

[pengzechen]

用户态

参考@萧洛元建议、@王铮的思路现在用户态用rust改写。
1、tpu、opencv相关库用ffi方式，在rust侧 extern， 再把 cvi 相关库、opencv相关库链接进来
2、后端用axum实现
目前进度：（linux上）tpu可以正常推理，用axum写了一个简单后端和遥控页面，可以通过浏览器控制。
TODO：

• 继续完善页面功能最终完成和python一样的效果。