Repository navigation
Releases
Releases · yangpeng366/openeyes
v0.2.0 — 解析式 vision 与 Record & Replay
OpenEyes v0.2.0
AI-friendly computer-use primitives for Windows desktops:capture → detect → click,任何 LLM agent 可驱动桌面 GUI。
- 降级链 uia → cdp → vision:能走无障碍树 / DOM 就不看像素;每一步都有可解释原因,结果带
source。 - 结构化 element schema:bbox / center / control_type / name / automation_id / class / state,可直接喂模型。
- 解析式 vision backend(OmniParser v2 兼容):屏幕先被解析成结构化元素,再决策——不让模型对着像素点坐标。
- Record & Replay(无需 vision):录的是逻辑步骤而非原始事件流,回放翻译成
openeyes.actuate()调用;
backend 可注入(auto / jev / mock),缺凭据时回落 mock 而不静默卡住。 - 验收要能判红:浏览器四路探针(type / shot / scan / click)统一一套 verdict 模型,双跑比对走真哈希;
--inject-failure用来证明失败面确实会失败。 - MCP 19 工具契约是稳定接口(
examples/mcp-stdio-probe.py守住它);CLI 默认 dry-run,真执行须显式--go。 - 决策层
decide():打分分四带(ACT / FALLBACK / UNCERTAIN / FLAG_FOR_REVIEW),
只有 FLAG_FOR_REVIEW 置needs_attention=True——人的注意力只花在真需要人看的地方。
安装:pip install openeyes;CLI 为 eyes,MCP 为 openeyes-mcp。
逐条变更见 CHANGELOG.md,
设计与取舍见 README.md。