Skip to content

Releases

v0.2.0 — 解析式 vision 与 Record & Replay

Choose a tag to compare

@yangpeng366 yangpeng366 released this 12 Nov 00:21

OpenEyes v0.2.0

AI-friendly computer-use primitives for Windows desktops:capture → detect → click,任何 LLM agent 可驱动桌面 GUI。

  • 降级链 uia → cdp → vision:能走无障碍树 / DOM 就不看像素;每一步都有可解释原因,结果带 source。
  • 结构化 element schema:bbox / center / control_type / name / automation_id / class / state,可直接喂模型。
  • 解析式 vision backend(OmniParser v2 兼容):屏幕先被解析成结构化元素,再决策——不让模型对着像素点坐标。
  • Record & Replay(无需 vision):录的是逻辑步骤而非原始事件流,回放翻译成 openeyes.actuate() 调用;
    backend 可注入(auto / jev / mock),缺凭据时回落 mock 而不静默卡住。
  • 验收要能判红:浏览器四路探针(type / shot / scan / click)统一一套 verdict 模型,双跑比对走真哈希;
    --inject-failure 用来证明失败面确实会失败。
  • MCP 19 工具契约是稳定接口(examples/mcp-stdio-probe.py 守住它);CLI 默认 dry-run,真执行须显式 --go。
  • 决策层 decide():打分分四带(ACT / FALLBACK / UNCERTAIN / FLAG_FOR_REVIEW),
    只有 FLAG_FOR_REVIEW 置 needs_attention=True——人的注意力只花在真需要人看的地方。

安装:pip install openeyes;CLI 为 eyes,MCP 为 openeyes-mcp。
逐条变更见 CHANGELOG.md,
设计与取舍见 README.md。