Skip to content

dsh-operator 0.119.2 — 低 AX 场景 + 视觉解析接口就绪

Choose a tag to compare

View all tags
@yffo yffo released this 03 Nov 16:24
· 13 commits to main since this release
v0.119.2
5cc86f5

装一次、所有 DSH 会话可用的 Computer Use 插件：看屏幕、点鼠标、敲键盘、开应用，带计划/技能/审计/守卫。

本版要点（0.119.2）

低 AX 场景有正式路子了

  • ocr 新增 region 参数：只识别窗口的一块区域（0–1000），返回坐标仍是整窗坐标，可直接 click；密集 UI 里精度更高。
  • cua_observe 在 AX 树为空（画布 / 游戏 / 远程桌面 / 自绘界面）时会提示两步走：先 ocr 读文字与坐标（零依赖），
    需要图标级区域时再用 cua_parse_visual。

视觉解析接口就绪（等上游发货）

  • cua_observe 透传驱动的 capture_id；新增 cua_parse_visual，把截图切成文字/图标区域。
  • 上游 cua-perception 扩展仍是 developer preview（官方 catalog 未发布）；发布后需要做持久 MCP 连接才能解析
    capture_id（现在的一次性 cua-driver call 做不到），届时启用图标级识别。

修两个真 bug

  • 参数 schema 缺 additionalProperties 导致整个插件注册失败（所有工具消失）；现在 npm test 会跑 preflight 拦住这类错误。
  • ocr region 在 sips 触底时静默返回原图，导致坐标整体错位；现在裁剪后会校验输出尺寸，不符就退回整图 OCR。

测试 495 项、preflight 全绿。

安装

dsh plugin --profile desktop add dsh-operator

然后 ⌘Q 完全退出 DSH 再打开。首次用 GUI 工具时给宿主 App 授予「屏幕录制 / 辅助功能」。

Assets 2
Loading