Skip to content

Computer Use v0.9.0

Latest
Latest

Choose a tag to compare

View all tags
@github-actions github-actions released this 16 Oct 14:57
v0.9.0
406b720

Computer Use v0.9.0

本版改进终端和网页输入框的操作，新增内置粘贴、截图文字识别，以及由 Agent 发起、用户在 App 内确认的全应用授权请求。仍为开发预览版。

终端输入与剪贴板

  • 新增 paste 动作：暂存用户剪贴板的多种格式，粘贴后恢复；期间用户复制了新内容时保留新内容，无法完整保存或恢复时返回警告。restoreClipboard: false 可跳过读取与恢复，但会覆盖剪贴板。
  • macOS 后台粘贴调用应用的“粘贴”菜单，送入当前有焦点的输入框；此路径不接受 elementId，应先确认目标输入框。末尾换行会被去掉，终端命令仍需核对后单独发送回车。
  • 修复终端等自行清空的网页输入框：文字已派发但读回不一致时，返回 executed / unconfirmed 和 readback_mismatch 警告，避免误判未输入并停止运行时。无法确认结果时仍不得盲目重放。
  • 对已知较慢的逐键输入，在派发前估算耗时并拒绝注定超时的请求。前台长输入分段派发，中途停止时报告已完整送达的字符数；检测到用户近期操作时先让行。
  • 快照失效时区分过期、已用于动作、被新观察替代等原因，提供更具体的恢复说明。

读取窗口文字与遮挡提示

  • observe 支持 text: true，返回从截图识别出的文字行及坐标；适用于终端、canvas 等无障碍树不提供正文的界面。
  • wait 和动作验证支持文字条件，比较时统一空白、全角形式、横线及引号；可用 screenshot: false 省略返回图片。识别可能漏字或误读，不能用“未识别到”证明内容不存在。
  • 完全被其他窗口挡住时返回 covered；网页视图可能停止重绘时附带 screenshotMayBeStale。这是风险提示，不会强制目标应用刷新。
  • macOS 和 Windows 宿主提供同包文字识别、剪贴板会话及输入空闲检测。macOS 首次准备识别模型可能需要约一分钟，新增后台预热和明确的超时说明。

授权与操作指南

  • Agent 可调用 request_all_apps 请求升级自身授权，由 App 展示客户端名称、短 ID 和现有范围后请用户确认。保留现有身份、profile、凭据及独立浏览器权限，仍需用户本地批准。
  • capabilities、doctor 和在线鉴权成功后的 preflight 返回当前客户端标识，App 客户端页显示相同短 ID，方便对应。
  • Skill 同步说明终端优先粘贴、执行前核对、文字等待、遮挡风险、输入法及尽快交还前台控制。

安装包与验证范围

提供 macOS Apple Silicon、Windows ARM64 和 Windows x64 安装包、ZIP、SHA-256 与平台元数据，共 15 个附件。CI 校验和打包通过后直接上传 GitHub Release；macOS 另外执行 Developer ID 签名、Apple 公证和装订。Windows 包仍未签名。

macOS WebKit 夹具已实测输入读回修复、超长输入派发前拒绝、OCR 与文字等待、后台菜单粘贴、多格式剪贴板恢复及遮挡提示。Windows 11 ARM64 已完成构建、UI 回归和原生辅助能力基础测试。打包后 macOS 新授权弹窗与剪贴板隐私提示、真实用户操作下的前台分段输入、Windows 粘贴端到端效果，以及 Windows 10 和原生 x64 桌面仍未全面验收。

详见使用说明和本轮实机复核。

Assets 17
Loading