Skip to content

Releases: xiaoiver/dsh-unified-computer-use

v0.2.0-alpha.7 — Native app PiP preview

Choose a tag to compare

@xiaoiver xiaoiver released this 10 Oct 07:20

新增 macOS Agent Cursor、系统权限设置和原生应用实时画中画。官方 DSH Desktop 无需补丁,无需额外安装 Electron 或浏览器运行时。

安装

在 Desktop「插件 → 添加插件」中输入:

github:xiaoiver/dsh-unified-computer-use#v0.2.0-alpha.7

安装并启用后,完全退出并重新打开 Desktop。已有版本同样通过插件页面更新,不要用 CLI 修改 Desktop profile。

也可下载附件 dsh-unified-computer-use-0.2.0-alpha.7.tgz 与 SHA256SUMS,在同一目录校验后,将安装包绝对路径填入插件页面:

shasum -a 256 -c SHA256SUMS

已测试 DSH 0.2.0-rc.2、macOS Apple Silicon。网页操作需要本机安装 Google Chrome;原生 PiP 需要 macOS 13+ 和屏幕录制权限。

更新内容

  • 原生应用操作显示 Agent Cursor;首次使用自动下载并校验辅助程序,后续复用缓存。
  • 插件详情页支持中英文权限检测和申请,返回窗口后自动刷新状态。
  • 原生 PiP 使用无标题栏圆角画面,悬停显示控制按钮和来源信息;支持拖动、等比缩放、多个目标错位堆叠、点击置顶和独立关闭。
  • 任务结束后停止采集并自动收起;会话重置、超时和卸载释放资源。画面不上传给模型,也不落盘。
  • 更新安装说明、API 文档和详细调用图。

目前不提供 Desktop 内嵌浏览器、Chrome PiP 或远程视频转发。

验证范围

发布提交通过 43 项单元/进程测试、Swift 布局测试及 CI。发布安装包和固定 GitHub 标签均在干净 DSH profile 中执行安装验收,覆盖真实 Chrome 操作、审批、沙箱、超时和资源释放;标签测试使用已安装 Desktop 的 Node 运行时。

原生实时画面及任务结束自动隐藏已在前期 Desktop 验收中由用户确认;新版拖拽、缩放、独立关闭使用真实 AppKit 窗口和模拟画面验证。多目标同时实时采集、跨屏拖动、首次授权、锁屏恢复和 Intel 实机运行尚未完整验收,不能将交互夹具当作这些场景的通过证据。

PiP 程序随包附带 universal 二进制及 Swift 源码,采用 ad-hoc 签名和 SHA-256 校验,不是 Developer ID 签名或 notarization。发布附件记录精确源码提交、安装包校验值和验证范围。

使用说明 · 调用图 · 验证记录

v0.2.0-alpha.6 — Playwright browser preview

Choose a tag to compare

@xiaoiver xiaoiver released this 09 Oct 10:04

浏览器操作升级为真实 Playwright,使用本机已安装的 Google Chrome。官方 DSH Desktop 无需补丁,也不需要额外下载 Electron 或浏览器运行时。

安装

已测试:DSH 0.2.0-rc.2、macOS Apple Silicon、Chrome 155。请先在 DSH Host 所在机器安装 Google Chrome。

在 Desktop「插件 → 添加插件」中输入:

github:xiaoiver/dsh-unified-computer-use#v0.2.0-alpha.6

安装、启用后完全退出并重新打开 Desktop。已有版本也通过插件页面更新;不要用 CLI 修改 Desktop 管理的 profile。

也可下载附件 dsh-unified-computer-use-0.2.0-alpha.6.tgz 和 SHA256SUMS,放在同一目录后校验:

shasum -a 256 -c SHA256SUMS

在 Desktop 插件页面填写 .tgz 的绝对路径即可安装。普通 CLI / Web profile 可使用:

dsh plugin --profile cua-test add github:xiaoiver/dsh-unified-computer-use#v0.2.0-alpha.6

直接告诉助手:“打开 example.com,告诉我网页标题。” 无需指定工具名或编写代码。

更新内容

  • 真实 Playwright 定位器、自动等待、严格匹配、可信键鼠输入、跨源 iframe、导航及 PNG 截图。
  • 每个 Agent 使用独立 Chrome 和临时配置;弹出标签归属检查,取消、超时、重置或空闲释放时关闭浏览器。
  • 插件设置使用 DSH 官方控件,支持中英文、动态生效与保存;工具审批统一由 DSH 管理。
  • 更新通用与浏览器 API 文档、精简使用说明,并提供七张详细调用图。

从旧版升级的变化:浏览器在独立 Chrome 窗口中运行,不再嵌入 Desktop 侧栏。 不复用日常 Chrome 的标签和登录状态。旧 DOM 操作接口已移除,不提供旧接口兼容。

暂不提供已有浏览器标签接管、文件上传下载、任意页面求值、原始 Context/CDP 或独立实时画中画。原生应用操作仍需按需授予 macOS 权限。

验证

  • 发布提交的 CI 包含类型检查、构建、16 项单元/进程测试、真实 Chrome 集成测试和产物一致性检查。
  • Release 的实际安装包与固定 GitHub 标签分别在干净 DSH profile 中安装执行,覆盖真实 Chrome 定位器输入、截图、超时释放、审批及文件沙箱;标签安装另使用已安装 Desktop 的 Node 运行时。
  • 可见 Chrome 测试覆盖跨源 iframe、可信输入、定位器自动等待、弹出标签和会话隔离;设置测试验证动态生效与重启持久化。
  • 上述测试不等于本版本已在 Desktop 插件页面重新安装并完成全量 UI 验收;原生输入也尚未逐项实测。

附件 release-manifest.json 记录版本、源码提交和安装包校验值,release-verification.json 记录发布验证范围。标签和附件固定此版本,后续修复使用新版本发布。

使用说明 · 调用图 · 验证说明

v0.2.0-alpha.4 — DSH Computer Use preview

Choose a tag to compare

@xiaoiver xiaoiver released this 09 Oct 08:14

首个使用 DSH 自带运行时的固定版本预览包。提供持久 cua_repl、原生应用操作接口和 Desktop 内嵌浏览器标签,无需额外下载 Electron 或修改 Desktop。

安装

已测试:DSH 0.2.0-rc.2 / macOS Apple Silicon。

DSH Desktop:在「插件」→「添加插件」中填写:

github:xiaoiver/dsh-unified-computer-use#v0.2.0-alpha.4

安装、启用后完全退出并重新打开 Desktop。desktop profile 由应用管理,请通过界面安装。测试指令:使用 cua_repl 打开 https://example.com,读取标题并保留标签页。

普通 CLI / Web profile:

dsh plugin --profile cua-test add github:xiaoiver/dsh-unified-computer-use#v0.2.0-alpha.4

原生操作要求 Host 在本机图形桌面会话运行;内嵌浏览器要求本机 Desktop 加载插件客户端,且调用所属会话可见。

固定安装包

也可下载附件 dsh-unified-computer-use-0.2.0-alpha.4.tgz 和 SHA256SUMS,放在同一目录后执行:

shasum -a 256 -c SHA256SUMS

然后在 Desktop 插件管理器中填写 .tgz 的绝对路径。附件 release-manifest.json 记录源码提交、包版本和校验值;release-verification.json 记录该安装包与公开标签的实际安装验证。

标签固定插件源码版本,附件固定分发包;直接运行依赖固定到已测试版本。宿主版本、系统权限与平台仍需满足上述要求。后续修复使用新版本发布。

能力与限制

  • cua_repl 保留 JavaScript 变量与顶层 await,cua_repl_reset 清理解释器和目标。
  • 浏览器支持插件拥有的标签、导航、观察、DOM 点击/填写、滚动和显式截图。
  • 删除旧独立 Electron 后端、旧 cua 工具和兼容配置,不提供旧配置迁移。
  • 尚无独立实时 PiP、完整 Playwright/CDP、可信浏览器键鼠输入或现有标签接管。
  • Node API 遵循 DSH 当前会话沙箱;原生操作仍受系统权限限制。原生输入尚未在已安装 Desktop 中逐项验收。

验证

  • 发布提交的 CI 通过,包括类型检查、构建及 12 项测试。
  • 对本 Release 的实际 .tgz 和固定 GitHub 标签分别使用干净 DSH profile 安装并执行,验证持久变量、审批、超时回收、策略切换与只读沙箱拒绝写入。标签测试使用已安装 Desktop 的 Node 运行时。
  • alpha.4 浏览器租约夹具通过 DOM 操作、截图、跨 owner 拒绝及释放验证。已安装 Desktop UI 的历史验证来自 alpha.2/alpha.3,不作为 alpha.4 全部 UI 能力验收。

使用说明 · 详细调用图 · 验证范围