Skip to content

Releases: shinji00222/dsh-windows-computer-use

v0.1.0-preview.3 · 看图批量操作

Pre-release

Choose a tag to compare

@shinji00222 shinji00222 released this 20 Oct 07:27

0.1.0-preview.3

版本分类:功能预览版。适用于 Windows x64、DSH Desktop 0.2.0-rc.2,以及支持图片输入的模型。

新增看图批量操作:一张截图规划最多 8 个动作,一次执行后返回最终截图和逐步结果,减少模型往返。截图像素坐标会自动换算窗口位置与缩放。原有单步工具和配置继续兼容。

跳转、提交、菜单等步骤设置检查点;滚动和 Enter 自动停组。窗口、焦点、标题或可读取控件变化、失败、取消和 Esc 会阻止剩余操作。返回已完成数量,禁止整组重放。控件检查无法识别所有画布变化,未知页面仍需主动设置检查点。

安装与升级

下载下方 .tgz,在 DSH Desktop 自带终端执行,替换为文件的实际绝对路径:

dsh plugin --profile desktop add "C:\path\to\dsh-windows-computer-use-0.1.0-preview.3.tgz"

正常退出并重开 DSH。包内含运行依赖和自包含 C# 引擎,不需要另外安装 .NET SDK。请在 DSH 选择支持图片输入的模型;纯文本模型无法使用看图批量操作,但原有 UIA/OCR 工具仍可使用。

验证与边界

验证覆盖真实测试窗口的多步中文输入、截图缩放坐标、失效引用、检查点、弹窗/控件变化、窗口移动、取消和 Esc。实际 DSH 官方桥接验证首尾图片入库并进入 image 消息通道、批量输入回读和纯文本模型拒绝。模型路由元数据使用测试替身,未调用实际模型自主规划,也未替换用户当前 DSH 配置。

引擎在内存中传输截图,DSH 会将图片保存为会话附件。UIA 可能阻塞,超时不自动重放;已经送达应用的输入无法撤销。仍不支持 UAC 安全桌面、后台输入和 WGC,Windows 引擎尚未代码签名。预览版不代表所有应用兼容,GitHub 发布不等于插件市场收录。

v0.1.0-preview.2 · DSH Windows 电脑控制插件

Choose a tag to compare

@shinji00222 shinji00222 released this 19 Oct 13:32

这是 DSH Windows 电脑控制插件的修复预览版,适用于 Windows x64 / DSH Desktop 0.2.0-rc.2。

  • 修复窗口忙碌时过早报告激活失败,等待实际前台状态。
  • 双击事件一次提交,点击前重新核对焦点和指针。
  • 停止监听等消息循环就绪后启动,补充实际 Esc 事件验证。

本机连续五轮 19 项测试通过;最终安装包已在隔离 DSH 中完成工具注册、中文输入和回读验证。完整记录见仓库 docs/verification.md。

下载下方 .tgz,在 DSH Desktop 自带终端执行(替换为下载文件的绝对路径):

dsh plugin --profile desktop add "C:\path\to\dsh-windows-computer-use-0.1.0-preview.2.tgz"

正常退出并重开 DSH。相对 preview.1 没有破坏性配置变化,包内含运行依赖和自包含引擎,无需另装 .NET SDK。

这是预览版,先在测试文档使用。Windows 拒绝前台切换时插件会停止输入,不支持 UAC 安全桌面、后台输入和 WGC。引擎尚未代码签名,也未验证所有应用。GitHub 发布不等于插件市场收录。

v0.1.0-preview.1 · DSH Windows 电脑控制插件预览版

Choose a tag to compare

@shinji00222 shinji00222 released this 19 Oct 13:10

0.1.0-preview.1

版本分类:预览版。适用于 Windows x64、DSH Desktop 0.2.0-rc.2 的测试用户。

这是基于 dsh-computer-use-win 改造的第一版,采用 C# 桌面引擎和 TypeScript 接入,重点是目标窗口绑定、Esc 停止和操作后的证据核对。原项目及更早上游署名和 MIT 许可均保留。

安装与升级

下载 Release 的 .tgz,在 DSH Desktop 自带终端执行:

dsh plugin --profile desktop add "C:\path\to\dsh-windows-computer-use-0.1.0-preview.1.tgz"

完整退出并重开 DSH。包内含运行依赖和自包含 C# 引擎,不要求安装 .NET SDK;支持中文和带空格路径。只选择一套电脑控制插件执行任务,避免争抢桌面。

兼容性

与上游有兼容性变化:独立包名、新元素 ID 和返回结构;没有后台消息输入和 WGC 捕获。不要把它当成上游配置的原位升级。

已验证与风险

本机验证范围见 verification.md。覆盖专用真实窗口、MCP 通信和实际 DSH Electron/Cordis/MCP 桥接,未验证所有应用,也未替换用户正在运行的 DSH 配置。

UIA 可能被目标应用阻塞;超时不自动重放输入。截图的屏幕裁剪可能受遮挡,返回值会标明。OCR 依赖 Windows 语言包,识别效果受字体和布局影响。Esc 可停止后续输入,已经送达应用的操作无法撤回。

当前自编译的 Windows 引擎没有代码签名。

这是早期预览版,先在测试文档或专用窗口使用。GitHub 公布不等于 npm 发布或插件市场收录。