Skip to content

Releases: jing-hy/computer-user

v0.5.9 — 电脑操作

Choose a tag to compare

@jing-hy jing-hy released this 29 Oct 06:11

电脑操作 0.5.9

0.5.x 这一串版本把 computer-user 从「能截图能点击」做成了「agent 可以安心接管」:21 个工具、UI Automation 结构化观测、
会跟着虚拟桌面走的接管提示条、以及在 DSH 界面里和官方插件长得一样的入口。

观测与输入(0.5.0)

  • computer_screenshot 返回 PNG 路径 + 前台窗口,有视觉的模型直接 read_image(path);picturereader 从必需降为可选。
  • 新增 computer_snapshot + computer_invoke / computer_set_value / computer_focus:按控件名操作,不移动鼠标、不抢前台。
  • 新增窗口工具 computer_list_windows / computer_activate_window / computer_move_window / computer_close_window。
  • computer_wait 支持 window / target / title_contains + timeout_ms 条件等待;computer_screenshot 支持 expected_window 围栏。
  • 工具分档 tool_mode=all|lite|custom、computer_doctor 自检、computer_browser(只读 CDP 页面列表,0.5.1)。

接管提示条

  • 屏幕上方居中的蓝色圆角提示条:WPF 渲染(ClearType 矢量字、真圆角、投影),标题 + 「请勿操作鼠标 · 按 Ctrl+Alt+Esc 停止」(0.5.2)。
  • 跟着虚拟桌面切换:每 1.5 秒用公开 IVirtualDesktopManager::IsWindowOnCurrentVirtualDesktop 检测,不在当前桌面就重建窗口并重注册热键(0.5.3)。
  • computer_stop 软关闭(0.5.6):任务结束 agent 自己收掉提示条,批准保留;hard: true 才是真急停。
  • 0.5.7 修了三个叠加的「进程活着但看不见窗口」:detached: true 在 Windows 上是 DETACHED_PROCESS(PowerShell 立刻退出)、tick 里 PeekMessage 把 dispatcher 自己的消息吃掉、DispatcherTimer 被 GC。

与 DSH 界面一致

  • 插件清单显示「电脑操作 / Computer Use」+ 蓝色光标图标:locale/zh.json、locale/en.json、package.json.icon,exports 导出 ./locale/*(0.5.4)。
  • 斜杠菜单里 /computer 显示为 [空心光标] 电脑操作 computer · 批准或撤销电脑操作(0.5.8,0.5.9 改成空心描边并去掉图标与文字间距)。
    宿主的命令 schema 只接受 name / description,图标与本地化标签在客户端私有表里 —— 这里和 meow-memory 一样,在 client 侧用
    MutationObserver + [data-trigger-menu] 装饰渲染出来的那一行,宿主换结构时最坏退回原样、不报错。

稳定性

  • locator 现在带 automation id(|a=<autoId>),优先级高于序号 —— 浅层快照和深层重走之间 i= 会漂移,a= 不会(0.5.5)。
  • computer_doctor 返回值去掉 undefined 字段(宿主要求 lossless JSON)。
  • 提示条启动锁(guard.lock)+ 诊断日志(guard.spawn.json / guard.debug.log / guard.desktop.log)。

兼容性

DSH 状态
0.2.0-rc.1 … 0.2.2-alpha.2 支持;门禁 @deepseek-ai/dsh-settings >=0.1.0-rc.6 <0.3.0-0
0.1.0-rc.6 … 0.1.7-rc.2 支持,走 0.1.x 命名空间 settings scope
0.3.0 及以后 未验证,门禁不放行

Windows 10/11 x64;PowerShell 5.1 实测。

安装

dsh plugin --profile desktop add computer-user

重启 DSH:工具在所有会话可用,设置卡在「设置 → 电脑操作」,安装后输入 / 能看到「电脑操作」那一行。

npm install computer-user   # 或者从 npm 拿

测试 78/78:node --test。

完整逐版本记录见 CHANGELOG.md。