Repository navigation
Releases: jing-hy/computer-user
Releases · jing-hy/computer-user
Release list
v0.5.9 — 电脑操作
电脑操作 0.5.9
0.5.x 这一串版本把 computer-user 从「能截图能点击」做成了「agent 可以安心接管」:21 个工具、UI Automation 结构化观测、
会跟着虚拟桌面走的接管提示条、以及在 DSH 界面里和官方插件长得一样的入口。
观测与输入(0.5.0)
computer_screenshot返回 PNG 路径 + 前台窗口,有视觉的模型直接read_image(path);picturereader 从必需降为可选。- 新增
computer_snapshot+computer_invoke/computer_set_value/computer_focus:按控件名操作,不移动鼠标、不抢前台。 - 新增窗口工具
computer_list_windows/computer_activate_window/computer_move_window/computer_close_window。 computer_wait支持window/target/title_contains+timeout_ms条件等待;computer_screenshot支持expected_window围栏。- 工具分档
tool_mode=all|lite|custom、computer_doctor自检、computer_browser(只读 CDP 页面列表,0.5.1)。
接管提示条
- 屏幕上方居中的蓝色圆角提示条:WPF 渲染(ClearType 矢量字、真圆角、投影),标题 + 「请勿操作鼠标 · 按 Ctrl+Alt+Esc 停止」(0.5.2)。
- 跟着虚拟桌面切换:每 1.5 秒用公开
IVirtualDesktopManager::IsWindowOnCurrentVirtualDesktop检测,不在当前桌面就重建窗口并重注册热键(0.5.3)。 computer_stop软关闭(0.5.6):任务结束 agent 自己收掉提示条,批准保留;hard: true才是真急停。- 0.5.7 修了三个叠加的「进程活着但看不见窗口」:
detached: true在 Windows 上是DETACHED_PROCESS(PowerShell 立刻退出)、tick 里PeekMessage把 dispatcher 自己的消息吃掉、DispatcherTimer被 GC。
与 DSH 界面一致
- 插件清单显示「电脑操作 / Computer Use」+ 蓝色光标图标:
locale/zh.json、locale/en.json、package.json.icon,exports导出./locale/*(0.5.4)。 - 斜杠菜单里
/computer显示为[空心光标] 电脑操作 computer · 批准或撤销电脑操作(0.5.8,0.5.9 改成空心描边并去掉图标与文字间距)。
宿主的命令 schema 只接受name/description,图标与本地化标签在客户端私有表里 —— 这里和 meow-memory 一样,在 client 侧用
MutationObserver+[data-trigger-menu]装饰渲染出来的那一行,宿主换结构时最坏退回原样、不报错。
稳定性
- locator 现在带 automation id(
|a=<autoId>),优先级高于序号 —— 浅层快照和深层重走之间i=会漂移,a=不会(0.5.5)。 computer_doctor返回值去掉undefined字段(宿主要求 lossless JSON)。- 提示条启动锁(
guard.lock)+ 诊断日志(guard.spawn.json/guard.debug.log/guard.desktop.log)。
兼容性
| DSH | 状态 |
|---|---|
| 0.2.0-rc.1 … 0.2.2-alpha.2 | 支持;门禁 @deepseek-ai/dsh-settings >=0.1.0-rc.6 <0.3.0-0 |
| 0.1.0-rc.6 … 0.1.7-rc.2 | 支持,走 0.1.x 命名空间 settings scope |
| 0.3.0 及以后 | 未验证,门禁不放行 |
Windows 10/11 x64;PowerShell 5.1 实测。
安装
dsh plugin --profile desktop add computer-user重启 DSH:工具在所有会话可用,设置卡在「设置 → 电脑操作」,安装后输入 / 能看到「电脑操作」那一行。
npm install computer-user # 或者从 npm 拿测试 78/78:node --test。
完整逐版本记录见 CHANGELOG.md。