Skip to content

Agent-VScreen 1.2.0

Choose a tag to compare

@kilolonion kilolonion released this 10 Nov 13:15
· 59 commits to main since this release

Agent-VScreen 1.2.0,可直接覆盖安装 1.1.x,签名不变。

给 agent 的结果和命令

  • 结果是结构化的:每次回复带 ok、code、next(先看画面 / 改命令 / 问用户 / 稍后重试),以及每一步的状态和画面元素。一段操作停在某一步就是失败,不用从文字里判断。新接口是 /v2,/v1 行为不变,再保留一个版本(升级对照见 API.md 第 9 节)。
  • 一张命令表:参数检查、帮助、MCP 工具和参考文档(docs/REFERENCE.md)都从同一张表生成。MCP 每条命令有自己的工具。
  • 点得更准:同样的字有几处时列出坐标让 agent 选;编号在同一块副屏上只指一个元素,滚动后同一元素保留编号,用了已经不在画面上的旧编号会得到 STALE_ELEMENT,不会点到别的东西;动作后画面没变会提示。
  • 等得更短:只剩转圈、光标闪烁这类小动画也算稳定,不再每步等满 3 秒。
  • 输入只走副屏服务注入,去掉了 dumpsys 解析和 shell input。
  • 长操作可以 --async 后用 task 取结果;调用方断开后命令会停;同一个请求重发不会执行两遍。
  • 盯守和事件:事件保留到下一次取、可重取、写在磁盘上;盯守在 App 重启后继续。
  • 给 agent 的说明重写:围绕“看 → 做 → 核对”一个循环,vscreen guide 一页讲完。

权限和安全

  • 默认放手跑:App 的“权限”里有两档。“放手跑”只有真正付钱的那一步(支付、提交订单、转账、充值)和你设为“每次询问”的应用会在手机上问你;“谨慎”档再加上删除这类不可撤销的按钮、去购买的步骤、强制结束和接走主屏应用。确认只能由你在手机上点,agent 自己加参数不算数。
  • 每个 agent 一个令牌,可以限定只看 / 可操作 / 全部,单独撤销。
  • 其它设备连接要签名,令牌本身不上网络,请求不能重放或改动。
  • 操作日志记下每条命令和每次确认,输入的文字和等待的文字只记字数。
  • HTTP 服务有连接数、大小和时间限制,空闲连接会给新请求让位。

App 和悬浮窗

  • 首页按 接入 → 权限 → 设置 → 操作日志 重新排列。
  • 悬浮窗画面单独按显示尺寸生成,每秒 20 帧(接管时 30 帧);拖动跟手;接管后手指按下就实时传到副屏。横屏默认约为手机宽度的四分之三,窗口出现和换方向时整个留在屏幕内。

说明

  • 需要 Android 11+、arm64 设备,特权只用 Shizuku。
  • Operit 工具包 agent-vscreen.toolpkg 用的是 /v1 接口,可以照常用,目前只连本机。

校验

  • APK SHA-256:c582cdf30db3cde7000cc9425159b17276cf30859c64093ad52f89bfb6c259ba
  • 签名证书 SHA-256:56b14824549e698017eba907cbc3347ee3a4ba30907efbd6068ea51ff4495756

可以用 sha256sum 核对下载的文件,用 apksigner verify --print-certs 核对签名证书。