Skip to content

v0.3.0 — Phase 2(VLM 视觉融合 + 执行预算 + 增量 diff + AndroidWorld 评测)

Choose a tag to compare

@expoli expoli released this 10 Aug 05:30
· 6 commits to master since this release

Android Phone MCP Server v0.3.0(阶段 2 完整版)

在 v0.2.0(16 工具)基础上补齐第三感知层与护栏。

18 个 MCP 工具(16→18)

既有 16 工具 + reset_session(清快照缓存 + 重置预算)+ locate(VLM 视觉定位)

新增能力

  • VLM 视觉 grounding(第三感知层):树 → OCR → VLM 三级降级;[vlm] extra(openai 客户端,OpenAI 兼容端点 + SoM 编号截图);vlm- 伪元素共享 id 空间;tap/type_text 前 VLM 重确认(VLM_STALE)
  • 执行预算:进程级动作数/时长上限(ANDROID_MCP_BUDGET_MAX_ACTIONS/SECONDS,默认关);超限 EXECUTION_BUDGET_EXCEEDED;reset_session 恢复
  • 增量 diff:diff_state 与缓存上一快照增量对比
  • AndroidWorld 子集评测python -m eval.runner(3 样例任务真机 3/3 PASS)
  • PyPI 就绪:twine check 通过(实际发布待 token)

质量

  • 148 单测 + 27 真机探针全绿(OPPO PKT110 / Android 16)
  • 代码评审 2 轮闭环(BLOCKER 修复后 PASS)

安装

pip install android-phone-mcp[ocr,vlm]   # PyPI 发布后;ocr/vlm 可选 extra