Skip to content

v20250504-0830: Skill 生成保留 UI 元素定位信息

Latest

Choose a tag to compare

@xiaomochn xiaomochn released this 04 May 10:47

Update 90: SkillSummarizer prompt 修复

问题

录制的 Skill 生成后,AI Agent 无法执行。原因是 AI 总结器的 prompt 指导 LLM 生成"人类可读的操作教程",丢失了 UI 元素的具体定位信息(text、resourceId、className 等),Agent 面对复杂的无障碍树无法精确找到操作目标。

修复

  • 修改 SkillSummarizer 的 system prompt,明确要求 AI 保留:
    • text — 元素显示文字
    • contentDescription — 无障碍描述
    • className — 元素类型(Button/TextView 等)
    • resourceId — Android 资源 ID
    • ActivitypackageName — 每步所在页面
  • 生成格式改为 Agent 可直接执行的指令,如 点击 text="房态房量" 的 [TextView] 元素
  • 不再允许 AI 将具体操作概括为模糊的自然语言
  • Fallback 生成器也同步改进,包含元素选择器和 Activity 上下文