Repository navigation
Releases
iPhone Use 0.3.16 — App usage analytics
新增 App 启动分布统计,查看用户通过 iPhone Use 显式启动了哪些 App,以及各 App 的启动次数、匿名安装数、占比和每日趋势。
- 新增
iphone_use_app_launched事件,同时发送到 PostHog 和 GA4。记录校验后的 bundle ID、公开目录名称、单次 / batch 来源及前台核验状态;batch 仅统计已成功返回的启动子步骤。 - PostHog 增加启动次数、使用安装数、占比、每日趋势四个图表;GA4 发布「App 使用分布」报表,包含名称和 bundle ID 数据表及四张分布 / 趋势图。
- 仅采集显式启动目标,继续排除设备上的 App 清单、画面和内容;支持通过
IPHONE_USE_ANALYTICS=0或DO_NOT_TRACK=1统一关闭统计。插件与 widget 版本同步为 0.3.16。
升级插件并重新连接聊天 / 重启 MCP 后开始采集新事件,不回填历史 App 数据。GA4 新维度通常需要 24–48 小时才能出现在报表中。默认启动结果可能未核验前台状态,可通过报表的核验状态维度区分。
验证:477 项 Python 回归、57 项 widget 测试、36 项 WorkBuddy 和 15 项豆包适配测试、TypeScript 构建和发布包检查通过。
iPhone Use 0.3.15 — iPhone system screenshots
新增 pua_screenshot():通过 WDA HID 事件直接触发 iOS 系统截屏,图片保存到 iPhone 相册。需要在手机里发送、上传或使用截图时,调用工具后到「照片」App 或目标 App 的相册选择器中找到并使用。
- skill 仅增加一段简洁说明,明确观察截图不会保存到手机相册,避免转到 Mac 截图、剪贴板或网页传图。
- 新工具复用共享操作锁、锁屏检查和认证暂停保护;不自动重放不确定的截屏请求。工具总数为 18 个模型工具和 2 个 widget 工具,保持现有 schema 体积限制。
- 同步插件与 widget 版本,以及工具数量相关的打包、文档和宿主适配检查。
验证:474 项 Python 回归、57 项 widget 测试、36 项 WorkBuddy 和 15 项豆包适配测试、TypeScript 构建和发布包检查通过。真机通过 MCP 调用新工具,在 iPhone「照片」中打开并核对了新生成的系统截屏。
升级后重新连接聊天,以加载新工具与 skill。
0.3.14 — GA4 analytics and dashboards
新增 GA4 匿名使用统计,与 PostHog 同时记录实际工具使用。采用独立的 iPhone Use 属性,Measurement Protocol 直接发送,专用上报配置随插件发布。
- 共用两类事件:首次实际使用进程、工具调用。继续排除空闲 MCP 初始化、帧轮询和 viewport 自动恢复,READY/setup/预览结果仍合并进单条工具事件。
- PostHog、GA4 使用独立的有界队列和后台线程;GA4 请求只尝试一次,避免不确定响应导致重复计数。统一关闭开关控制两者,并支持分别关闭或覆盖配置。
- 只发送匿名安装标识及白名单字段;不发送手机画面、输入内容、设备标识或异常文本。GA4 广告数据使用与个性化广告均设为拒绝。
- 已发布两份 GA4 看板、共 16 张图,覆盖安装活跃、工具与进程使用、READY/setup、错误、版本及平均耗时。正式看板过滤 production,验证数据使用 test。GA4 不回填 PostHog 已丢失的数据;P95 耗时保留在 PostHog 看板。
验证:468 项 Python 测试、57 项 widget 测试、TypeScript/HTML 构建及发布包检查通过;最后变更后的埋点和打包测试再次通过。GA4 严格校验返回零错误,实际 Runtime 验证发送的两条 test 事件已在实时报告各显示一次。源码包 88 个文件逐一匹配发布提交。
升级至 0.3.14 并重启 MCP 服务后开始同时上报 GA4。新注册的自定义维度和标准报表可能需要 24–48 小时处理;默认看板日期为过去 28 个完整日,不含今天。
iPhone Use 0.3.13
修复默认匿名统计在空闲 MCP 连接、专用结果事件和内部预览查询上的事件量放大。
- MCP initialize、ping、工具与资源发现不再上报启动。仅首次实际工具调用结束时记录该进程的使用启动。
- READY、setup 和预览结果字段合并到单条
iphone_use_tool_called,停止重复的专用结果事件;首次使用仍保留一条独立的使用启动事件。 pua_screen_action(action="viewport")自动几何恢复与失败均不埋点;帧轮询继续排除。用户预览点击、拖动与工具栏操作正常记录一次。- 增加
analytics_schema_version=2。线上 READY、setup 与 READY UV 图表兼容新旧事件且不重复计数;使用进程图按工具事件中的session_id去重,历史空初始化不计入。
验证:464 项 Python 测试、57 项 widget 测试、TypeScript/HTML 构建、插件配置与发布包检查通过。新增回归覆盖多次握手与跨进程空连接、单条结果事件、连续 1,000 次 viewport 查询及查询失败;四项更新后的回归检查在旧代码上产生预期失败。源码压缩包内 86 个文件逐一匹配发布提交。线上 4 张受影响图表均成功重算。
升级到 0.3.13 并重启 MCP 服务后采用新埋点逻辑;旧版客户端仍按旧逻辑上报。已消耗的 PostHog 额度不会由本次发布恢复。
iPhone Use 0.3.12
发布 iPhone Use 0.3.12,基于当前 main 整合三项社区修复,并保留贡献者原始提交。
- #10(@xiangyingchang):将间接依赖 shell-quote 固定到 1.11.0,修复 GHSA-pqg4-j6r4-53mv;appium-ios-device 保持 3.1.24。
- #11(@sunjinshuai):统一已安装 App 清单校验与解析,支持 apps / installedApps 的列表或字典响应;异常响应正常回退,不错误声称已安装或缓存失败结果。
- #20(@cubxxw):长文本续传重新确认原 App、WDA 会话和输入框焦点;上下文变化或无法确认时停止,不向另一输入框写入剩余文本,batch 同步停止后续步骤。
验证:462 项 Python 测试、50 项 widget 测试、10 项实验驱动测试通过;TypeScript/HTML 构建、MCP 启动、发布包暂存及全部文件与发布提交的一致性检查通过。新增回归在旧 main 上产生预期失败,在本次实现上通过。
依赖验证:npm audit 返回 0 个漏洞,实际安装解析为 shell-quote 1.11.0;漏洞公告涉及的四种行终止符均被拒绝,普通引号处理保持正常。
真机验证(iOS 26.7.1、USB、WDA 16.14.0):READY 与已安装 App 查询通过;两个 Runtime 共用原配置、会话和操作锁时,切换输入框后旧续传返回 focus_changed,保留原输入框的部分文本并保持新输入框为空;同一输入框的中文续传精确回读通过;失效续传使 batch 在第 0 步停止,后续 Home 未执行。测试通过缩小分段与调用预算触发续传,未改变发布版本的默认预算。
正常续传的真机验收使用默认替换模式。验收期间另观察到空输入框在 replace=false、verify=true 时可能将占位符计入预期文本并误报 input_mismatch;这是原有追加核验行为,本次未修改。控件重建可能需要按截图重新聚焦,已发给 WDA 的单次输入请求仍不能与用户手动触摸原子同步。
iPhone Use 0.3.11
合并 PR #16,并整合本地开发改动,发布 iPhone Use 0.3.11。
- 手机实时预览支持点击、鼠标拖动和触控板双指滚动,采用默认箭头光标(cursor: default)。
- 保留原有 agent 操作、共享操作锁、暂停与锁屏保护、旋转恢复、预览加载动画和默认 200 节点观察。
- 区分超时、连接失败和其他传输异常;不自动重放不确定动作。动作后观察使用最多 0.5 秒的宿主等待。
- 独立观察可显式设置原生快照深度或子节点限制,返回不完整标记;成功、超时或进程中断后恢复共享会话设置,普通动作与列表采集保留默认完整快照。
- 增加微信、微博等 App 的慢列表与截图回退指引。实验驱动及记录已提交到仓库,继续保持独立、不默认启用。
验证:452 项 Python 测试、50 项 widget 测试、10 项实验驱动测试通过;TypeScript/HTML 构建、MCP 启动与 READY、发布包一致性校验通过。真机测试微信、淘宝、小红书、支付宝的页面点击及返回;显式快照限制后确认恢复默认设置。
交互手势依赖 WDA/XCTest,仍可能有延迟;自绘页面需截图坐标定位,原生长列表读取仍可能超时。
iPhone Use 0.3.10
首次打开手机侧边栏、等待预览第一帧时显示旋转 loading 图标,避免用户刚开始准备连接就看到“手机未连接”。
- 初始化和预览请求重试期间保持连接中状态,收到第一帧后显示实时画面。
- 明确刷新连接失败仍显示未连接;保留等待解锁、认证暂停与已有画面的断线状态。
- 更新插件版本和 widget 资源 URI,升级后加载新版界面。
- 验证:412 项 Python 测试、33 项 widget 测试、UI 构建和发布包校验通过;本地重新安装并验证 MCP 启动、工具发现、loading 资源及 metrics 调用。
iPhone Use 0.3.9
普通观察及点击、滑动后的观察默认输出上限从 100 提高到 200 个过滤后节点,减少页面内容截断。
- 工具和 batch 参数默认值、使用指引同步为 200。
- 保留显式 max_nodes 设置及 500 节点最大值。
- 不改变视口过滤、原生 WDA 读树或超时设置,不需要重新安装 WDA。
- 验证:412 个 Python 测试(含新增 9 个预算回归测试)、31 个 widget 测试、UI 构建及发布包校验通过。
iPhone Use 0.3.8
新增简短 AirDrop 指引:手机中的图片、视频或其他文件,通过共享菜单传到当前 Mac,再到下载目录找到文件直接使用。
同时发布此前已提交的启动流程改进:首次使用先 setup 检查并复用或启动服务,再取得 READY;启动等待支持有界查询,减少往返回合。
验证:Python 回归测试、31 项 widget 测试、构建、插件包校验与 MCP 冒烟检查。
iPhone Use 0.3.7
普通整页观察跳过未使用的 accessible 属性,减少逐节点原生无障碍查询。保留 UI 节点结构、文字、字段值、坐标、可见性选项,以及点击前的 hittable 检查。
- 真机对照中,微信、淘宝和相册网格的新旧节点内容完全一致;原始 XML 缩小约 7%–8%。
- 读取速度随页面和缓存变化;相册单图小样本重复读取有所改善,但本次测试仍出现微信会话列表快照超时,不能保证消除所有卡顿或断连。
- 包含此前已合入 main 的匿名使用统计:支持关闭,排除画面、文字内容与设备标识。
验证:Python 回归测试、31 项 widget DOM 测试、TypeScript 构建、插件包校验和 MCP 初始化 / 工具发现 / ping 检查通过。发布包确认未包含个人聊天记录、照片或测试输出。
安装或更新后重新连接聊天,以加载 0.3.7 服务、技能和 widget 资源。