Skip to content

JerryYangAI/mobile_data_crawler

Repository files navigation

📱 mobile_data_crawler · 手机 AI 爬虫工具

通过 ADB + 多模态大模型,从任意 App 或微信小程序中提取任意品类、任意商品的结构化数据。 不需要网页版、不需要接口——只要手机屏幕上能看到的,它就能一条条结构化地记下来。

面向做市场调研、竞品分析、商品数据采集的人。典型用法:想把某个商超 App 上所有和"牛奶"相关的商品(品牌 / 规格 / 价格 / 卖点 / 配料)扒下来做对比?打开 App,搜"牛奶",开启自动采集,一边翻页一边自动入库,翻完导出带截图的 Excel。

🔰 第一次用 / 不会编程? 手把手零基础指南(含流程图): 📘 中文《新手完全指南》→ 新手指南.md📗 English Guide → USAGE_en.md 核心采集流程图(可用 excalidraw.com 打开编辑/导出图片):docs/核心采集流程.excalidraw 图像模型二选一:豆包 Doubao(中国)Gemini(美国) —— 指南里都有配置步骤。


✨ 特性

  • 只读采集,安全可控 —— 全程只截图、读屏,绝不点击、下单、碰账号;离开目标 App 自动暂停拍摄。
  • 两种模式
    • 手动提取:停在某个商品页,点一下"提取当前屏幕"。
    • 自动轮询(L1.5):帧变化检测(感知哈希)+ 生产者-消费者队列,你只管翻页,画面停稳自动截图 → 多模态提取 → 入库;捕获成功"叮"一声。
  • 结构化字段提取 —— 品牌 / 商品名 / 品类 / 口味 / 规格 / 包装 / 现价 / 原价 / 促销 / 卖点 / 配料 / 评分等,看不到的字段填"未识别",绝不编造。
  • 数据质量 —— 截图证据链、去重指纹(渠道+品牌+名)、品牌归一化、复核队列、一键全部复核。
  • 渠道识别 —— 按前台 App 包名自动标记来源渠道(可扩展的映射表)。
  • 一键导出 —— CSV(喂给分析工具)/ Excel(每行嵌入商品截图,给人看)。

🏗 技术栈

后端: Node.js (ESM) + Express + Socket.IO + ADB (execa)
前端: Vue 3 + Vite + Element Plus
AI:   多模态大模型(默认接火山方舟 · 豆包 vision)

🚀 快速开始

# 1. 安装依赖
npm install
cd frontend && npm install && cd ..

# 2. 配置 API Key(新建 config/local.json,填入你自己的密钥;此文件已 gitignore,不会被提交)
#    参考 config/default.json 的结构,填入 doubao.apiKey / doubao.model / doubao.apiUrl

# 3. 连接安卓手机(USB 调试打开并授权)
adb devices        # 应能看到你的设备

# 4. 启动
npm run server                     # 后端 :3000
cd frontend && npm run dev         # 前端 :5173

浏览器打开 http://localhost:5173 → 「数据采集」标签页,选设备、填批次名、选「自动入库」、点「开始」,然后拿手机逛店即可。

需要中文输入的 App,请先安装随附的 ADBKeyBoard.apk(用于稳定输入中文/特殊字符)。

⚙️ 配置说明

  • config/default.json —— 默认配置(占位符,可提交)。
  • config/local.json —— 你的真实密钥(已 gitignore,绝不提交)。
  • 采集数据存于 data/collections/(JSONL + 截图,已 gitignore)。

🔒 安全与合规

  • API Key 只放在 config/local.json(已 gitignore),不硬编码、不进日志。
  • 采集数据、截图存本地,不上传第三方。
  • 请遵守目标 App / 网站的服务条款,合理、合规使用;本工具仅用于合法的数据分析与研究用途。

📄 License

MIT © JerryYangAI


从一个"手机操作 Agent"演进成稳定的数据采集器。如果它帮到了你,欢迎 Star ⭐ 或赞助支持独立开发。

About

手机 AI 爬虫工具 · 通过 ADB + 多模态大模型从任意 App/小程序提取任意品类商品的结构化数据

Resources

Stars

Watchers

Forks

Releases

Packages

Contributors

Languages