多平台内容采集框架 — 7 平台全覆盖,纯 HTTP 直连 + 浏览器双模式。
| 平台 | 搜索 | 热榜 | 详情 | 评论 | 用户 | 开源版引擎 | Pro 版引擎 |
|---|---|---|---|---|---|---|---|
| B站 | ✅ | ✅ | ✅ | ✅ | ✅ | 浏览器模式 | 纯 HTTP 直连 |
| 知乎 | ✅ | ✅ | ✅ | ✅ | ✅ | 浏览器模式 | 纯 HTTP 直连 |
| 快手 | ✅ | ✅ | ✅ | ✅ | ✅ | 浏览器模式 | 纯 HTTP 直连 |
| 微博 | ✅ | ✅ | ✅ | ✅ | ✅ | 浏览器模式 | 纯 HTTP 直连 |
| 贴吧 | ✅ | ✅ | ✅ | ✅ | ✅ | 浏览器模式 | 纯 HTTP 直连 |
| 抖音 | ✅ | ✅ | ✅ | ✅ | ✅ | 浏览器模式 | 纯 HTTP 直连 |
| 小红书 | ✅ | ✅ | ✅ | ✅ | ✅ | 浏览器模式 | 纯 HTTP 直连 |
开源版:全部 7 平台浏览器模式(Playwright CDP),简单稳定,一键开爬。 Pro 版:全部 7 平台纯 HTTP 直连,零浏览器依赖,毫秒级响应,服务器可部署。
git clone https://github.com/Smart75850/smart-agent.git
cd smart-agent
pip install -r requirements.txt
playwright install chromium# B站搜索(浏览器模式,开 Chrome 即用)
chrome --remote-debugging-port=9222
python main.py --platform bilibili --keyword Python
# 知乎热榜
python main.py --platform zhihu --type hot
# 抖音/小红书(需先登录 Chrome)
python main.py --platform douyin --keyword AI绘画 --engine cdp
# 全平台并发搜索
python main.py --platform all --keyword 美食开源版已经覆盖全部 7 个平台。Pro 版在此基础上提供纯 HTTP 直连、AI 智能分析和高性能部署。
| 对比 | 浏览器模式(开源版) | 纯 HTTP 直连(Pro 版) |
|---|---|---|
| 抖音搜索 | 需 CDP Chrome,~3s/次 | 直接 HTTP,~500ms/次 |
| 小红书搜索 | 需 CDP Chrome,~4s/次 | 直接 HTTP,~600ms/次 |
| 服务器部署 | ❌ 需要显示器 | ✅ 无头运行 |
| 内存占用 | ~500MB+ | ~80MB |
| 并发能力 | 受限于浏览器 | 无限制并发 |
| Agent | 能帮你做什么 |
|---|---|
| 🔥 爆款识别 | 扫描全平台内容,自动识别高传播潜力作品。告诉你这条内容为什么能火、传播力有多强、值不值得跟进模仿 |
| 📦 选品分析 | 从海量内容中挖掘可带货商品。分析品类、价格区间、目标人群、竞争激烈程度,给出变现潜力评分 |
| 🎬 视频拆解 | 把爆款视频拆成零件:开头钩子怎么抓人、节奏怎么把控、转化点埋在哪里、把结构模板提炼出来让你直接复用 |
| 💬 评论情绪 | 分析评论区真实反应:有多少人想买、多少人在吐槽、受众关心什么。帮你判断这个赛道有没有真需求 |
| ✍️ 营销文案 | 根据分析结果,自动生成适配抖音/小红书/B站/知乎等不同平台的营销文案,含钩子设计+行动号召 |
| 🔄 内容改写 | 把热门内容跨平台适配:B站长视频转小红书图文、知乎回答转抖音口播脚本。分析赛道竞争程度与入场时机 |
| 🖼️ 配图策略 | 根据内容和平台特性,AI 生成封面图设计策略:用什么风格、什么配色、什么构图,附带英文绘画提示词 |
| 功能 | 开源版 | Pro 版 |
|---|---|---|
| 全平台浏览器模式 | ✅ | ✅ |
| 全平台纯 HTTP 直连 | ❌ | ✅ |
| AI 分析(7 Agent + LangGraph) | ❌ | ✅ |
| Go 高性能版(6.7MB 单文件) | ❌ | ✅ |
| Docker 一键部署 | ❌ | ✅ |
| 断点续爬 + 增量采集 | ❌ | ✅ |
| 完整源码交付 | ❌ | ✅ |
| MCP Server(接 Claude/Cursor) | ❌ | ✅ |
| 版本 | 价格 | 内容 |
|---|---|---|
| 开源版 | 免费 | 7 平台全覆盖,无限制使用 |
| 完整版 | 联系获取 | 全平台纯 HTTP + 7 Agent AI + Go 版 + Docker + 完整源码 |
微信:smart4906(备注:PRO)
smart-agent/
├── main.py # CLI 入口
├── api/ # WebUI(FastAPI + SPA)
├── config/ # 集中配置
├── base/ # PlatformAdapter 抽象基类
├── src/
│ ├── agents/ # 7 平台适配器
│ └── utils/ # HTTP / 会话 / 代理
├── store/ # 6 种存储后端
└── examples/ # 使用示例
NON-COMMERCIAL LEARNING LICENSE 1.0
详见 完整免责声明