一个集成爬虫、AI分析和数据可视化的舆情分析工具。支持小红书、知乎平台的评论爬取，并通过Coze AI进行情感分析和关键词提取，最终使用ECharts生成词云和情感分布图表。
- Python 3.8+
# 激活环境
conda activate fgo_downloaderpip install -r requirements.txt| 包名 | 说明 |
|---|---|
| Flask | Web框架 |
| DrissionPage | 浏览器自动化（小红书爬虫） |
| requests | HTTP请求（知乎API） |
| tqdm | 进度条 |
| cozepy | Coze AI SDK |
| pandas | 数据处理 |
| openpyxl | Excel支持 |
| chardet | 编码检测（可选） |
conda activate fgo_downloader
cd d:\pythonTools\crawler_project
python app.py启动后访问：http://127.0.0.1:5000
| 平台 | 方法 | 说明 |
|---|---|---|
| 小红书 | DrissionPage 浏览器自动化 | 模拟真实用户操作，支持翻页 |
| 知乎 | requests API调用 | 15种搜索策略突破200条限制 |
- 使用 DrissionPage 模拟浏览器
- 自动滚动加载更多内容
- 支持多关键词搜索（逗号分隔）
- 自动去重
- 使用 requests 调用知乎搜索API
- 15种搜索策略：综合/内容/回答/文章 × 默认/相关/点赞/时间
- 速度控制：每页2-4秒，策略间3-6秒
- 禁用系统代理避免SSL错误
- 需要Cookie登录（从浏览器F12获取）
- 在首页输入关键词（多个用逗号分隔）
- 选择平台（小红书/知乎）
- 设置爬取数量
- 点击"开始爬取"
- 爬取完成后可下载CSV
爬取结果CSV格式：
keyword, url, user, comment_content
使用扣子(Coze)平台的工作流进行智能分析：
| 功能 | 说明 |
|---|---|
| 情感分析 | 判断评论正面/负面/中性 |
| 关键词提取 | 从评论中提取核心关键词 |
| 批量处理 | 每批50条，CSV格式发送 |
在 utils/ai_agent.py 中配置：
COZE_API_TOKEN = "pat_xxxxx" # Coze平台个人令牌
WORKFLOW_ID = "7581414272291733544" # 工作流ID- 登录 https://www.coze.cn
- 进入"API令牌"页面
- 创建新令牌并复制
- 爬取或上传CSV数据
- 设置分析数量（0=全部）
- 点击"AI批量分析"
- 等待SSE流式返回结果
- 分析结果会追加到表格
AI返回的分析结果包含：
keywords: 提取的关键词（逗号分隔）sentiment: 情感倾向（positive/negative/neutral）is_valid: 是否有效评论
| 图表 | 库 | 说明 |
|---|---|---|
| 词云图 | echarts-wordcloud | 关键词频率可视化 |
| 饼图 | echarts | 情感分布占比 |
<!-- ECharts核心 -->
<script src="https://unpkg.com/echarts@5/dist/echarts.min.js"></script>
<!-- 词云扩展 -->
<script src="https://unpkg.com/echarts-wordcloud@2/dist/echarts-wordcloud.min.js"></script>- TXT分析：上传Coze返回的TXT结果文件
- CSV分析：上传已合并的CSV文件（含keywords/sentiment列）
- 多CSV统一分析：上传多个CSV统一生成图表
- 上传AI分析返回的TXT文件
- 解析keywords和sentiment字段
- 只统计
is_valid=true的有效数据
- 上传原始CSV + AI分析TXT
- 自动匹配合并
- 下载包含分析结果的完整CSV
- 选择多个CSV文件
- 合并为一个CSV（添加source_file列标记来源）
- 支持自动编码检测（utf-8/gbk/gb2312/gb18030）
- 选择多个已分析CSV
- 统一统计关键词频率
- 统一统计情感分布
- 生成综合词云和饼图
词云图参数：
- 字体大小：14-60px
- 旋转角度：-45° ~ 45°
- 颜色：10种随机配色
crawler_project/
├── app.py # Flask主应用
├── requirements.txt # 依赖包
├── README.md # 本文档
├── spiders/
│ ├── __init__.py
│ ├── xhs_spider.py # 小红书爬虫
│ └── zhihu_spider.py # 知乎爬虫
├── utils/
│ ├── __init__.py
│ ├── ai_agent.py # Coze AI接口
│ └── cleaner.py # 数据清洗
├── templates/
│ └── index.html # 前端页面
└── resource/
└── result/ # 结果存放目录
conda activate fgo_downloader
pip install cozepy -i https://pypi.tuna.tsinghua.edu.cn/simple- 检查Cookie是否有效（浏览器F12 → Network → 复制Cookie）
- 确保已禁用系统代理
- 系统已支持自动编码检测
- 如仍有问题，尝试用记事本另存为UTF-8格式
- 重新登录Coze平台获取新Token
- 更新
utils/ai_agent.py中的COZE_API_TOKEN
- 确保浏览器能访问unpkg.com CDN
- 检查Console是否有JavaScript错误
- 支持多CSV合并和统一分析
- 添加ECharts词云和情感分布图
- 知乎15种搜索策略突破200条限制
- AI批量分析改为50条/批CSV格式
- 自动编码检测支持多种中文编码