目录

• README

---

README

java 爬虫，采用webmagic框架。目的爬取虎扑步行街的数据，并做一些统计与数据分析，纯属个人娱乐

---

Author	陈超允
E-mail	873692191@qq.com

技术栈

• springboot 1.5.7
• springMVC+Rest...
• EChart 统计图
• tx.mybatis 3.4.6 + hikari 连接池
• webmagic 0.7.3（修改版，修复https问题与log优化 下载地址：https://download.csdn.net/download/sinat_22767969/10703880）
• mysql 5.7.17 （支持utf8mb4字符编码）

表设计

表sql参见 db/hpspider.sql

• 用户表 user

• 帖子表 post

• 回帖表 comment

• 分词表 word_divide

部分数据截图

计划统计

1. 步行街帖子标题的热点词汇（分析Jrs使用最频繁的词汇）

23. JRS回复的词云（看所有帖子下大家都在说些什么）

24. JRS昵称名词云（大家最喜欢用什么词起名）

19. 步行街男女比例分布!!（男女Jrs比例，到底是？）

13. Jrs所在地分布

13.1. 女Jrs所在地分布

20. Jrs设备分布

7. NBA主队分布 **

4. 年发帖量（分析近5年来发帖量最多的哪年）

5. 年里的月发帖量（分析每年中，大家都喜欢在几月份发帖）

6. 时发帖量（分析大家每天最爱在什么时候发帖）

7. 时回复量（分析大家每天最爱在什么时候回帖）

8. 论坛等级分布（分析Jrs各等级比例）

9. 年度的十大热帖（按年统计每年讨论最热的帖子）

10. 历史来十大热帖

11. 年度点亮前十的回复

12. 十大活跃Jrs，按年分组（所谓的达人/大神）

14. 粉丝最多的10大Jrs（人气最高的明星）

15. 粉丝最多的女jr

16. 访问量前十的Jrs

17. 访问量最多的女jr

18. 社区声望排行

21. jrs加入时间分布曲线图（哪年小JRs新增最多）

22. 十大发帖量最多的Jrs（看看哪些人最爱在发帖了）

2. 发帖与不发帖Jrs占比（潜水/只回帖Jrs与常发帖Jrs占比）

3. 发帖有回复与没回复占比（石沉大海的帖子占比）

25. Jrs的头像大集合（一页展示所有Jrs的头像，并做图像分析出“平均头像”长啥样）

数据分析/效果展示

• 见博客：https://blog.csdn.net/sinat_22767969/article/details/83096619