多来源小说阅读服务
小说内容相对来说是比较标准化的,我们如果发现了一个小说的入口,根据一定的规则,可以获取到他的概要信息,目录列表,章节详情。
- 我们用一个定时任务,定期启动爬虫去发现小说,对比已经发现过的小说,确定是否需要添加;无需添加的,需要进行更新;
- 查看章节列表的时候,我们去数据库获取信息后,同时去远程获取一次列表,无则添加,有则更新;
- 获取章节详情的时候,我们做出同样的处理;
- 定期遍历全站搜索新的小说;
- 章节列表数据分表;
- 章节内容页面分表;
- 章节列表api触发列表更新;
- 点击记录,生成首页