- ✅ 完善主表数据爬取程序,通过多条件的请求挖掘潜在主数据(基于高级搜索数据);
- ✅ 主表数据爬取程序增加多线程方式,提高爬取速度(当前跑完全部数据的时间在 1~2 个小时);
- 主表数据完善,通过爬取详情页获取其他信息,如图片、尺寸参数等;
- ✅ 增加高级搜索的预设资料表及默认数据;
- 增加火彩值的获取及计算程序;
- 增加基于多种条件决定的数据排行处理程序;
- 主表数据爬取程序增加超时断开重试的处理;
- 增加 header 头,模拟浏览器访问;
- 增加条件预设资料的更新脚本;
- 多进程处理过程中,某些进程阻塞导致的数据处理中断,需要排查;