pawitch #分布式爬虫系统 1、需要安装Redis和MySQL 2、配置settings.py中MS_TYPE区分主从机 3、执行main.py启动 4、mysprider:urls_request需插入待爬主地址,可放入启动脚本并做循环定时