这个是个分布式的爬虫框架 目的是为了解决在开发分布式爬虫中几乎都会遇到的问题

1.分布式爬虫的部署与机器的资源管理问题 2.爬虫的代理问题 3.验证码问题 4.url的过滤问题 5.爬虫的监控与管理问题

data-collector 将帮助使用者解决这些问题 让用户只关心爬虫本身的逻辑

本项目正在开发中 有兴趣的加 qq群 174713601