Golang爬虫框架。即可做通用爬虫也可做垂直爬虫
##使用过程中遇到任何问题,请联系QQ: 316052486
##思维脑图
##robot分四个接口:
- 下载模块(Downloader)
- 页面处理模块(PageProcesser)
- 任务调度模块(Scheduler)
- pipline
其中下载模块,调度模块已经实现,需要开发者自行实现页面处理规则与pipline
##开发进度
- 2015-01-18 增加爬虫案例: example/www79xscom/ Done
- 2015-01-18 Request结构体中增加回调函数支持,更好支持垂直爬虫的实现,具体实例见 example/www79xscom/ Done
- 2015-01-14 增加爬虫池支持,提高爬虫系统性能 Done
- 2015-01-07 优化目录结构 Done