Golang实现简单爬虫框架

本项目是慕课网视频Google工程师深度讲解go语言课程中的项目实战部分，现整理出，方便以后学习

本项目首先实现一个简单的单机版爬虫，包括基本的引擎模块、网页抓取模块、数据解析模块。

在单机版基础上实现了简单的并发版爬虫，所有任务共用一个channel

然后又用队列实现并发任务调度，

最后实现了数据的存储

欢迎大家查看，随手给个star，在此感激不尽！