spiders 基于python scrapy框架,爬取部分新闻类网站的内容。对于例如网易新闻等的新闻类网站,顺带爬取新闻用户评论以及网站用户信息, 在一定程度上建立出用户关系网络。 bolgchinaSpider 网站地址 : 博客中国 gmwSpider 网站地址 :光明网 ifengSpider 网站地址 : 凤凰网 peopleSpider 网站地址 : 人民网 sanqiSpider 网站地址 : 三秦网 sohuSpider 网站地址 : 搜狐新闻 sxdailySpider 网站地址 :陕西日报 wy163Spider 网站地址 :网易新闻 xinhuaNewsSpider 网站地址 : 新华网 xinwen110Spider 网站地址 :中国社会新闻网