Crawler-Tools

网络爬虫相关工具

内容：

1、IP_POOL爬虫

用来爬取指定ip网站的ip，并在筛选出可用ip后将其写入文件保存

scrapy

time

requests

urllib

2、筛选ip函数 test_ip

用于在引用ippool文件时检测其中ip是否可用，并提取出可用ip生成ip

requests

3、百度热点爬虫 BaiDu_HotTopic

简单小爬虫，用于爬取百度热点

requests

lxml==3.7.2（因为要用到etree）

不定期更新中...