Skip to content

KertinH/Crawler-Tools

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

32 Commits
 
 
 
 
 
 
 
 

Repository files navigation

Crawler-Tools

网络爬虫相关工具

内容:

1、IP_POOL爬虫

用来爬取指定ip网站的ip,并在筛选出可用ip后将其写入文件保存
scrapy
time
requests
urllib

2、筛选ip函数 test_ip

用于在引用ippool文件时检测其中ip是否可用,并提取出可用ip生成ip
requests

3、百度热点爬虫 BaiDu_HotTopic

简单小爬虫,用于爬取百度热点
requests
lxml==3.7.2(因为要用到etree)


不定期更新中...

About

网络爬虫相关工具

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages