这个库主要用来装一些平时用来学习或者搞着玩的爬虫,目前有用Scrapy框架写的,也有用BeautifulSoup+requests写的,未来可能还会有涉及到java等其他语言的爬虫代码。
目前库存项目有:
- 一个壁纸网站的爬图spider(Scrapy)
- 一个答案网的学习强国的答案spider+结果文档(Scrapy)
- 一个网易云音乐的歌单下载程序(BeautifulSoup+request)
- 一个B站视频爬取spider(Scrapy+you-get)
- 一个知乎问答多线程爬虫(requests+json+re+threading)
- 一个xvideos视频爬虫(requests+scrapy+json+parsel+cookiejar+threading)
- 一个有声小说音频爬虫(requests+os+parsel+threading+mongodb+re)
- 一个微博个人信息爬虫(requests+os+parsel+threading+re+random+time+json+pandas)
- 一个安居客武汉租房信息爬虫+数据清洗+分析+数据可视化(requests+pandas+parsel+matplotlib)
- 一个B站视频封面提取器(requests+json+re+parsel+os)
- ……
在这里谢过所有我看过的教学视频,网站。
不定时更新ing.........