这个库主要用来装一些平时用来学习或者搞着玩的爬虫,目前有用Scrapy框架写的,也有用BeautifulSoup+requests写的,未来可能还会有涉及到java等其他语言的爬虫代码。
目前库存项目有:
1.b站相关
1.1 一个B站视频爬取spider(Scrapy+you-get)
1.2 一个B站视频封面提取器(requests+json+re+parsel+os)
2.知乎相关
2.1 一个知乎问答多线程爬虫(requests+json+re+threading)
3.微博相关
3.1 一个微博个人信息爬虫(requests+os+parsel+threading+re+random+time+json+pandas)
4.刚需相关
4.1 一个xvideos视频爬虫(requests+scrapy+json+parsel+cookiejar+threading)
5.其他类型
5.1 一个安居客武汉租房信息爬虫+数据清洗+分析+数据可视化(requests+pandas+parsel+matplotlib)
5.2 一个有声小说音频爬虫(requests+os+parsel+threading+mongodb+re)
5.3 一个网易云音乐的歌单下载程序(BeautifulSoup+request)
5.4 一个壁纸网站的爬图spider(Scrapy)
5.5 一个答案网的学习强国的答案spider+结果文档(Scrapy)
欢迎大家在issue中提出一些好玩的爬虫想法,我会根据情况去尝试实现并及时通知的才不是因为莫得灵感了,同时也欢迎大家提出宝贵的意见。
https://img.shields.io/github/stars/srx-2000/git_spider?style=social
star可以持续追更呦
https://img.shields.io/github/forks/srx-2000/git_spider?style=social
fork可以一起做有意思的东西呦
鸣谢
在这里谢过所有我看过的教学视频,网站。
不定时更新ing.........