Skip to content

python爬虫,目前库存:网易云音乐歌曲爬取,B站视频爬取,知乎问答爬取,壁纸爬取,xvideos视频爬取,有声书爬取,微博爬虫,安居客信息爬取+数据可视化,哔哩哔哩视频封面提取器

Notifications You must be signed in to change notification settings

Createitv/git_spider

 
 

Repository files navigation

Git-爬虫

这个库主要用来装一些平时用来学习或者搞着玩的爬虫,目前有用Scrapy框架写的,也有用BeautifulSoup+requests写的,未来可能还会有涉及到java等其他语言的爬虫代码。

目前库存项目有:

1.b站相关

1.1 一个B站视频爬取spider(Scrapy+you-get)

1.2 一个B站视频封面提取器(requests+json+re+parsel+os)

2.知乎相关

2.1 一个知乎问答多线程爬虫(requests+json+re+threading)

3.微博相关

3.1 一个微博个人信息爬虫(requests+os+parsel+threading+re+random+time+json+pandas)

4.刚需相关

4.1 一个xvideos视频爬虫(requests+scrapy+json+parsel+cookiejar+threading)

5.其他类型

5.1 一个安居客武汉租房信息爬虫+数据清洗+分析+数据可视化(requests+pandas+parsel+matplotlib)

5.2 一个有声小说音频爬虫(requests+os+parsel+threading+mongodb+re)

5.3 一个网易云音乐的歌单下载程序(BeautifulSoup+request)

5.4 一个壁纸网站的爬图spider(Scrapy)

5.5 一个答案网的学习强国的答案spider+结果文档(Scrapy)

欢迎大家在issue中提出一些好玩的爬虫想法,我会根据情况去尝试实现并及时通知的才不是因为莫得灵感了,同时也欢迎大家提出宝贵的意见。

https://img.shields.io/github/stars/srx-2000/git_spider?style=social

star可以持续追更呦

https://img.shields.io/github/forks/srx-2000/git_spider?style=social

fork可以一起做有意思的东西呦

鸣谢

在这里谢过所有我看过的教学视频,网站。

不定时更新ing.........

About

python爬虫,目前库存:网易云音乐歌曲爬取,B站视频爬取,知乎问答爬取,壁纸爬取,xvideos视频爬取,有声书爬取,微博爬虫,安居客信息爬取+数据可视化,哔哩哔哩视频封面提取器

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 100.0%