Skip to content

python爬虫,目前库存:网易云音乐歌曲爬取,B站视频爬取,知乎问答爬取,壁纸爬取,xvideos视频爬取,有声书爬取,微博爬虫,安居客信息爬取+数据可视化,哔哩哔哩视频封面提取器

HowardLeo505/git_spider

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

45 Commits
 
 
 
 

Repository files navigation

Git-爬虫

这个库主要用来装一些平时用来学习或者搞着玩的爬虫,目前有用Scrapy框架写的,也有用BeautifulSoup+requests写的,未来可能还会有涉及到java等其他语言的爬虫代码。

目前库存项目有:

  1. 一个壁纸网站的爬图spider(Scrapy)
  2. 一个答案网的学习强国的答案spider+结果文档(Scrapy)
  3. 一个网易云音乐的歌单下载程序(BeautifulSoup+request)
  4. 一个B站视频爬取spider(Scrapy+you-get)
  5. 一个知乎问答多线程爬虫(requests+json+re+threading)
  6. 一个xvideos视频爬虫(requests+scrapy+json+parsel+cookiejar+threading)
  7. 一个有声小说音频爬虫(requests+os+parsel+threading+mongodb+re)
  8. 一个微博个人信息爬虫(requests+os+parsel+threading+re+random+time+json+pandas)
  9. 一个安居客武汉租房信息爬虫+数据清洗+分析+数据可视化(requests+pandas+parsel+matplotlib)
  10. 一个B站视频封面提取器(requests+json+re+parsel+os)
  11. ……

在这里谢过所有我看过的教学视频,网站。

不定时更新ing.........

About

python爬虫,目前库存:网易云音乐歌曲爬取,B站视频爬取,知乎问答爬取,壁纸爬取,xvideos视频爬取,有声书爬取,微博爬虫,安居客信息爬取+数据可视化,哔哩哔哩视频封面提取器

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 100.0%