Skip to content

使用Scrapy爬取主流网站的项目集合,持续更新。

Notifications You must be signed in to change notification settings

MarkShawn2020/scrapy-spiders

Repository files navigation

Scrapy Anything

这是一个用Scrapy大规模爬取各大主流网站的项目集合。

  • 微博(.com主站)
  • 豆瓣 (2020/03/21)
  • 淘宝
  • 天猫
  • 美团
  • 微信公众号历史文章
  • 微信小程序
  • 抖音
  • 亚马逊
  • 雪球
  • 知乎
  • CSDN
  • 知乎
  • Github
  • Others...

TODO

  • 爬虫自动化测试框架
    • 单点测试
    • 速率测试
    • 并法测试
    • 领域测试
    • 界面开发

About Me

数据采集、数据分析、数据可视化爱好者。

图片如无法显示,可参考这篇:- 【最新】解决github图片不显示的问题_Antrn的博客-CSDN博客

About

使用Scrapy爬取主流网站的项目集合,持续更新。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Languages