awesome-spider

收集各种爬虫 （默认爬虫语言为 python）, 欢迎大家 提 pr 或 issue, 收集脚本见此项目 github-search

warning: 爬虫有时效性，如没法直接运行，请适当更改逻辑。

---

Castbee 主题订阅追踪服务，创建和发布来自于不同源(Rss 微博 知乎 Twitter Youtube)的信息聚合。

A

• 暗网爬虫(Go)
• 爱丝APP图片爬虫
• 1688以图搜货

B

• Bilibili 用户
• Bilibili 视频
• Bilibili 小视频
• Bing美图爬虫
• B站760万视频信息爬虫
• 博客园(node.js)
• 百度百科(node.js)
• 北邮人水木清华招聘
• 百度云网盘
• 琉璃神社爬虫
• Boss 直聘
• 贝壳网找房爬虫

C

• cnblog
• caoliu 1024

D

• 豆瓣读书
• 豆瓣爬虫集
• 豆瓣害羞组
• 豆瓣图书广度爬取
• DNS记录和子域名
• DHT网络磁力种子爬虫
• 抖音
• 抖音推荐

E

• E绅士

G

• Girl-atlas
• girl13
• github trending
• Github 仓库及用户分析爬虫
• 国家统计用区划代码和城乡划分代码爬虫

H

• HDOJ爬虫

I

• Instagram
• INC500 世界5000强爬虫

J

• 京东
• 京东搜索+评论
• 京东商品+评论
• 机票
• 煎蛋妹纸
• 煎蛋妹纸selenium版本
• 今日头条，网易，腾讯等新闻
• 计算机书籍控图书
• JK (制服写真) 爬虫

K

• 看知乎
• 课程格子校花榜
• konachan

L

• 链家
• 链家成交在售在租房源
• 拉勾
• 炉石传说
• leetcode
• 领英销售导航器爬虫 LinkedInSalesNavigator

M

• 马蜂窝 用户足迹
• MyCar
• 漫画喵 一键下载漫画~
• MM131性感美女写真图全爬取
• 美女写真套图爬虫 （一）（二）（三）
• 妹子图
• 猫眼网电影评分

N

• 新闻监控
• 你好污啊

O

• ofo共享单车爬虫

P

• Pixiv
• PornHub
• packtpub
• 91porn

Q

• QQ空间
• QQ 群
• 清华大学网络学堂爬虫
• 去哪儿
• 前程无忧Python招聘岗位信息爬取分析
• qqzhpt美女写真爬虫/批量下载

R

• 人人影视
• RSS 爬虫
• rosi 妹子图
• reddit 壁纸
• reddit

S

• soundcloud
• Stackoverflow 100万问答爬虫
• Shadowsocks 账号爬虫
• spider163 网易云音乐爬虫
• 时光网电影数据和海报爬虫

T

• tumblr
• 下载tumblr喜欢内容
• TuShare
• 天猫双12爬虫
• Taobao mm
• Tmall 女性文胸尺码爬虫
• 淘宝直播弹幕爬虫(node)
• 天涯论坛文章
• 天眼查爬虫

V

• Youtube字幕下载
• 视频信息爬虫
• 电影网站

W

• 乌云公开漏洞
• 微信公众号
• “代理”方式抓取微信公众号文章
• 网易新闻
• 网易精彩评论
• 微博图片爬虫
• 微博主题搜索分析
• 网易云音乐
• 新.网易热评
• 唯品会商品

X

• 雪球股票信息(java)
• 新浪微博
• 新浪微博分布式爬虫
• 心灵毒鸡汤
• 闲鱼最新商品爬取

Y

• 英美剧 TV (node.js)

Z

• ZOL 手机壁纸爬虫
• 知乎(python)
• 知乎(php)
• 知网
• 知乎妹子
• 自如实时房源提醒
• 中国大陆高校列表爬虫
• 站酷（zcool.com.cn）图片爬虫

#

• 80s 影视资源爬虫 - JianSo_Movie

其他

• 各种爬虫
• DHT 爬虫
• SimDHT
• p2pspider

欢迎大家关注公众号