Nintendo Switch游戏封面自动爬虫

spider for arXiv, physical review, Nature and its subjournals

A telegram bot for searching.

Useful tools for Jav[CMD&LIB].

Short video crawler based on scrapy

🍻 bilibili video (including bangumi) and danmaku downloader | B站视频（含番剧）、弹幕下载器

A toolkit for blockchain data collection

Harvesting infrastructure to collect and standardize dataset and computational tool metadata

Distributed Crawler Management Framework Based on Scrapy, Scrapyd, Django and Vue.js

A set of spiders and scrapers to extract location information from places that post their location on the internet.

路飞学城爬虫开发+APP逆向超级大神班学习笔记

Licking Dog API | 舔狗API 🍭

📰 Diários oficiais brasileiros acessíveis a todos | 📰 Brazilian government gazettes, accessible to everyone.

👔 Web scraper for http://www.prodirectselect.com/ 👞

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单，功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度

A simple spider to crawl files at moodle

爬虫逆向案例，已完成：TLS指纹｜瑞数｜震坤行 | 网易易盾 | 微信小程序反编译逆向(百达星系) | 同花顺 | rpc解密 | 加速乐 | 极验滑块验证码 | 巨量算数 | Boss直聘 | 企查查 | 中国五矿 | qq音乐 | 产业政策大数据平台 | 企知道 | 雪球网(acw_sc__v2) | 1688 | 七麦数据 | whggzy | 企名科技 | mohurd | 艺恩数据 | 欧科云链

🧊 一个可爱且任性的 B 站视频下载器（bilili V2）

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

Base on pycurl, session like requests, spider like scrapy