A Python script archive containing various automation and scraping projects.
| 项目名称 | 功能简介 | 技术栈 | 易于扩展性 |
|---|---|---|---|
| 百度热搜爬虫 | 实时爬取百度热搜榜，支持分布式爬虫 | Scrapy, scrapy-redis, Redis | 支持分布式爬虫 |
| scrapy 爬取豆瓣音乐列表 | 使用 opencv-python 识别验证码并爬取豆瓣音乐列表和排行榜 |
Scrapy, Selenium, opencv-python, pymongo, pymysql | 易于学习和扩展 |
| 更多项目待加入 | 即将扩展更多爬虫和自动化任务脚本 | Python, Web scraping | 易于学习和扩展 |
- 2024/09/30: 添加了 "scrapy 爬取豆瓣音乐列表" 项目。