持续更新的爬虫技术实践笔记,聚焦Python生态下的数据采集与处理技术。当前已涵盖核心模块:
- 🌐 请求库实战:requests/urllib/httpx
- 🧩 解析方案:XPath/BS4/parsel
- 🗄️ 存储方案:MongoDB/Redis/Elasticsearch
- ⚡ 异步生态:asyncio/aiohttp
持续更新计划:
- 🔜 JavaScript动态渲染页面爬取:Selenium, Splash等四个库的使用
- 🔜 验证码识别:使用OCR, OpenCV等方式实现验证码识别
项目采用模块化结构组织代码示例,每个技术点配备可直接运行的.py文件。通过dev分支跟踪最新开发进展,欢迎提交Issue反馈需求。