Skip to content

wadeio/CrawlerNotePad

Repository files navigation

爬虫开发学习笔记

持续更新的爬虫技术实践笔记,聚焦Python生态下的数据采集与处理技术。当前已涵盖核心模块:

  • 🌐 请求库实战:requests/urllib/httpx
  • 🧩 解析方案:XPath/BS4/parsel
  • 🗄️ 存储方案:MongoDB/Redis/Elasticsearch
  • ⚡ 异步生态:asyncio/aiohttp

持续更新计划

  1. 🔜 JavaScript动态渲染页面爬取:Selenium, Splash等四个库的使用
  2. 🔜 验证码识别:使用OCR, OpenCV等方式实现验证码识别

项目采用模块化结构组织代码示例,每个技术点配备可直接运行的.py文件。通过dev分支跟踪最新开发进展,欢迎提交Issue反馈需求。

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

1 watching

Forks

Packages

 
 
 

Contributors