1、爬虫调度端（调度器）
2、核心模块：URL管理器、（网页）下载器、（网页）解析器
- URL管理器
- 下载器 urllib2 request
- 解析器 正则表达式 html.parser(python自带) BeautilfulSoup lxml
正则表达式: 模糊匹配
html.parser(python自带) BeautilfulSoup lxml: 结构化解析(DOM树的方式)
以抓取百度百科为例
-
Notifications
You must be signed in to change notification settings - Fork 1
chucheng92/TinyCrawler
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
一个简单的Python爬虫
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published