spiderPractice

索引

爬虫入门

1. basic_get.py: 基本get请求
2. basic_post.py: 基本post请求
3. basic_put.py: 基本put/delete请求
4. basic_post_headers.py: 带headers的post请求
5. basic_proxy.py: 设置代理
6. basic_debug_log.py: 开启Debug，可看HTTP header信息
7. basic_error.py: 处理异常
8. basic_cookie.py: 使用cookie
9. basic_end.py: 利用以上知识爬取网站

爬虫实战

1. qiushibaike.py: 爬取糗事百科
2. baidutieba.py: 爬取百度贴吧
3. douban_book.py: 爬取豆瓣读书
4. tripadvisor_spider.py: 爬取旅游网站tripadvisor

数据挖掘相关库入门

1. basic_numpy.py: Numpy基本操作

教程

如何学习Python爬虫[入门篇]？

工具

提供给开发者 10 款最好的 Python IDE