python_search-engine

流程

1.数据爬取

2.数据存储

3.排序

4.搜索功能

5.搭建web

学习内容

• 环境配置和基础知识铺垫

• 爬虫基础（正则表达式 url去重）

• 爬取真实数据

• scrap突破反爬

• scrapy进阶

• scrapy redis分布式爬虫

• cookie池系统设计和实现

• 种验证码的识别

• 增量抓取

• elasticsearch实现搜索引擎

• django搭建搜索网站

• scrapyd部署scrapy爬虫