2018.3最新使用Scrapy爬取数据 + elasticSearch 存储并提供api + Django打造搜索引擎。
线上演示地址: http://search.mtianyan.cn
本仓库为数据采集爬虫代码的mysql版本:实现了将知乎伯乐在线拉勾网存入mysql
- 搜索引擎Django网站代码请前往: https://github.com/mtianyan/mtianyanSearch
- 全量版本存放入elasticSearch的版本代码: 请前往本仓库的分支ArticleSpider-elasticsearch进行获取
原版视频已经出了有一段时间，知乎更换了登录的接口。拉勾也不再像以前那么友好不需要登录。讲师在视频里只处理了文章的搜索。下面教程仅作为学习笔记：希望能让后来者少趟一些坑。
简书持续更新文集地址: https://www.jianshu.com/nb/11202633
有趣的Python群：619417153
欢迎关注简书，star项目！谢谢！
你的关注支持是我继续分享前进的动力。
很高兴我写的文章（或我的项目代码）对你有帮助，请我吃包辣条吧！
微信打赏:
支付宝打赏:
