Boss_zhipin_spider

🔎 Boss 直聘 Python 招聘岗位信息爬取和分析🔎

爬取了BOSS直聘上 Python 关键字全国范围内的招聘岗位

部分城市无数据不列入统计，故地区范围为中国101个城市，总共3112条数据，结构如下：

字段浅显易懂，其中需要说明的是pid为每个待招岗位的唯一id，在访问页面详情时会用到

注意爬取不要太快，否则403警告😏

项目结构

boss招聘.ipynb -> 生成分析图表

mongo_connect.py -> 数据清洗，存入mongodb

pipelines.py -> 数据过滤的管道

spider -> 爬虫

wordcloud -> 生成词云

settings.py -> scrapy配置文件

middlewares.py -> scrapy中间组件

运行方式

pip install -r requirements.txt
scrapy crawl zhipin -o jobs_python.json

使用 Jupyter Notebook 配合 echarts进行绘图（绘图部分由我可爱的girl编写，真的很棒），部分示例图如下所示🔍

如果能帮上你的话，献上一个小小的 Star 👍吧

后续慢慢补充

• 智能识别302跳转的验证码，并进行输入
• 多线程爬虫