项目规划

课题：岗位薪资分析与薪资预测

第一次会议 2019/7/19

讨论问题

• 项目初步需求

• 项目分工

初步需求

1. 岗位薪资分析

   • 岗位查询，薪资排行(列表形式)

   • 某个岗位的全国分布情况(地图显示，选择岗位)

   • 对应岗位在某个地区的薪资水平，以及当地的物价生活水平等(图表显示，选择岗位和地区)

   • 根据岗位、薪资推荐地区和公司

2. 薪资预测：

   • 求职者设定地区、岗位、公司等信息后，预测今年招聘的最终薪资

   • HR 预测该公司今年应该发布的招聘薪资

3. 城市分析：

   • 列出该城市部分信息（消费水平，房价），然后分为两个评价指标，一个是个人薪资/城市平均消费水平，判断个人在该城市的经济实力，类似“哇你超出本地平均消费水平百分之多少——小康之家”；还有一个是个人薪资/该城市所有招聘信息发布的薪资平均值，判断个人在城市招聘中的薪资水平，类似“哇你击败了该城市百分之多少的竞争者”

分工

模块	详细内容	负责人
爬虫	爬取51job招聘网数据，以及各城市物价、房价、消费等信息	zhang + wu
建模和调参、机器学习	根据招聘网的暂时数据，进行预测薪资模型的选择和调参	du + cao
web开发	前后端开发	li + liu

参考博客和项目

51job数据爬取和分析

城市房价+薪资分析项目

城市生活消费水平

数据获取和模型训练项目

第二次会议 2019/7/20

讨论问题

• 前端界面布局设计

• 模型：

  • 考虑展示多个模型的结果

  • 模型保存

  • 用.py文件还是就使用.ipynb文件

• 爬虫：

  • 数据处理

• 需求再分析

新的需求

• 主要定位于互联网行业的岗位

• 多维度的岗位薪资分析：

  • 不同岗位对比

  • 相同岗位不同城市对比

  • 学历对薪资的影响

  • 经验对薪资的影响

  • 不同网站信息的对比

• 预测：

  • 薪资预测

  • 岗位预测

• NLP提取不同岗位要求的关键字

规划分工

1. 爬虫

• 多网站爬取，51job、boss直聘、拉勾网等

• 采用更加高级的爬虫方式，尽可能爬取更多的数据。设置时间间隔、代理ip、随机头部userAgent参数，还可以考虑scrapy爬虫框架

• 规定爬取数据的字段：

  {
      '职位名称': job_title,
      '职位名称关键字': keyword,
      '职位薪资': job_salary,
      '公司名称': job_company,
      '地区': district,
      '工作经验': job_experience,
      '学历要求': job_degree,
      '职位描述要求': detail,
  }

• 只爬取互联网相关的职位信息。方法采用关键字匹配：先规定一些与互联网相关的关键字，比如数据分析、人工智能、java等，只爬取与关键字匹配的岗位。详情可以参考老师提供项目中的spider模板。

分工：wu, zhang, li

2. 数据处理

• 薪资字段，千/月

• 工作经验：0,1,2,3

• 地区：城市名

• 职位描述要求：提取关键字

分工：cao

3. 机器学习

• 薪资预测模型：特征包括职位关键字、工作经验、学历。。。

• 岗位推荐、学历推荐等

分工：du

4. 前后端

待定

5. NLP

待定