拉勾网爬虫(非Scrapy版)

---

环境和安装方式

• 开发环境: Win10 x64

• Python版本: Python3.4.4

• Python依赖:

  • lxml
  • requests
  • pymongo

• 安装方式:

pip install -r requirements.txt

---

进度

* 2018-01-29 * 加入日志中心,规整了日志输出. * 加入MongoDB的配置文件和连接方法 * 数据支持写入到MongoDB中(因时间问题不对MySQL进行支持)

• 2018-01-26:
  • 实现搜索任意职位获取数据,且字段众多(字段列表见下)
  • 代码风格遵循Type hint风格
  • 一些细节待完善(目前还没写写入数据库的方法, 将在这一两天内完善)

---

未来进度

• 数据库(MongoDB写入)
• 进度监控(通过MongoDB进行监控)
• 完善上述两点后迁移到Scrapy上.

---

补充

• 项目中的lagou_login代码来自 拉勾网的模拟登录