A Node.js job Crawler
Switch branches/tags
Nothing to show
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
.vscode
app
config
test/app/controller
.autod.conf.js
.eslintignore
.eslintrc
.gitignore
.travis.yml
LICENSE
README.md
README.zh-CN.md
app.js
appveyor.yml
package.json
screenshot.png

README.md

SHOYUF-JOB

platform

SHOYUF-JOB

一个基于 Egg (Koa2) 开发的职位爬虫

平台支持

拉勾Lagou Boss直聘

功能完整程度

  • 基础爬取功能
  • 地图展示
  • 定时任务
  • 数据库字段文档
  • 配置文件
  • 其他招聘网站
  • 单元测试
  • 代码部署
  • 优化代码
  • JSDoc
  • APIDoc

界面

screenshot

使用调试

Node.js 版本大于 8.11.x ,建议使用 Yarn

执行 yarn dev

常见问题

  • 如何使用 Boss 直聘 爬虫程序

    1. 启动应用
    2. 抓取 Boss 直聘微信小程序任意接口Session( HTTPS/请求头 )
    3. 进入 /monitor 输入 Session 点击开始

    原因:Boss 直聘官网仅有十页且反爬程序稍微复杂需要用到代理池,故先采用小程序接口优化体验

  • 如何查找其他职位和其他城市信息

    app/schedule/lagou.js 中修改相关字段,如 成都web前端

  • 如何配置数据库

    本项目默认使用 MongoDB 存储,需要在 config 目录下建立 secret_config.js 文件,并输入如下数据,如有其他适配(如数据库验证)还需修改 app/service/mongodb.js 的内容

    module.exports = {
      cookieKeyStr: 'cookieKeyStr', // Cookie 密钥
      database: {
        url: 'mongodb://mongo:27017', // MongoDB 数据库链接地址
        baseName: 'job', // MongoDB Collection 名称
        auth: { // 认证相关
          authSource: 'admin',
          user: 'user',
          password: 'password',
        },
      },
    };
  • 如何找回屏蔽过的职位

    清空浏览器 LocalStorageblackList 字段

  • API 来源 拉勾 | Boss直聘

    • | - Web | WeChat Mini Program

鸣谢

License

MIT