nodejs写的爬虫定时任务,用于爬取gitee推荐项目。 关于本项目的详细介绍,可以参阅《用nodejs写一个简单的爬虫爬取gitee上的推荐项目》。
node v14.15.5
- 下载源码:
git clone https://gitee.com/bulls-cows/node-crawler.git
- 进入项目根目录,安装依赖,如果安装过pm2的话执行
npm install
,否则执行npm run installDependencies
, - 本地运行:执行
npm run debug
。 - 服务器上部署。执行
npm run start
启动服务,并且执行npm run getShellUsedToStartProjectAfterReboot
来保证服务会在服务器开机后自动重启。
需要使用mysql数据库的话可以打开src/config/database.config.js
文件修改其中的配置为真实配置,
然后修改src/index.js
文件中被注释掉的数据库相关代码,
其中的sql语句根据实际需要来写。
- Fork 本仓库
- 新建 Feat_xxx 分支
- 提交代码
- 新建 Pull Request