相关技术:request
、puppeteer
、cheerio
、mocha
、cron
如何开发
0、在SeedsList
配置需要抓取的站点
1、Downloader
默认使用request
方式抓去指定网页,puppeteer
用于下载前端渲染的页面
2、拓展TextExtract
提取网页内容即可
npm i
开发
cp mongo.example.js mongo.js
npm run dev
测试用例
npm run test
生产环境
npm run spider
移除mongodb,使用已经开发好的API持久化数据