Skip to content

mrtanweijie/Park

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

23 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

MOFISH项目资讯爬虫

项目地址http://www.mofish.online

相关技术requestpuppeteercheeriomochacron

如何开发

0、在SeedsList配置需要抓取的站点

1、Downloader默认使用request方式抓去指定网页,puppeteer用于下载前端渲染的页面

2、拓展TextExtract提取网页内容即可

安装依赖

npm i

运行

开发

cp mongo.example.js mongo.js

npm run dev

测试用例

npm run test

生产环境

npm run spider

TODO

移除mongodb,使用已经开发好的API持久化数据

About

🕷️ node spider of mofish

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published