Introduction

Learning web crawler through nodejs

List

• 1、使用 Promise 做异步流程控制的爬虫
• 2、使用 async await 做异步流程控制的爬虫，并限制时间请求之间时间
• 3、使用动态 IP 代理，实现一个动态 IP 爬取脚本
• 4、直接爬取接口，并保存 json。
• 5、使用 puppeteer 爬去 segmentfault 的文章，自动登陆掘金随机推荐一篇文章。（puppeteer 初步使用）