Skip to content

Latest commit

 

History

History
13 lines (11 loc) · 267 Bytes

README.md

File metadata and controls

13 lines (11 loc) · 267 Bytes

node_spider

node定义爬取

需要实现的功能

  • User-Agent模拟,降低网站被拒绝的机率(done)
  • UTF-8编码处理(iconv-lite解码)(done)
  • 超时控制(done)
  • 异步并发控制(done)
  • IP代理(done)
  • 模拟cookie
  • 存储
  • 分析