Skip to content

Latest commit

 

History

History
24 lines (17 loc) · 652 Bytes

README.md

File metadata and controls

24 lines (17 loc) · 652 Bytes

creeper

creeper

简单爬虫引擎 - 苦力怕

取名自《我的世界》中的爬行者,最早的翻译为谐音 “苦力怕”。

合适自己用的爬虫引擎,简单,易用。

ps: api (抄)(袭)自 神箭手 平台。

功能待完善中

  • 自动发现列表页 有点鸡肋
  • 自动发现内容页面
  • 资源url地址修复
  • 支持 cheerio (node jquery)
  • 支持字段处理
  • 支持并发抓取,可调整并发数
  • 添加数据清洗工具方法
  • 还没想好