Skip to content

crawlergo 0.3.0 support request proxy

Compare
Choose a tag to compare
@Qianlitp Qianlitp released this 11 May 14:26
· 68 commits to master since this release

Fix:

  • 修复部分情况下 --robots-path 功能导致的程序超时挂起。#43

Features:

  • 新增 --request-proxy 参数,支持socks5代理,爬虫所有网络请求均经过代理。#51, #21, #1
  • 新增 --output-json 参数,将爬虫结果JSON序列化之后输出到文件。
  • 新增 arm 架构的程序版本。#53

Thanks:

使用时请注意遵守相关法律规定!本工具仅供学习和已授权情况下的网站爬取。