快速、简洁且强大的PHP爬虫框架
Switch branches/tags
Nothing to show
Clone or download
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
src 回调函数的错误日志记录行数和文件 Sep 12, 2018
.gitignore 完成xcrawler 1.0.0版本 Jun 2, 2018
README.md 修改README简介 Jun 3, 2018
composer.json 修改dom-crawler版本和php最低版本 Jun 24, 2018
composer.lock 完成xcrawler 1.0.0版本 Jun 2, 2018

README.md

XCrawler - 轻量级、易维护的PHP爬虫框架

特性

  • 极易上手,具备完善的文档和示例
  • 支持多并发爬取
  • 支持失败重试、代理、断点续爬
  • 完善的爬取进度日志
  • 支持基于xpath、css选择器解析内容
  • 支持模拟浏览器行为,如user-agent、cookie、提交表单
  • 健壮的底层库,HTTP客户端基于guzzle,dom解析基于symfony/dom-crawler库

安装

composer require xcrawler/xcrawler

文档地址

查看文档: https://xcrawler.yanshuju.com/docs/

交流

XCrawler交流群: 790478771

开源协议 (License)

XCrawler是基于MIT开源协议发布的。