一个简单的web爬虫框架,借鉴scrapy结构开发而来,并为scrapy使用者提供通用轮子^.^
Branch: master
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
crwy
.gitignore
.travis.yml
LICENSE
MANIFEST.in
README.md
requirements.txt
setup.py

README.md

Crwy

PyPI Version Build Status

简介

Crwy是一个轻量级的爬虫抓取框架,参考Scrapy框架结构开发而来。该框架提供了实用的爬虫模板,旨在帮助大家快速实现爬虫任务,高效开发。并为scrapy使用者提供通用轮子^.^。新增了gevent,使爬虫异步执行,速度更快。

运行环境

  • Python2 & Python3
  • Works on Linux, Mac OSX

依赖包

  • beautifulsoup4>=4.5.1
  • requests>=2.20.0
  • configparser>=3.5.0
  • SQLAlchemy>=1.0.14
  • pyssdb>=0.1.2
  • redis>=2.10.5,<3.0.0
  • gevent>=1.2.1
  • retrying>=1.3.3
  • imapclient>=2.0.0

安装

快速安装

pip install crwy

or 前往下载: https://pypi.python.org/pypi/Crwy/1.5.1/

使用手册

在这里: http://wuyue92tree.antio.top/opensource/crwy.html

友情链接

更新日志

http://wuyue92tree.antio.top/opensource/crwy.html#更新日志

TODO

  • 完善scrapy_plugs
  • 完善selenium_api
  • 兼容python3