Skip to content

HTTPS clone URL

Subversion checkout URL

You can clone with
or
.
Download ZIP
A gevent spider ,support webkit for dom parsing.
branch: master

This branch is 6 commits behind pnigos:master

Fetching latest commit…

Cannot retrieve the latest commit at this time

Failed to load latest commit information.
screenshot
vulcan
.gitignore
README.md
__init__.py

README.md

Vulcan Spider

A spider use gevent and multi-thread module,support webkit for dom parsing.

基于gevent和多线程模型,支持WebKit引擎的动态爬虫框架。

特性

  1. 支持gevent和多线程两种并行模型
  2. 支持Webkit引擎 (dom parse,ajax fetch,etc...)
  3. 多个自定义选项设置
  • 最大爬取深度限制
  • 最大抓取URL数限制
  • 同源(域)限制
  • 自定义头部 (UA,Cookies,etc...)

依赖

  • python 2.7+ (must)
  • gevent 1.0 (must)
  • lxml 2.3 (must,for static parsing)
  • chardet 2.2.1 (must)
  • requests 1.2.3 (must)
  • splinter 0.6.0 (optional,webkit framework for dynamic parsing)
  • phantomjs 1.9 (optional,webkit engine)

说明

1, 框架由两部分组成:

  • fetcher:下载器,负责获取HTML,送入crawler。
  • crawler:爬取器,负责解析并爬取HTML中的URL,送入fetcher。

fetcher和crawler两部分独立工作,互不干扰,通过queue进行链接。fetcher需要发送HTTP请求,涉及到阻塞操作,使用gevent池控制。crawler没有涉及阻塞操作,但为了扩展可以自选gevent池和多线程池两种模型控制。

2, 爬虫相关选项说明:

  • concurrent_num : 并行crawler和fetcher数量
  • crawl_tags : 爬行时收集URL所属标签列表
  • depth : 爬行深度限制
  • max_url_num : 最大收集URL数量
  • internal_timeout : 内部调用超时时间
  • spider_timeout : 爬虫超时时间
  • crawler_mode : 爬取器模型(0:多线程模型,1:gevent模型)
  • same_origin : 是否限制相同域下
  • dynamic_parse : 是否使用WebKit动态解析

示例

spider = Spider(concurrent_num=20,depth=3,max_url_num=300,crawler_mode=1)
spider.feed_url("http://www.baidu.com/")
spider.start()

image

更新日志

20140217:

  • 修正fetcher中一处bug。
  • 增加插件机制,可以自定义类和类方法来自定义插件处理爬虫请求及HTML。
  • gevent模式下增加socket超时机制。
  • 增加URL后缀黑名单。

TODO

  • URL拆分成独立部分存储(pagename,params,fragments,post data)
  • 相似URL合并
  • 保证了框架运行的稳定性,抛砖引玉。

LICENSE

Copyright © 2014 by pnig0s

Under MIT license : rem.mit-license.org

Something went wrong with that request. Please try again.