Name		Name	Last commit message	Last commit date
Latest commit History 5 Commits
LICENSE		LICENSE
README.md		README.md
get_image.py		get_image.py
get_image_gevent.py		get_image_gevent.py

Repository files navigation

girl-atlas-crawler

图片爬虫，爬 http://www.girl-atlas.com 整个网站的图片

测试环境

gentoo 内核版本：3.14.14
python 2.7.7

依赖库

requests 发送http请求，下载图片
lxml 解析html文件
grequests 基于gevent的异步http请求库，加快爬取速度

源文件

get_image.py 每次发送一个请求
get_image_gevent.py 每次发送五个请求

注：可以在get_images函数中修改图片存放目录

About

图片爬虫，爬 http://www.girl-atlas.com 整个网站的图片

BSD-2-Clause license

Report repository

Releases

No releases published

Packages

No packages published

Languages

Python 100.0%