Skip to content
This repository has been archived by the owner on Oct 26, 2022. It is now read-only.

Latest commit

 

History

History
60 lines (37 loc) · 2.15 KB

README.zh.md

File metadata and controls

60 lines (37 loc) · 2.15 KB

DanbooruSpider

一个基于Python异步的高效爬虫,可以作用于多个使用Danbooru作为后端的图片网站

GitHub license GitHub issues GitHub stars GitHub forks Python Version

优势

通用

  • 目前支持以下多个站点
  • 本程序从设计之初就考虑的接入其他下载接口的情况,只需少量代码即可添加新的站点接入

高效

本程序采用Python新兴的异步编程特性,能够将资源利用发挥到极致

  • HTTP请求完全使用httpx作为异步高效地驱动程序运行
  • 在作者本人的Visual Studio Codespace上:
    • 以默认配置运行平均下载速度高达20MiB/s
    • 内存占用小于等于200MiB

可靠

本项目从创立起就采用pylancemypy进行代码类型和代码格式检查,同时采用pydantic作为读写模型来进行动态的类型验证

部署

本项目的部署和使用十分简单

准备工作

  • Python3.8或更高版本

  • 齐全的Python标准库

  • 将本项目代码保存到本地

安装依赖

打开本项目文件夹,命令行执行

pip install -r requirements.txt

即可

运行

python3 main.py

配置

详情请见配置文件中的注释