通用轻小说网站爬虫工具
目前已适配真白萌新站、esj zone、轻国、轻国旧论坛、真白萌旧论坛
使用前请务必仔细阅读config.py下的所有配置项注释
使用该工具所造成的一切后果(例如封ip),本人概不负责
本项目基于pycharm开发,也建议在此之下运行
使用方法:根据自身需求修改config.py配置,运行main.py
本人的工作是写java的,python从未系统的学习过,如果看到了血压代码,这很正常==
此项目仍在开发中,如有bug请提交issue
目前已知的问题:
当设置代理,开始抓取时有概率连接失败报错,过一会就正常了,原因不明也许是梯子不行,暂时先利用重试机制规避此问题
真白萌旧站的反爬机制尚未完全摸索清楚(相关代码见dsign.py),有概率爬完报错,目前只能多运行几次规避此问题