python-webspider

A simple Python-based webspider

此爬虫的特点：

1. 支持设置 User-Agent
2. 下载前支持 手动修改链接
3. 下载时自动建立 以时间命名的文件夹。下载的文件自动命名为 1.xx 2.xx 3.xx 等等
4. 下载时有 异常处理机制，可以跳过循环。同时输出错误链接到 txt 方便后续处理
5. 退出时可选 删除临时文件

视频教程链接：

【教程】快速上手！自制Python爬虫教程与实战——bilibili专栏篇