Spider by Hcamael

爬取网页信息

---

参数说明

• -h/--h 帮助
• -v 显示版本号(并没啥用)

必选参数(两者必选其一)

• -u url 爬取网页的根url
• --testself 使用默认值测试

可选参数

• -d 指定爬虫深度
• --dbfile 指定数据库文件(使用sqlite数据库)
• --key 爬取关键词网页
• -f 指定日志文件
• -l 指定日志等级(1-5)
• -thread 指定线程池数