Spider by Hcamael

爬取网页信息

参数说明

-h/--h 帮助
-v 显示版本号(并没啥用)

必选参数(两者必选其一)

-u url 爬取网页的根url
--testself 使用默认值测试

可选参数

-d 指定爬虫深度
--dbfile 指定数据库文件(使用sqlite数据库)
--key 爬取关键词网页
-f 指定日志文件
-l 指定日志等级(1-5)
-thread 指定线程池数