Skip to content

基于Fofa的简易爬虫,主要用于POC验证的资产收集,助力师傅们挖SRC。木头师傅主要用的xpath模块处理爬取的数据,其实bs4更简单一些;还有就是他把cookie作为参数传入,每次都要粘贴这么长的cookie实在很难受。批量爬取的话,觉得没啥必要。

Notifications You must be signed in to change notification settings

ltfafei/FofaSpider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

9 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

免责声明

使用本工具请遵守《网络安全法》

使用说明

FofaSpider_v1.0使用说明:

FofaSpider_v1.0的时候,fofa全局采用Cookie进行鉴权。近段时间fofa升级了(听说封闭开发了一周),突然发现FofaSpider不能用了,抓包发现资产查询时不在使用Cookie鉴权,而使用了JWT进行鉴权,所以FofaSpider也该升级了。
  FofaSpider基于python3编写,使用请安装python3环境。
  
1、首先将你的Fofa cookie粘贴复制到Cookie.py中(Cookie = "your fofa cookie")
2、-q 参数指定查询Fofa语法;
3、-p 参数指定爬取页数(非Fofa会员只能爬取前五页,不指定默认爬取第一页);
4、爬取结果默认追加保存至res_urls.txt。

依赖安装

pip install -r requirements.txt

使用演示

python FofaSpider.py -q title='管理后台'

image

python FofaSpider.py -q "domain='baidu.com'||title='百度'" -p 5

image

python FofaSpider.py -q "app=\"泛微-协同办公OA\" && before=\"2022-02-01\" && after=\"2022-01-01\"" -p 1000 image

About

基于Fofa的简易爬虫,主要用于POC验证的资产收集,助力师傅们挖SRC。木头师傅主要用的xpath模块处理爬取的数据,其实bs4更简单一些;还有就是他把cookie作为参数传入,每次都要粘贴这么长的cookie实在很难受。批量爬取的话,觉得没啥必要。

Resources

Stars

Watchers

Forks

Packages

No packages published

Languages