Skip to content

visualization:filter、feature map、attention map、image-mask、grad-cam、human keypoint、guided-backpro

Notifications You must be signed in to change notification settings

Berry-Wu/Visualization

Repository files navigation

Amazing Visualization

本项目实现一些有意思且有用的可视化,部分代码有所参考,且均在代码中标注出

0、更新日志

  • 10.18日新增人体关键点热图可视化
  • 10.23日新增guided-backpropagation可视化

1、卷积核可视化:

参考链接:https://debuggercafe.com/visualizing-filters-and-feature-maps-in-convolutional-neural-networks-using-pytorch/

使用resnet50预训练模型

使用方法:

  1. 导入预训练模型
  2. 输入一张图片经过网络
  3. 调用visual.py中的卷积核可视化及特征图可视化

效果示例:

  • filter3(这里指第三个卷积结构的卷积核)

  • filter48

2、特征图可视化:

  • layer0

  • layer4

3、注意力可视化(8.27新增)

见visual.py 中 vis_grid_attention函数

效果展示:

  • 原图:

  • 注意力可视化后:

  • 注:这里的attention_map并非来自真实得到,是定义的一个二维数组
  attention_map = np.zeros((20, 20))
  attention_map[9][9] = 1
  attention_map[10][12] = 1

4、注意力矩阵热图:

见visual.py下vis_attention_matrix函数

这里使用的是随机产生正态分布的二维矩阵

5、img_patch以及patch_mask实现及可视化(8.31新增)

新增img_patch.py,且得到的结果支持输入encoder

参考MAE官方实现,论文也很好看arXiv:2111.06377

将图像划分为patch块:

随机mask,mask_ratio=0.75:

6、Grad-CAM热力图(9.4新增)

新增grad-cam文件夹

Grad-CAM的论文简单易懂,且实验效果挺有意思的,建议一看arXiv:1610.02391

参考:https://blog.csdn.net/qq_37541097/article/details/123089851

https://github.com/jacobgil/pytorch-grad-cam

实验结果: 使用预训练模型resnet50

7、人体姿态估计heatmap可视化(10,18新增)

见gen_heatmap.py 使用mpii数据集,参考张院士代码 代码中的pt是从模型输出中保存的,使用torch.save(xx_tensor, 'xx.pt')

效果图:

8、Guided_Backpropagation

见grad-cam文件夹下guided_backpro.py

效果图

Releases

No releases published

Packages

No packages published

Languages