[7] Self Supervision for Attention Networks

[techzzt]

Self Supervision for Attention Networks

Patro, Badri N., et al. "Self supervision for attention networks." Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2021.

기존의 attention mechanism의 한계를 언급하고 self-supervision을 도입해 attention mechanism의 성능적인 향상을 증명함

Figure 2. Generation of Surrogate Attention Maps for visualattention based network.

• Attention module을 이용해 attention map을 추출했으며 해당 방법론은 어떤 모델을 사용하더라도 적용 가능함
• 방법론의 입력 데이터는 image, question (text modality) 형태이며 각 형태에 맞는 모델 (CNN, LSTM)의 output으로 attention을 계산함
• 모델은 입력 데이터의 각기 다른 영역에서 확률 값(attention probability)을 추출해 사용하며 해당 확률 값으로 계산된 attention distribution은 supervision을 위해 사용됨
• Supervision을 기반으로 모델은 salient한 영역에 더욱 집중할 수 있으며 해당 부분을 통해 accuracy 향상이 가능해짐

• 제안된 attention map과 masking을 제외한 attention (original)을 출력한 결과, surrogate attention이 특징 적인 영역을 좀 더 세밀하게 attention을 부여하고 있음을 확인 가능함