Regional Maximum Activations of Convolutions with Attention for Cross-domain Beauty and Personal Care Product Retrieval

[chullhwan-song]

https://dl.acm.org/citation.cfm?id=3266436
https://github.com/RetrainIt/Perfect-Half-Million-Beauty-Product-Image-Recognition-Challenge

[chullhwan-song]

Methodologies

Preliminary

RA-MAC

• 기본 base는 R-MAC 기반이다.

• region-level features : m개의 region이 존재하면,

• 여기서 R-MAC의 문제점은 background나 object나 같은 weight를 가진다라는 것 > 사실 crow 같은걸 제외하고는 모두 이전 그렇지 않나?

• 그래서 이 논문은 이러한 문제점 해결을 위해 attention mechanism 개념을 넣음

  • 이 논문에서 " Selective convolutional descriptor aggregation for fine-grained image retrieval"

• 그렇다고, 이 논문에서는 이런 attention 개념을 learning하여 구하는것이 아니라, pooling이전의 입력값 즉, 기존 feature map을 그대로 이용

• feature map에서 "aggregation map" 를 먼저 구함. :

  • wxhxc >wxhx1로 만드는것임.

• 이를 이용하여 mask map M 를 생성
  

  • pos(i,j)별 channel의 평균, 이를 이용하여 비교해볼때, A(i,j)가 평균보다 높으면, 1, 그렇지 않으면, 0 > 해서 MASK 개념으로 representation >좀 hard하게~!!

• 그래서, R-MAC이, 다음과 같이 표현했다면,
  

• 이 Mask를 이용하여, RA-MAC
  

  • size(r)은 region r의 크기
  • 기존 Region별 feature(square)에 Mask를 곱해준것임.

• 소스에서 볼때, 수식4) 처럼 전체 feature map개념이 아니라, Region 별 feature map 개념이어서, Region별로 그때 마다 구하는것같다.

• 소스

# x > feature map
tt = (x.sum(1) - x.sum(1).mean() > 0) # mask

평가방법

• mAP의 변형(특이해서..)