Cross-dimensional Weighting for Aggregated Deep Convolutional Features

[chullhwan-song]

• https://arxiv.org/abs/1512.04065
• Computer Vision and Machine Learning Group Flickr, Yahoo
• https://github.com/yahoo/crow

[chullhwan-song]

• 포멧은 다른데 같은 논문이 : 링크

[chullhwan-song]

what?

• 기존 CNN convolution feature map을 가지고 attention concept을 넣어 convolution feature map을 강화하여 image feature로써 representation
• 하지만, 이 논문은 초기 논문으로, learn-able deep feature는 아니다.
• 즉, 학습 과정에서 나온것이 아니라, 학습이 끝난 imagenet으로 학습 시킨 alext, vgg,resnet등을 이용한것이다. 일종의 handcraft feature라 볼 수 있다.

crow

• representation
  • vgg - pool_5 feature extraction
  • spatially-local pooling : Sum-pooling or max-pooling
    
    • location wise - 알파
    • channel wise - 베타
  • Cross-dimensional Weighting
    • , k는 channels
    • 위의 그림에서, channel-wise = location wise =
    • weighted feature tensor =
      
    • 최종적으로, weighted feature tensor
      • aggregated by sum-pooling per channel =
        
        * channel 기준으로, 즉 k dimension feature size
        • 이후에, norm > pca > norm
      • 이를 "Cross-dimensional Weighted or CroW features"
• Response Aggregation for Spatial Weighting
  • 즉, 위의 location weight : 구성하는 법
  • the matrix of aggregated responses from all channels per spatial location, which we compute by summing feature maps(C)
    
  • After normalization and power-scaling we get aggregated spatial response map S(수식.4)
    
    • 
    • a = 0.5, b =2 (근데 실 소스에서는 2로 setting??)
• attention 결과 - 주의할점은 channel은 이렇게 표시 할수 없다.. only spatial attention
  
• Sparsity Sensitive Channel Weighting
  Sparsity Sensitive Channel Weighting
  • 위의 그림.1에서 베타를 의미한다.
  • to derive a channel weighting based on the sparsity of feature maps.
    • 채널에 대한 sparsity 속성을 크게 와닿지않음 > 위의 공간적 특성은 와닿는데..?? > 실제 feature로써 역할을 하니 sparsity하면 구별성이 강한 feature는 발현되고 그렇지 않는 것들은 0
  • 당연히 feature map의 channel 차원
  • 각 채널마다 0 보다 큰 기눈으로 sparsity를 계산(캐치)
    
    
  • channel sparsities are highly correlated for images of the same landmark and less correlated
    for images of different landmarks.
    • 여기서 의미하는 sparsity는 각 클래스 또는 각 landmark(여기서 사용하는 데이터셋) 의 주요 특징을 의미하는듯으로 보임.
  • It appears that the sparsity pattern of channels contains discriminative information.
  • 드물게 나타나는 feature는 중요한 요소일수 있음. 그래서 inverse document frequency의 유사한 개념으로 weight를 구함.
    
    • K에 대한 정보가 없다 ㅠ
    • 

실험험