Faster R-CNN Features for Instance Search

[chullhwan-song]

intro: DeepVision Workshop in CVPR 2016
homepage: http://imatge-upc.github.io/retrieval-2016-deepvision/
arxiv: http://arxiv.org/abs/1604.08893
github: https://github.com/imatge-upc/retrieval-2016-deepvision

[chullhwan-song]

전체 구조

• Faster R-CNN 기반 feature extraction
  • 참고로 ROI 기반 feature 추출은 faster rcnn이 가장 좋다고 알려져 있음 - 이전 techtalk 발표자들도 이런 언급한적이 있음.
  • Faster R-CNN implements a region pooling layer that extracts the convolutional activations for
    each of the object proposals learned by the RPN.
  • 위의 그림과 같이, 이를 이용하여 2 type descriptor 추출
• Image-wise pooling of activations (IPA)
  • for global descriptor
  • MAC과 거의 유사
  • sum pooling이냐 max pooling이냐? 이에 대해 비교 실험.
  • one can choose to ignore all layers in the network that operate with object proposals and extract features from the last convolutional layer. > RPN 이전 conv feature map를 이용한다는 의미.
• Region-wise pooling of activations (RPA)
  • descriptor by aggregating the activations of that window in the RoI pooling layer
    • R-MAC과 거의 유사 즉, 모든 ROI 영역에 대한 feature들을 이용
  • 각각의 region에 대한 feature들을 > sum, max > 이는 실험결과에 의해
    
  • global descriptor IPA는 sum이 낫고, region 단위에서는 max(R-MAC)이 낫는듯~

기타 실험

• 참고) attention 기반의 논문은 아님
• 다만, fine-tuning 기반의 학습 모델에서, 즉, 그 학습셋에 맞게 attention되는 현상을 보여주고 있음.
• 위의 방법은 어떻게 heatmap을 표현했는지에 대한 방법은 나오지 않음.