Neural Codes for Image Retrieval

[chullhwan-song]

https://arxiv.org/abs/1404.1777

[chullhwan-song]

what?

• neural code
• neural code만의 새로운 landmark 데이터셋 공개
  • we chose a (semi)-automated approach for that.
  • by selecting 10,000 most viewed landmark Wikipedia pages (over the last month).
  • we used the title of the page as a query to Yandex image search engine.
  • then downloaded 1000 top images returned in response to the query (or less, if the query returned less images).
  • 한마디로, text기반의 검색으로 이미지를 수집
  • 따라서, 노이즈가 좀 많음. > triplet r-mac(DIR)에서는 이런 데이터 특성으로 인해 noisy를 제거하여 학습셋으로 사용. 덧붙혀, google delf 도 이를 이용
  • 최종적으로, 672 classes and 213,678 images.
    • http://sites.skoltech.ru/compvision/projects/neuralcodes
      
• imagenet 기반의 학습 모델을 이용. 그리고 위의 landmark set을 학습셋으로한 fine-tuning한 deep feature를 적용된 초기 논문
  
  • alexnet > "ImageNet Classification with Deep Convolutional Neural Networks"
  • deep feature : fully-connected layers 를 이용한다고 보이지만, 위의 그림에서는 conv feature map도 적용한 모습이 보임
• 최종적으로 PCA를 적용한 feature

실험

• full descriptor
  
• compression
  
• imagenet model vs fine-tuning ?