Large-scale Landmark Retrieval/Recognition under a Noisy and Diverse Dataset

[chullhwan-song]

https://arxiv.org/abs/1906.04087

[chullhwan-song]

Abstract

• 2019 Google Landmark Retrieval Challenge 에서 1위한 paper, 이를 정리한 paper임..
• 2019 Google Landmark Retrieval Challenge 리뷰 #137 에 했기때문에 리마인드 차원의 리뷰

Dataset

• Google-Landmarks-v2 - 2019
  • 5M images of more than 200k different landmarks
  • 3개의 형태로 : train, test, index
    • retrieval task에서 test를 쿼리로 하여 index set으로부터 instance(landmark)를 찾는것. mission!!
  • The v1 dataset was released after an automated data cleaning step, while the v2 dataset
    is the raw data.
    • 실제적으로 대부분 v1/v2모두 noise한 데이터..
• Automated Data Cleaning
  
  • train set을 위해...(보통은)
  • KNN 후보를 내고 최종적으로 delf+RANSAC(spatial verification)를 걷쳐 cleaning
  • 개인적으로 cleaning했는데도 불구하고 많이 나옴..v2에서 많이 나오는듯으로 예상.
    • 2018년 1위 팀에서 v1의 경우 650개 카테고리 25,000 개 cleaning 데이터를 획득..라고 언급..*

Modeling

• backbone : FishNet-150, ResNet-101 & SE-ResNeXt-101
• loss
  • cosine-softmax based losses
  • ArcFace & CosFace [21] > margin of 0.3.
• generalized mean-pooling (GeM)
  • p=3, 1이면 global mean pooling과 동일.
  • pytorch 소스가 공개되어서 그런지..이번 대회에서 많은 곳이 사용.. 성능이 뛰어나다고 밝힘.

학습

• Tesla-V100 GPUs
• 2개의 aug 전략
  • 5 epoch : “soft” data augmentation > random cropping & scaling.
  • 7 epoch : “hard” data augmentation. > random brightness shift, random sheer translation, random cropping, scaling.
• min-batch 구성할 때의 이미지 사이즈
  • 기존에는 GPU Batch 효율성으로 같은 사이즈로 resize해서 구성 이점은 좀 문제라고 봄 > 왜곡?
  • 그래서, 비슷한 aspect ratio를 끼리 구성해서 batch 구성
  • [352, 384, 448, 512] depending on their aspect ratio. > final epoch에선 [544, 608, 704, 800]
• concatenated descriptor becomes a dimension of 3072
• inference : multi-scale > scale factors of [0.75, 1.0, 1.25]

Retrieval Track

• Discriminative Re-ranking
  • outdoor & indoor image 분류
  • recognition track에서 사용한 방법에 대해 test/index에 실행.> filtering
    • train set에서의 label id를 이용하여 학습.
  • re-ranking
    
    • nn 결과에서, positive sample을 left로
    • 그후, nn 안에 없는 postie sampling adding
    • 이럴 바엔 test과 동일한 클래스를 다 올린다고 표현하는게 맞는듯.ㅎ > 아무튼 1등이니..
• 평가
  
  

[chullhwan-song]

Abstract

• 2019 Google Landmark Retrieval Challenge 에서 1위한 paper, 이를 정리한 paper임..
• https://github.com/chullhwan-song/Reading-Paper/issues/137에 했기때문에 리마인드 차원의 리뷰

Dataset

• Google-Landmarks-v2 - 2019
  • 5M images of more than 200k different landmarks
  • 3개의 형태로 : train, test, index
    • retrieval task에서 test를 쿼리로 하여 index set으로부터 instance(landmark)를 찾는것. mission!!
  • The v1 dataset was released after an automated data cleaning step, while the v2 dataset
    is the raw data.
    • 실제적으로 대부분 v1/v2모두 noise한 데이터..
• Automated Data Cleaning
  
  • train set을 위해...(보통은)
  • KNN 후보를 내고 최종적으로 delf+RANSAC(spatial verification)를 걷쳐 cleaning
  • 개인적으로 cleaning했는데도 불구하고 많이 나옴..v2에서 많이 나온는듯으로 예상.