Combination of Multiple Global Descriptors for Image Retrieval

[chullhwan-song]

• https://arxiv.org/abs/1903.10663
• https://github.com/naver/cgd

[chullhwan-song]

• Clova Vision, NAVER Corp 논문
• mulit task = metric + image classification
  • image clasification과 learning deep feature를 동시에 가능하도록 설계
    • 참고로, 우리는 초기에 image clasification task에서 분류와 learning deep feature를 사용하였음. 하지만 초기의 연구들은 fc를 주로 사용했지만, 여기는 다양한 Pooling 기법을 적용하여 metric 학습.
  • 이전에 이런 비슷한 연구는 있었다. Fashion Style in 128 Floats: Joint Ranking and Classification using Weak Data for Feature Extraction #322
  • global descriptor (GD)는 실제 sift류의 local descriptor와 대비하여 사용하는 건데..
    • fc나 여기서 설명하는 feature는 GD가 맞긴하다.
    • 여기서 말하는 GD는 fc, SPoc, MAC등의 지금까지 이 git에서 많이 언급되었던 feature를 의미.
  • classification task > 우리가 그동안 전통적인 방식을 의미. 이때, GD도 fc인듯
  • metric task > 다양한 fc포함 GD 생성 > 이들을 concat하여 metric(여기서는 ranking loss라 표현)
    • concat할때, 단독이나..두 개이상.. S, M, G, SM, MS, SG, GS, MG, GM, SMG, MSG, GSM.
      • S:SPoc, G:GeM, M:Mac
      • SMG, MSG, GSM > 이 구성은 같은것 아닌가?
  • joint하게 두 개의 loss를 어떻게 섞어는지는 안나온듯~(간단히 보면..ㅠ)
    • 개인적으로 두 개의 loss를 + 연산으로만 해보니 궁금점이 있다. = triplet loss 와 cross entropy
      • 각각의 loss value의 scale이 다르다.
      • loss의 경사가 다르다.
        • 내 경우엔 cls만 하면 급격히 떨어졌고, 반면에 metric loss의 경우 아주 완면하게 떨어지는 현상이 각각 보였다. (각각의 학습할때만 보면,,)
      • 즉, 서로 좀 이질적인 성질을 가졌다 따라서, 두 개의 adapted weighted한 방법이 있지 않을까하는데..찾아보니..각각 가중치를 더 주는..이건 hyper parameter ㅎ
      • 합쳐서+해보니, 두 성질?(scale과 각각의 loss의 경사도)에 의해, 합의점이 와닿지 않았다. 하지만, 학습은 되는 듯하는데, 각각 할때의 성질과 비교해볼 때, 중간이 아니라 한쪽에 치우치는 loss 성격이 나오는듯..
      • 일단, 이 논문에서 두 loss의 접점을 어떻게 찾아가는 방법은 없었다. > 따라서, 그냥 + 한것같다.
• backbone nets > ShuffleNet-v2 [35], ResNet-50 [17], SEResNet-50 [20] with ImageNet ILSVRC-2012
  • 특이점은 논문에, down-sampling operation between Stage 3 and Stage 4 & 그림 참조 > 왜 제거 되었는지 이유가 없다. ㅠ
• label smoothing (LS), temperature scaling (TS) 사용 > 공부해야할 듯..(어디서 본 것 같은데.자세한.기억이.ㅠ)