Deep metric learning using Triplet network

[chullhwan-song]

https://arxiv.org/abs/1412.6622

[chullhwan-song]

what ?

• metric learning
• propose the triplet network model
  • aims to learn useful representations by distance comparisons.
• Siamese network vs Triplet network 의 비교
• Siamese network는
  • Siamese networks are also sensitive to calibration in the sense that the notion of similarity vs dissimilarity requires context.
  • For example, a person might be deemed similar to another person when a dataset of random objects is provided, but might be deemed dissimilar with respect to the same other person when we wish to distinguish between two individuals in a set of individuals only.
  • 특정 상황(context)에서 유사하다와 유사하지 않다의 개념에 대한 교정(calibration)이 쉽지않다.
  • 예를 들어, 랜덤 데이터셋에서, 인간은 A라는 사람과 B라는 사람은 유사하다고 보일수 있으나, 개인 특정셋에서 A사람과 B사람을 다른사람으로 구분해야한다. ??
  • 살짝 애매한 예인데, 이 논문이 주장하는 바는 이런듯~ 위의 2 타입은, 상황에 따라 사람으로구분되어 지거나 개인별로 구분할 수 있어야하는데, Siamese networks 이러한 구분이 쉽지 않다. 우리가 주장하는 triplet loss는 이러한 context에 따른 어떠한 요구사항이 없이 학습할 수 있다란 의미인듯~(In our model, such a calibration is not required.)

triplet network

• 실제로 이는 Siamese network과 크게 다른게 아니라, 이를 업그레이드한 형태임.
• Siamese network는 2개의 shared한 embed network(일반 network..cnn.., 이고, triplet network는 3개인 형태,
  • "shared한 embed network"의 의미는 학습과정에서 두 network의 parameter는 서로 합친다(share)는 의미
• input : triplet set >
  • x는 anchor(reference)
  • 는 x와 같은 클래스, positive sample
  • 는 x와 다른 클래스, negative sample
  • 그래서, 두 개의 output이 서로 상호작용함으로써 학습
    

training

결과

• 간단 논문이니, 좀더 이해, 깊이, 응용논문 보려면 facenet paper를 보는게 좋을거 같다.