Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination

[chullhwan-song]

https://arxiv.org/abs/1805.01978

[chullhwan-song]

what ?

• unlabeled data만 이용 - Can we learn a good feature representation that captures apparent similarity
  among instances, instead of classes, ..? = unsupervised approach.
• 기존의 방법 능가 - our method surpasses the state of the-art on ImageNet classification by a large margin.
• 128차원으로..

구조

• 언급햇듯이, 클래스 단위가 아니라 instance 즉, image 한장을 마치 클래스 단위처럼..
• softmax 계산량은?
  • 실제 이런 문제는 word embeddings 힌트를 얻을 수 있음.
  • 그래서, 이전 연구에서보면, 크게 hierarchical softmax, noise-contrastive estimation(NCE), negative sampling 등이 있는데 여기서는, NCE 방법 고려함. 참고로, tf에서 따로 구현되어 있음.
  • NCE 가 Nonparametric Softmax
• 소스 공개 : https://github.com/zhirongw/lemniscate.pytorch

실험