FashionNet: Personalized Outfit Recommendation with Deep Neural Network

[chullhwan-song]

https://arxiv.org/abs/1810.02443

[chullhwan-song]

What?

• 전체 코디(top, bottm, shoes)에 대한 추천 = intelligent fashion recommendation
  • suggest users outfits (e.g. a shirt, together with a skirt and a pair of high-heel shoes)
    
• 그래서 이시스템은, two components
  • feature extraction
  • matching network
• 개인적으로 학습셋이 공개되지 않는 상황에서..다양한 방법이 고려되어야할것같다. 이게 꼭 정답이라고 생각이 안듦

Our approach

• fashion are tops, bottoms and shoes > 이에 대한 한벌의 추천를 의미
• 이는 user/outfit pair에 대한 학습 : learn a model so that for any user/outfit pair > we can assign it a rating score s.
• 개인마다 만족한 결과를 위해서(To achieve personalization),
  • two-stage training strategy
  • embed the user-specific preferences in the parameters of the network.

Network architecture

• 그림과 테이블을 먼저 보고하면 좀더 이해하기 쉬운듯~(논문에서는 테이블이 좀 뒤에 나와서.ㅎ)
• base metric learning - 어울리냐 안어울리냐..문제인듯~ 테이블에서 output = 2
• FashionNet A
  • the images of the items are first concatenated to create a new image with 9 color channels.
    • 9채널을 input으로하는 vgg model ?
    • tops, bottoms and shoes를 하나(=concatenated )의 input으로 해서 vgg 모델을 학습시키는듯..
• FashionNet B
  • tops, bottoms and shoes 각각의 모델로 돌려놓고 최종적으로 concat하는 형태
• FashionNet C
  • 두개의 item이 join하여 vgg 모델을 학습하는형태
    • tops, bottom
    • tops, shoes
    • bottom, shoes
    • 이들 각각은 FashionNet B와유사하게 concat하는테..두개씩 합치니 2FC 아닌가? 왜 3FC이지??(애매)
    • 이렇게 하는 이유에 대해서는, FashionNet B는 실제로 많은 데이터셋이 필요한데, 실상은 그렇지 못하다. 따라서, 현재 데이터셋으로 이런식으로 조합하면(왠지 aug..) 어느정도 해결
• learning-to-rank
  • Fig2 d의 그림
    
  • 와 는 i 번째 pair에서의 한벌(outfit)에 대한 예측한 점수를 의미

실험

• 일단 ranking에 대한 학습셋이 공개되어 있지 않음.
• ranking까지 정답까지 만들려면 헐~
• 성능적으로보면, B>C에서의 성능향상이 그닥~ 크지 않음