Beholder-GAN: Generation and Beautification of Facial Images with Conditioning on Their Beauty Level

[chullhwan-song]

https://arxiv.org/abs/1902.02593

[chullhwan-song]

Abstract

• Beauty is in the eye of the beholder - 아름다움은 보는 사람의 눈에 있다. 보는 사람마다 주간적?
• Beauty 를 Score로..
  • In the digital era, data-driven methods have been shown to be able to predict human-assigned beauty scores for facial images.
• beauty score가 주어진 얼굴을 generative
  • beauty score에 따른(condition) 얼굴이 생성된다는 의미.
• unsupervised beautification model
  • in the sense that it relies on no ground truth target images

METHOD

A GAN conditioned on a beauty score

• beauty score는 주관적인 속성이지만, 많은 사람들이 점수를 매기려는...
  • dataset 연구
    • "A benchmark for geometric facial beauty study"
    • "The beauty of capturing faces: Rating the quality of digital portraits"
    • " Assessing facial beauty through proportion analysis by image processing and supervised learning"
  • 이런 데이터를 이용하여 beauty score를 예측하려는 연구
    • "A new humanlike facial attractiveness predictor with cascaded fine-tuning deep learning model"
    • "Transferring rich deep features for facial beauty prediction"
    • "Beauty and countersignaling in online matching markets: Evidence from a randomized field experiment"
  • 나름 좋은 acc를 보였다.
• beauty score가 condition된 face image를 Generator(G)한다면,
  
  • 
  • 는 latent space에서의 random Gaussian vector
  • x 는 generator된 이미지.
• x가 정확한 beauty score에 의해 발생된 얼굴이미지인지 확증하기 위해서, discriminator D가 beauty level를 예측한다.
  • 여기서.. 중요한것은 D가 real vs fake를 구분하는것이 아닌듯.
    
    • G loss :
    • beauty score GT가 있어야 하지 않나?? - 위에서 unsupervised..??
    • 아무튼, 다수의 beholders에 의해 매긴 face beauty score가 있음 더 좋다는..
      • we input not a single score but a vector of all the ratings available for the face.
• 이렇게 학습후에, fixed z를 가진 Generator를 사용하고, 다른 레벨의 beauty score를 가진게 아니라(같은 score를 가졌다는 의미인듯~), 같은 사람에 속하는 Generator된 얼굴로부터 beauty score input β를 다양하게 하여 Face Generator할수 있다는 의미(다른 beauty score를 가지는 face를 Generator).
  • After training, we can use the trained generator with some fixed z and vary the beauty score input β to generate faces belonging to the same person but having different beauty levels.

Beautification (아름다움)

• 얼굴에 대한 Beautification 관련된 learning에 대한 도전은 unsupervised learning이어야한다고 주장.
  • 그 이유는 supervised learning으로써 진행하려면, 데이터 셋에서 같은 사람에 대한 더 이쁘거나 그렇지 않거나하는 pair를 가지고 있지 않기 때문.
• unsupervised learning으로써의 하나의 접근 방식은 CycleGAN 처럼 "image-to-image translation"
• 또는 StarGAN에서 보여줬던 multi-class case의 확장방식인 hair color & facial expression에 대한 translation.
• 이러한 방식은 개별적 속성에 의존 따라서, 연속적인 속성인 beauty score에 대해서는 적당하지 않다라고 주장.
• 이 논문에서의 주장은
  • 학습된 Generator의 사용.
  • target에 대한 정보없가 없는 loss > ????????
• 실제 입력값은 image x 와 학습된 Generator G
• latent vector z 와 beauty score β와 일치되는 지점을 recover하기 원한다.
  
• init - random z_0 & β_0
• input image와의 비교한 output image의 VGG losses & l2 에 대한 합산.
  • 뜬급없이 vgg loss가 나옴.?
• VGG network pre-trained for face recognition : why? & vgg face network?
  • softmax를 제거한 feature extractor - fc feature인듯..
• gradient descent step
  
  • 은 step size
  • : l2 loss와 관련된.

Semi-supervised training

• 라벨된 beauty score을 가진 이미지 데이터는 부족 그리고 존재하더라고, GAN 학습을 위해 variation 부족
• 이러한 제한을 극복하기 위해, semi-supervised approach > 제한된 데이터셋기반해서 beauty face score 예측하기 위한 모델.
  • The trained model is then used to rate more images, thus creating a richer dataset. > 이말이 이해가 안간다.. 데이터가 없는데..unlabeled 데이터를 그냥 학습데이터로 이용했다는건가?????
• Since we condition the GAN on the distribution of scores and not on a single score, we train one predictive model per human rater.

EXPERIMENTS