SAGAN

programmers devcourse monthly project

GAN을 이용한 얼굴 마스크 이미지 생성

• 마스크를 착용한 이미지와 마스크를 착용하지 않은 얼굴 이미지를 생성하는 생성 모델을 만드세요.
• • 또한 자신이 원하는 아키텍처의 GAN 모델을 직접 선택하여 학습하는 실습을 진행합니다.
• 본 프로젝트는 최종적으로 높은 점수(score)를 얻는 것이 목표입니다.

평가 기준

• 논문 제목: Rethinking the Inception Architecture for Computer Vision (CVPR 2016)
• Fréchet Inception Distance(FID) 계산 방법
  • 생성된 이미지들과 실제 이미지들을 ImageNet에 넣어 특징(feature)을 추출합니다.
  • 생성된 이미지 특징 분포 G와 실제 이미지 특징 분포 X를 가우시안 분포라고 가정합니다.
  • 두 분포가 얼마나 다른지 계산하기 위해 FID(X, G)를 계산합니다.

최종평가

[A4조]

• 굉장히 다양한 실험 구성과

• SAGAN (Custom하게 선택한 모델)을 사용해보았고, 다양한 시도를 진행해 보았다는 점이 흥미롭습니다.

• (코멘트) Self-attention의 경우 fully MSA라면 파라미터의 수가 늘어날 수 있습니다.

• (코멘트) 그리고 self-attention 구조의 경우 데이터의 수가 적을 때는 일반적으로 CNN 베이스보다 성능이 낮게 나올 수 있습니다

• (코멘트) 마스크 이미지의 경우 마스크의 영역이 그다지 크지 않고,

얼굴 주변 부분으로 한정되어 있는데 long dependency를 고려해야 한다고 느끼신 이유가 있으실까요?<이에 대한 답변>

• DCGAN에서는 local한 정보를 가져간다고 알려져 있어서, global 정보를 추가했을 때 성능 개선이 되는지에 대한 궁금함을 잘 느꼈다고 하심.
• DCGAN의 epoch을 늘린 것보다, attention을 했을 때 비약적인 성능 향상은 없었지만, 그래도 조금 성능 개선이 있었던 것으로 보인다고 주장하심.→ 학습적인 측면에서의 동기나 explainable AI 측면에서 self-attention이 효과적으로 사용할 수 있습니다.- 발표 점수(발표 자료 완성도 및 발표): 92 / 10 = 9.2
• 성능 점수(마스크 착용, 마스크 미착용): (88.621 + 150.260) / 10 = 23.88