Perceptual Adversarial Networks for Image-to-Image Transformation

[crcrpar]

一言でいうと

画像変換。GANに基づいた手法だが、real/fakeの識別誤差だけでなくperceptual lossを用いることでより鮮やかな画風変換ができるようになった。

論文リンク

• Wang, C., Xu, C., & Wang, C. (n.d.). Perceptual Adversarial Networks for Image-to-Image Transformation.
• https://arxiv.org/abs/1706.09138

著者/所属機関

• Chaoyue Wang
• Chang Xu
• Chaohui Wang
• Dacheng Tao

概要

データセットはxとyのペア。yがground truth（gt）でxがTの入力になる。
GANのreal / fakeの誤差だけでは予測とgtのズレを潰し切るのが困難で、画像のぼやけた感じの原因になるとし、perceptual lossを導入。ImageNetなどで学習したCNNの中間層の出力はデータの高次元の特徴であると考えられ、T(x)とy(= gt)それぞれに対してDiscriminatorの中間層出力のズレが小さければ
よりgtに近いものになる。またDiscriminatorはT(x)とgtの中間層のズレが十分小さければ、まだ埋められていないギャップを見つけようと更新される。

CNNの第i層の出力をD^i(・)とすると、Perceptural lossは
D^i(T(x)) - D^i(y)のノルムで表される。L1やL2が選択されることが多いが、この論文ではL1を用いている。

新規性・差分

• perceptual loss

手法

• アーキテクチャ
  • 
• ロス

  • 全体

- perceptual: lambdaは重み、mは定数
-

結果

コメント

• モデルのアーキテクチャの詳細が書かれていた。
• skip connectionも聞いていそう。
  • 少しARっぽい気もする
• 層数が現実的で良い
  • Theano実装ということも影響しているのだろうか。