cGAN-based Manga Colorization Using a Single Training Image

[icoxfog417]

一言でいうと

GANをベースに、1つの白黒/カラーのペアからの学習だけで漫画を塗りきるという研究。そもそも同じキャラは同じ色、同じパーツ(顔、服etc)は同じ色なので、何枚もいらないでしょということでパーツごとにcrop(セグメンテーション)を行い学習を行っている。結果はかなり衝撃的。

下図(Figure 6)では、顔を塗るなら顔のcrop、全身を塗るなら全身のcropが適していることを示唆しており、複数ネットワークか複数のクロップを使い学習させることを推奨している。

論文リンク

https://arxiv.org/abs/1706.06918v1

著者/所属機関

Paulina Hensman, Kiyoharu Aizawa

• University of Tokyo

概要

新規性・差分

手法

結果

コメント

1ペアでここまでできるというのはかなり衝撃的な内容と思う。