画風変換に関する最新の研究＠SIGGRAPH Asia 2018

DMVことDwango Media Villageの古澤です。
Twitter: https://twitter.com/Dwango_DMV
HP:https://dmv.nico

今回は、2018年12月に行われたSIGGRAPH Asia 2018にて発表された
画風変換に関する最新の研究２本を紹介します。
そのほかのSIGGRAPH Asia 2018に関する研究の要約記事は
https://dmv.nico/ja/articles/research_report_sa2018article/
にて公開しています。

Transcript

1. 画風変換に関する最新の研究 ＠SIGGRAPH Asia 2018 株式会社ドワンゴ Dwango Media Village 古澤知英
2. 何の紹介か ピクセルアート風に変換する研究 2 カリカチュア(風刺画)風に変換する研究 論文中 Fig.1より 論文中 Fig.9より
3. 何の紹介か 3 カリカチュア(風刺画)風に変換する研究 論文中 Fig.1より
4. DMVでも実は。 4 Blending Texture Features from Multiple Reference Images for Style Transfer [SIGGRAPH Asia 2016] 「画風」を変換するという研究に 注目していました。 同じ画風の複数の画像の特徴量を 抽出し、抽出した特徴量をブレンド させて適応させる 特定の一枚の特徴を転写するので はなく、「～画風」と名付けられ分 類されるような特徴を転写できる ネットワークには、VGGを用いる
5. Cycle GAN GANを用いて、二つのドメイン間での特徴を変換を学習する方法。 5 Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks [ICCV 2017] Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros 論文中 Fig.1,3より XとYという二つのドメインがあった時、Xからと、Yから、各々から 生成した他方ドメインのものを識別 生成物から元のドメインに戻せるように生成
6. Cycle GANにinspiredされてる研究二つ ピクセルアート風に変換する研究 6 カリカチュア(風刺画)風に変換する研究 論文中 Fig.1より 論文中 Fig.9より
7. CariGANs: Unpaired Photo-to-Caricature Translation 7 適切な特徴を誇示しつつ、品質が担保されたカリカチュアが得られる Unpairedなデータで学習を可能にした 参照画像やパラメタ制御によりコントロール可能なカリカチュアが生成できる ポイント (論文中 Fig.1より)
8. 手法(CariGANs: Unpaired Photo-to-Caricature Translation) CariStyleGANで入力顔画像(自然画像)を風刺”画風”に変換する CariGeoGANを用いて、入力顔画像から取得された特徴点位置を変化、輪郭の変形を決める CariStyleGANの出力画像をCariGeoGANの出力の特徴点位置に合わせてワーピングする 実写のデータセットはCelebAで、Caricatureは8451枚インターネットから異なるスタイルのものを使用 8 (論文中 Fig.2より)
9. CariGeoGAN(CariGANs: Unpaired Photo-to-Caricature Translation) CycleGANのように、誇張の変形と、実写復元の変形双方の操作を行う ネットワークの入力は、特徴点63点をPCA(主成分分析)を行った TOP32主成分をベクトルとして、入力し、変形を行う (ただし、実写の特徴点は既存研究で性能の良い方法を活用するが、 特徴点63点のラベル付けは手作業とのこと) 9 変形の結果を本物か偽物化識別する Adversarial Loss InputとOutputの間でのマッピングを 制御するCycle-consistency Loss 個人性をなくすほどの誇張にならな いように制限するCharacteristic Loss （論文中 Fig.4より） （論文中 Fig.5より）
10. CariStyleGAN(CariGANs: Unpaired Photo-to-Caricature Translation) 生成物を識別するAdversarial Loss Inputとリコンストラクションされた画像 の差を表すReconstruction Loss Forwardとbackwardのmappingを制御する Cycle-consistency Loss コンテンツとスタイルを分離するために VGGのrelu5_3 feature mapを用いる Perceptual Loss 10 (論文中 Fig.7,8より) CycleGANはスタイルに多様性がない MUNITはスタイルに多様性があるものの、局所特 徴が保持できていない 二つのネットワークの組み合わせ＋ Perceptual Lossが加わることで、多様性と形状保持両方が、 達成できている
11. 結果(CariGANs: Unpaired Photo-to-Caricature Translation) ランダムなスタイルコードを変更することでスタイルの多様 性がありつつ、品質を保持した結果を得られている 参照画像を入れることもできる 動画に拡張した例も発表中に見せていたが形状の連続性が保 てないとあまりいい結果ではなさそうだった 11 (論文中 Fig.14より) (論文中 Fig.18より)
12. Deep Unsupervised Pixelization イラスト・自然画像どちらを入力にしても品質が担保されたピクセルアートが得られる Unpairedなデータで学習を可能にした 12 手法 データセットはピクセルアートとイラスト900枚から学習 複数の解像度のPixealizationを行うことで局所特徴の品質が改良 Cycle GANをbaseとするネットワーク構造 PixelizationはGridNetとPixelNet２つに分けて行う。 Mirror Lossを採用し、 PixelizationとDepixelization双方の処理の特徴マップを近づける。 GridNetとPixelNetの双方により質が向上 GridNetは色や線などを保持した ダウンサンプリングの役割 (d)では色や輪郭線がなくなっている Mirror Lossがあることにより、Inputの局所特徴が保持される (c)のMirror Lossなしと(f) Mirror Lossありの比較にて、ネクタイの柄が 崩れていない （論文中 Fig.9,10より）
13. 結果(Deep Unsupervised Pixelization) ぼやけがなく、線が途切れなく、実写でも結果がよい 13 (論文中 Fig.7より)