画風変換に関する最新の研究＠SIGGRAPH Asia 2018

DMVことDwango Media Villageの古澤です。
Twitter: https://twitter.com/Dwango_DMV
HP:https://dmv.nico

今回は、2018年12月に行われたSIGGRAPH Asia 2018にて発表された
画風変換に関する最新の研究２本を紹介します。
そのほかのSIGGRAPH Asia 2018に関する研究の要約記事は
https://dmv.nico/ja/articles/research_report_sa2018article/
にて公開しています。

Transcript

1. 画風変換に関する最新の研究
   ＠SIGGRAPH Asia 2018
   株式会社ドワンゴ
   Dwango Media Village
   古澤知英
   

   View Slide

2. 何の紹介か
   ピクセルアート風に変換する研究
   2
   カリカチュア(風刺画)風に変換する研究
   論文中 Fig.1より 論文中 Fig.9より
   

   View Slide

3. 何の紹介か
   3
   カリカチュア(風刺画)風に変換する研究
   論文中 Fig.1より
   

   View Slide

4. DMVでも実は。
   4
   Blending Texture Features from Multiple Reference Images for Style Transfer [SIGGRAPH Asia 2016]
   「画風」を変換するという研究に
   注目していました。
   同じ画風の複数の画像の特徴量を
   抽出し、抽出した特徴量をブレンド
   させて適応させる
   特定の一枚の特徴を転写するので
   はなく、「～画風」と名付けられ分
   類されるような特徴を転写できる
   ネットワークには、VGGを用いる
   

   View Slide

5. Cycle GAN
   GANを用いて、二つのドメイン間での特徴を変換を学習する方法。
   5
   Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks [ICCV 2017]
   Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros
   論文中 Fig.1,3より
   XとYという二つのドメインがあった時、Xからと、Yから、各々から
   生成した他方ドメインのものを識別
   生成物から元のドメインに戻せるように生成
   

   View Slide

6. Cycle GANにinspiredされてる研究二つ
   ピクセルアート風に変換する研究
   6
   カリカチュア(風刺画)風に変換する研究
   論文中 Fig.1より 論文中 Fig.9より
   

   View Slide

7. CariGANs: Unpaired Photo-to-Caricature Translation
   7
   適切な特徴を誇示しつつ、品質が担保されたカリカチュアが得られる
   Unpairedなデータで学習を可能にした
   参照画像やパラメタ制御によりコントロール可能なカリカチュアが生成できる
   ポイント (論文中 Fig.1より)
   

   View Slide

8. 手法(CariGANs: Unpaired Photo-to-Caricature Translation)
   CariStyleGANで入力顔画像(自然画像)を風刺”画風”に変換する
   CariGeoGANを用いて、入力顔画像から取得された特徴点位置を変化、輪郭の変形を決める
   CariStyleGANの出力画像をCariGeoGANの出力の特徴点位置に合わせてワーピングする
   実写のデータセットはCelebAで、Caricatureは8451枚インターネットから異なるスタイルのものを使用
   8
   (論文中 Fig.2より)
   

   View Slide

9. CariGeoGAN(CariGANs: Unpaired Photo-to-Caricature Translation)
   CycleGANのように、誇張の変形と、実写復元の変形双方の操作を行う
   ネットワークの入力は、特徴点63点をPCA(主成分分析)を行った
   TOP32主成分をベクトルとして、入力し、変形を行う
   (ただし、実写の特徴点は既存研究で性能の良い方法を活用するが、
   特徴点63点のラベル付けは手作業とのこと)
   9
   変形の結果を本物か偽物化識別する
   Adversarial Loss
   InputとOutputの間でのマッピングを
   制御するCycle-consistency Loss
   個人性をなくすほどの誇張にならな
   いように制限するCharacteristic Loss
   （論文中 Fig.4より）
   （論文中 Fig.5より）
   

   View Slide

10. CariStyleGAN(CariGANs: Unpaired Photo-to-Caricature Translation)
    生成物を識別するAdversarial Loss
    Inputとリコンストラクションされた画像
    の差を表すReconstruction Loss
    Forwardとbackwardのmappingを制御する
    Cycle-consistency Loss
    コンテンツとスタイルを分離するために
    VGGのrelu5_3 feature mapを用いる
    Perceptual Loss
    10
    (論文中 Fig.7,8より)
    CycleGANはスタイルに多様性がない
    MUNITはスタイルに多様性があるものの、局所特
    徴が保持できていない
    二つのネットワークの組み合わせ＋ Perceptual
    Lossが加わることで、多様性と形状保持両方が、
    達成できている
    

    View Slide

11. 結果(CariGANs: Unpaired Photo-to-Caricature Translation)
    ランダムなスタイルコードを変更することでスタイルの多様
    性がありつつ、品質を保持した結果を得られている
    参照画像を入れることもできる
    動画に拡張した例も発表中に見せていたが形状の連続性が保
    てないとあまりいい結果ではなさそうだった
    11
    (論文中 Fig.14より)
    (論文中 Fig.18より)
    

    View Slide

12. Deep Unsupervised Pixelization
    イラスト・自然画像どちらを入力にしても品質が担保されたピクセルアートが得られる
    Unpairedなデータで学習を可能にした
    12
    手法
    データセットはピクセルアートとイラスト900枚から学習
    複数の解像度のPixealizationを行うことで局所特徴の品質が改良
    Cycle GANをbaseとするネットワーク構造
    PixelizationはGridNetとPixelNet２つに分けて行う。
    Mirror Lossを採用し、 PixelizationとDepixelization双方の処理の特徴マップを近づける。
    GridNetとPixelNetの双方により質が向上
    GridNetは色や線などを保持した
    ダウンサンプリングの役割
    (d)では色や輪郭線がなくなっている
    Mirror Lossがあることにより、Inputの局所特徴が保持される
    (c)のMirror Lossなしと(f) Mirror Lossありの比較にて、ネクタイの柄が
    崩れていない
    （論文中 Fig.9,10より）
    

    View Slide

13. 結果(Deep Unsupervised Pixelization)
    ぼやけがなく、線が途切れなく、実写でも結果がよい
    13
    (論文中 Fig.7より)
    

    View Slide