画風変換に関する最新の研究@SIGGRAPH Asia 2018

Be02a5ccde5138d3edcf47bdda7c5f75?s=47 Chie.F
January 15, 2019

画風変換に関する最新の研究@SIGGRAPH Asia 2018

DMVことDwango Media Villageの古澤です。
Twitter: https://twitter.com/Dwango_DMV
HP:https://dmv.nico

今回は、2018年12月に行われたSIGGRAPH Asia 2018にて発表された
画風変換に関する最新の研究2本を紹介します。
そのほかのSIGGRAPH Asia 2018に関する研究の要約記事は
https://dmv.nico/ja/articles/research_report_sa2018article/
にて公開しています。

Be02a5ccde5138d3edcf47bdda7c5f75?s=128

Chie.F

January 15, 2019
Tweet

Transcript

  1. 4.

    DMVでも実は。 4 Blending Texture Features from Multiple Reference Images for

    Style Transfer [SIGGRAPH Asia 2016] 「画風」を変換するという研究に 注目していました。 同じ画風の複数の画像の特徴量を 抽出し、抽出した特徴量をブレンド させて適応させる 特定の一枚の特徴を転写するので はなく、「~画風」と名付けられ分 類されるような特徴を転写できる ネットワークには、VGGを用いる
  2. 5.

    Cycle GAN GANを用いて、二つのドメイン間での特徴を変換を学習する方法。 5 Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial

    Networks [ICCV 2017] Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros 論文中 Fig.1,3より XとYという二つのドメインがあった時、Xからと、Yから、各々から 生成した他方ドメインのものを識別 生成物から元のドメインに戻せるように生成
  3. 10.

    CariStyleGAN(CariGANs: Unpaired Photo-to-Caricature Translation) 生成物を識別するAdversarial Loss Inputとリコンストラクションされた画像 の差を表すReconstruction Loss Forwardとbackwardのmappingを制御する

    Cycle-consistency Loss コンテンツとスタイルを分離するために VGGのrelu5_3 feature mapを用いる Perceptual Loss 10 (論文中 Fig.7,8より) CycleGANはスタイルに多様性がない MUNITはスタイルに多様性があるものの、局所特 徴が保持できていない 二つのネットワークの組み合わせ+ Perceptual Lossが加わることで、多様性と形状保持両方が、 達成できている
  4. 12.

    Deep Unsupervised Pixelization イラスト・自然画像どちらを入力にしても品質が担保されたピクセルアートが得られる Unpairedなデータで学習を可能にした 12 手法 データセットはピクセルアートとイラスト900枚から学習 複数の解像度のPixealizationを行うことで局所特徴の品質が改良 Cycle

    GANをbaseとするネットワーク構造 PixelizationはGridNetとPixelNet2つに分けて行う。 Mirror Lossを採用し、 PixelizationとDepixelization双方の処理の特徴マップを近づける。 GridNetとPixelNetの双方により質が向上 GridNetは色や線などを保持した ダウンサンプリングの役割 (d)では色や輪郭線がなくなっている Mirror Lossがあることにより、Inputの局所特徴が保持される (c)のMirror Lossなしと(f) Mirror Lossありの比較にて、ネクタイの柄が 崩れていない (論文中 Fig.9,10より)