JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets 論文紹介 / 20190123-icml-2018-joint-gan

JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets 論文紹介 / 20190123-icml-2018-joint-gan

JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets (ICML2018)

NN論文を肴に酒を飲む会 #8にて発表したスライドです。
https://tfug-tokyo.connpass.com/event/113532/

誤りや疑問点等がありましたら、Twitterでご連絡ください。
https://twitter.com/__t2kasa__

908674822b03df676ea84b17f6057586?s=128

Tsukasa Takagi

January 23, 2019
Tweet

Transcript

  1. JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets @__t2kasa__

    髙木 士 (Tsukasa Takagi) 2019/01/23 NN論文を肴に酒を飲む会 #8 1
  2. 自己紹介  髙木 士 (Tsukasa Takagi)  2019/01 – Preferred

    Networks Engineer  最近の興味:Domain Adaptation / GAN  Twitter: @__t2kasa__  Wiki & Blog: https://t2kasa.github.io/ 2
  3. 紹介論文:JointGAN (ICML2018) 1 Facebook, 2 Duke University, 3 Microsoft Research

     選出理由:「結合分布を学習するGAN」という点が面白そうだと感じたから 3
  4. JointGAN 概要  複数の確率変数からなる結合分布をGANによってfullに学習するJointGANを提案 従来手法は条件付き分布のみを学習する手法しかなかった [Gan+ 2017] Triangle GAN [Dumoulin+

    2016] Adversarially Learned Inference (ALI) [Zhu+ 2017] CycleGAN 4
  5. 従来手法の概要 (ALI, CycleGAN等) CycleGANのFig.1から  , = | = |

    と分解  条件付き分布 | や | をGANで学習  周辺分布 や は入力として与える必要がある  具体例:CycleGANによるImage-to-Image Translation  モデルを入力するときに入力画像を与える必要がある 5
  6. ノイズだけで結合分布 , からサンプリング可能 JointGANの特徴 6

  7. 問題設定  問題設定:  ~ , ~ (ペアとは限らない)サンプル集合: , が与えられる

    結合分布 , をモデル化したい  生成プロセスと学習についての違いを次スライド以降で紹介  GAN  Conditonals (ALI, Triangle GAN, CycleGAN)  JointGAN ~ ~ 7
  8. 生成プロセスと学習: Marginal (GAN)の場合  GAN:周辺分布 , をGANで学習…結合分布 , を学習していない ∙

    : sigmoid function : -parameterized critic function ノイズ NN 8
  9. 生成プロセスと学習: Conditional (ALI, Triangle GAN, CycleGAN)の場合 ∙ : sigmoid function

    : -parameterized critic function  , = | = | として条件付き分布 | , | をGANで学習 … , はデータからサンプリングする必要がある ノイズ NN データ 9
  10. 生成プロセスと学習: Joint (JointGAN)の場合 (1/2)  , = | = |

    として , , | , | をGANで学習 ノイズ NN ∙ が入力を持つ点のみ ∙ と異なる ∙ が入力を持つ点のみ ∙ と異なる , および, はパラメータを共有するNNで実装 → Conditionalと同程度のパラメータ数で済む 10
  11. 生成プロセスと学習: Joint (JointGAN)の場合 (2/2) ペアのデータが利用できる場合:以下の5つのどれであるかを識別できるようにJointGANを学習 …損失関数はsoftmax cross entropy ペアのデータが利用できない場合:以下の4つのどれであるかを識別できるようにJointGANを学習 …損失関数はsoftmax

    cross entropy + cycle consistency loss 11
  12. JointGANの学習概要図 https://zhegan27.github.io/Papers/JointGAN_slides.pdf 12

  13. 生成例:画像と画像 13

  14. 生成例:キャプション 画像→キャプション の順に生成 キャプション→画像 の順に生成 14

  15. JointGAN:3変数以上の結合分布への拡張  変数の場合の結合分布は!通りの分解方法がある(例:3変数では6通り) …全ての分解方法をカバーするのは困難なので限定された分解方法のみ考える  ここでは3変数の結合分布 , , で以下の分解方法のみ考える 

    3つ組 , , のサンプルを得るのは一般的に困難 ⇒ , , , というペアのみ利用できるとすると以下の6通りを識別できるようにJointGANを学習 15
  16. 生成例:3変数のJointGAN facades↔labels↔cityscapesで学習…左から順に生成 3つのドメインともある程度対応した画像が生成されている 16

  17. 比較実験  アーキテクチャ Generator: U-Net Discriminaor: PatchGAN (Pix2Pixで用いられたDiscriminator)  以下の2

    step modelをbaselineとしてJointGANと比較 Step1: 周辺分布 , をWGAN-GPで学習 Step2: 条件付き分布 | , | をPix2PixまたはCycleGANで学習 (ペアのデータが利用できる/利用できない場合はPix2Pix/CycleGAN) 17
  18. Baseline (WGAN-GP + Pix2Pix/CycleGAN) JointGAN 比較実験(定性的評価) (1/2) 18

  19. 比較実験(定性的評価) (2/2)  baselineとJointGANのどちらが realism, relevanceであるかを生 成されたサンプルをAmazon Mechanical Turkでアンケート 

    JointGANのほうがrealism, relevanceともに良い評価を得た 19
  20. 比較実験(定量的評価)  [[Huang+ 2013] Deep Structured Semantic Models (DSSM)という手法で画像ペアを共通の潜在空間上で表現 

    潜在空間上でのコサイン類似度をrelevance scoreとして比較  WGAN-GP + Pix2Pix/CycleGANよりもJointGANの方がrelevance scoreが高い 20
  21. まとめ  結合分布を周辺分布と条件付き分布の積に分解し、各確率分布を同時に GANの枠組みによって学習するJointGANを提案  ノイズのみからサンプルを生成可能  3変数以上の確率分布への拡張も限定的に可能  結合分布と条件付き分布を2

    stepで学習するよりも定性的・定量的に良い結果を得た 21
  22. References ① [Gan+ 2017] Triangle Generative Adversarial Networks. NIPS2017 ②

    [Dumoulin+ 2016] Adversarially Learned Inference. ICLR2017 ③ [Zhu+ 2017] Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV2017 ④ [Phillip Isola+ 2016] Image-to-Image Translation with Conditional Adversarial Networks. CVPR2017 ⑤ [Huang+ 2013] Learning Deep Structured Semantic Models for Web Search using Clickthrough Data. CIKM2013 22