Upgrade to Pro — share decks privately, control downloads, hide ads and more …

JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets 論文紹介 / 20190123-icml-2018-joint-gan

Tsukasa Takagi
January 23, 2019

JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets 論文紹介 / 20190123-icml-2018-joint-gan

JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets (ICML2018)

NN論文を肴に酒を飲む会 #8にて発表したスライドです。
https://tfug-tokyo.connpass.com/event/113532/

誤りや疑問点等がありましたら、Twitterでご連絡ください。
https://twitter.com/__t2kasa__

Tsukasa Takagi

January 23, 2019
Tweet

More Decks by Tsukasa Takagi

Other Decks in Research

Transcript

  1. JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets @__t2kasa__

    髙木 士 (Tsukasa Takagi) 2019/01/23 NN論文を肴に酒を飲む会 #8 1
  2. 自己紹介  髙木 士 (Tsukasa Takagi)  2019/01 – Preferred

    Networks Engineer  最近の興味:Domain Adaptation / GAN  Twitter: @__t2kasa__  Wiki & Blog: https://t2kasa.github.io/ 2
  3. 紹介論文:JointGAN (ICML2018) 1 Facebook, 2 Duke University, 3 Microsoft Research

     選出理由:「結合分布を学習するGAN」という点が面白そうだと感じたから 3
  4. 従来手法の概要 (ALI, CycleGAN等) CycleGANのFig.1から  , = | = |

    と分解  条件付き分布 | や | をGANで学習  周辺分布 や は入力として与える必要がある  具体例:CycleGANによるImage-to-Image Translation  モデルを入力するときに入力画像を与える必要がある 5
  5. 問題設定  問題設定:  ~ , ~ (ペアとは限らない)サンプル集合: , が与えられる

    結合分布 , をモデル化したい  生成プロセスと学習についての違いを次スライド以降で紹介  GAN  Conditonals (ALI, Triangle GAN, CycleGAN)  JointGAN ~ ~ 7
  6. 生成プロセスと学習: Conditional (ALI, Triangle GAN, CycleGAN)の場合 ∙ : sigmoid function

    : -parameterized critic function  , = | = | として条件付き分布 | , | をGANで学習 … , はデータからサンプリングする必要がある ノイズ NN データ 9
  7. 生成プロセスと学習: Joint (JointGAN)の場合 (1/2)  , = | = |

    として , , | , | をGANで学習 ノイズ NN ∙ が入力を持つ点のみ ∙ と異なる ∙ が入力を持つ点のみ ∙ と異なる , および, はパラメータを共有するNNで実装 → Conditionalと同程度のパラメータ数で済む 10
  8. 比較実験  アーキテクチャ Generator: U-Net Discriminaor: PatchGAN (Pix2Pixで用いられたDiscriminator)  以下の2

    step modelをbaselineとしてJointGANと比較 Step1: 周辺分布 , をWGAN-GPで学習 Step2: 条件付き分布 | , | をPix2PixまたはCycleGANで学習 (ペアのデータが利用できる/利用できない場合はPix2Pix/CycleGAN) 17
  9. 比較実験(定量的評価)  [[Huang+ 2013] Deep Structured Semantic Models (DSSM)という手法で画像ペアを共通の潜在空間上で表現 

    潜在空間上でのコサイン類似度をrelevance scoreとして比較  WGAN-GP + Pix2Pix/CycleGANよりもJointGANの方がrelevance scoreが高い 20
  10. References ① [Gan+ 2017] Triangle Generative Adversarial Networks. NIPS2017 ②

    [Dumoulin+ 2016] Adversarially Learned Inference. ICLR2017 ③ [Zhu+ 2017] Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV2017 ④ [Phillip Isola+ 2016] Image-to-Image Translation with Conditional Adversarial Networks. CVPR2017 ⑤ [Huang+ 2013] Learning Deep Structured Semantic Models for Web Search using Clickthrough Data. CIKM2013 22