Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets @__t2kasa__ 髙木 士 (Tsukasa Takagi) 2019/01/23 NN論文を肴に酒を飲む会 #8 1
Slide 2
Slide 2 text
自己紹介 髙木 士 (Tsukasa Takagi) 2019/01 – Preferred Networks Engineer 最近の興味:Domain Adaptation / GAN Twitter: @__t2kasa__ Wiki & Blog: https://t2kasa.github.io/ 2
Slide 3
Slide 3 text
紹介論文:JointGAN (ICML2018) 1 Facebook, 2 Duke University, 3 Microsoft Research 選出理由:「結合分布を学習するGAN」という点が面白そうだと感じたから 3
Slide 4
Slide 4 text
JointGAN 概要 複数の確率変数からなる結合分布をGANによってfullに学習するJointGANを提案 従来手法は条件付き分布のみを学習する手法しかなかった [Gan+ 2017] Triangle GAN [Dumoulin+ 2016] Adversarially Learned Inference (ALI) [Zhu+ 2017] CycleGAN 4
Slide 5
Slide 5 text
従来手法の概要 (ALI, CycleGAN等) CycleGANのFig.1から , = | = | と分解 条件付き分布 | や | をGANで学習 周辺分布 や は入力として与える必要がある 具体例:CycleGANによるImage-to-Image Translation モデルを入力するときに入力画像を与える必要がある 5
Slide 6
Slide 6 text
ノイズだけで結合分布 , からサンプリング可能 JointGANの特徴 6
Slide 7
Slide 7 text
問題設定 問題設定: ~ , ~ (ペアとは限らない)サンプル集合: , が与えられる 結合分布 , をモデル化したい 生成プロセスと学習についての違いを次スライド以降で紹介 GAN Conditonals (ALI, Triangle GAN, CycleGAN) JointGAN ~ ~ 7
Slide 8
Slide 8 text
生成プロセスと学習: Marginal (GAN)の場合 GAN:周辺分布 , をGANで学習…結合分布 , を学習していない ∙ : sigmoid function : -parameterized critic function ノイズ NN 8
Slide 9
Slide 9 text
生成プロセスと学習: Conditional (ALI, Triangle GAN, CycleGAN)の場合 ∙ : sigmoid function : -parameterized critic function , = | = | として条件付き分布 | , | をGANで学習 … , はデータからサンプリングする必要がある ノイズ NN データ 9
Slide 10
Slide 10 text
生成プロセスと学習: Joint (JointGAN)の場合 (1/2) , = | = | として , , | , | をGANで学習 ノイズ NN ∙ が入力を持つ点のみ ∙ と異なる ∙ が入力を持つ点のみ ∙ と異なる , および, はパラメータを共有するNNで実装 → Conditionalと同程度のパラメータ数で済む 10
Slide 11
Slide 11 text
生成プロセスと学習: Joint (JointGAN)の場合 (2/2) ペアのデータが利用できる場合:以下の5つのどれであるかを識別できるようにJointGANを学習 …損失関数はsoftmax cross entropy ペアのデータが利用できない場合:以下の4つのどれであるかを識別できるようにJointGANを学習 …損失関数はsoftmax cross entropy + cycle consistency loss 11
Slide 12
Slide 12 text
JointGANの学習概要図 https://zhegan27.github.io/Papers/JointGAN_slides.pdf 12
Slide 13
Slide 13 text
生成例:画像と画像 13
Slide 14
Slide 14 text
生成例:キャプション 画像→キャプション の順に生成 キャプション→画像 の順に生成 14
Slide 15
Slide 15 text
JointGAN:3変数以上の結合分布への拡張 変数の場合の結合分布は!通りの分解方法がある(例:3変数では6通り) …全ての分解方法をカバーするのは困難なので限定された分解方法のみ考える ここでは3変数の結合分布 , , で以下の分解方法のみ考える 3つ組 , , のサンプルを得るのは一般的に困難 ⇒ , , , というペアのみ利用できるとすると以下の6通りを識別できるようにJointGANを学習 15
Slide 16
Slide 16 text
生成例:3変数のJointGAN facades↔labels↔cityscapesで学習…左から順に生成 3つのドメインともある程度対応した画像が生成されている 16
Slide 17
Slide 17 text
比較実験 アーキテクチャ Generator: U-Net Discriminaor: PatchGAN (Pix2Pixで用いられたDiscriminator) 以下の2 step modelをbaselineとしてJointGANと比較 Step1: 周辺分布 , をWGAN-GPで学習 Step2: 条件付き分布 | , | をPix2PixまたはCycleGANで学習 (ペアのデータが利用できる/利用できない場合はPix2Pix/CycleGAN) 17
Slide 18
Slide 18 text
Baseline (WGAN-GP + Pix2Pix/CycleGAN) JointGAN 比較実験(定性的評価) (1/2) 18
Slide 19
Slide 19 text
比較実験(定性的評価) (2/2) baselineとJointGANのどちらが realism, relevanceであるかを生 成されたサンプルをAmazon Mechanical Turkでアンケート JointGANのほうがrealism, relevanceともに良い評価を得た 19
Slide 20
Slide 20 text
比較実験(定量的評価) [[Huang+ 2013] Deep Structured Semantic Models (DSSM)という手法で画像ペアを共通の潜在空間上で表現 潜在空間上でのコサイン類似度をrelevance scoreとして比較 WGAN-GP + Pix2Pix/CycleGANよりもJointGANの方がrelevance scoreが高い 20
Slide 21
Slide 21 text
まとめ 結合分布を周辺分布と条件付き分布の積に分解し、各確率分布を同時に GANの枠組みによって学習するJointGANを提案 ノイズのみからサンプルを生成可能 3変数以上の確率分布への拡張も限定的に可能 結合分布と条件付き分布を2 stepで学習するよりも定性的・定量的に良い結果を得た 21
Slide 22
Slide 22 text
References ① [Gan+ 2017] Triangle Generative Adversarial Networks. NIPS2017 ② [Dumoulin+ 2016] Adversarially Learned Inference. ICLR2017 ③ [Zhu+ 2017] Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV2017 ④ [Phillip Isola+ 2016] Image-to-Image Translation with Conditional Adversarial Networks. CVPR2017 ⑤ [Huang+ 2013] Learning Deep Structured Semantic Models for Web Search using Clickthrough Data. CIKM2013 22