JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets @__t2kasa__ 髙木 士 (Tsukasa Takagi) 2019/01/23 NN論文を肴に酒を飲む会 #8 1

自己紹介  髙木 士 (Tsukasa Takagi)  2019/01 – Preferred Networks Engineer  最近の興味：Domain Adaptation / GAN  Twitter: @__t2kasa__  Wiki & Blog: https://t2kasa.github.io/ 2

紹介論文：JointGAN (ICML2018) 1 Facebook, 2 Duke University, 3 Microsoft Research  選出理由：「結合分布を学習するGAN」という点が面白そうだと感じたから 3

JointGAN 概要  複数の確率変数からなる結合分布をGANによってfullに学習するJointGANを提案 従来手法は条件付き分布のみを学習する手法しかなかった [Gan+ 2017] Triangle GAN [Dumoulin+ 2016] Adversarially Learned Inference (ALI) [Zhu+ 2017] CycleGAN 4

従来手法の概要 (ALI, CycleGAN等) CycleGANのFig.1から  , = | = | と分解  条件付き分布 | や | をGANで学習  周辺分布 や は入力として与える必要がある  具体例：CycleGANによるImage-to-Image Translation  モデルを入力するときに入力画像を与える必要がある 5

ノイズだけで結合分布 , からサンプリング可能 JointGANの特徴 6

問題設定  問題設定：  ~ , ~ （ペアとは限らない）サンプル集合： , が与えられる 結合分布 , をモデル化したい  生成プロセスと学習についての違いを次スライド以降で紹介  GAN  Conditonals (ALI, Triangle GAN, CycleGAN)  JointGAN ~ ~ 7

生成プロセスと学習： Marginal (GAN)の場合  GAN：周辺分布 , をGANで学習…結合分布 , を学習していない ∙ : sigmoid function : -parameterized critic function ノイズ NN 8

生成プロセスと学習： Conditional (ALI, Triangle GAN, CycleGAN)の場合 ∙ : sigmoid function : -parameterized critic function  , = | = | として条件付き分布 | , | をGANで学習 … , はデータからサンプリングする必要がある ノイズ NN データ 9

生成プロセスと学習： Joint (JointGAN)の場合 (1/2)  , = | = | として , , | , | をGANで学習 ノイズ NN ∙ が入力を持つ点のみ ∙ と異なる ∙ が入力を持つ点のみ ∙ と異なる , および, はパラメータを共有するNNで実装 → Conditionalと同程度のパラメータ数で済む 10

生成プロセスと学習： Joint (JointGAN)の場合 (2/2) ペアのデータが利用できる場合：以下の5つのどれであるかを識別できるようにJointGANを学習 …損失関数はsoftmax cross entropy ペアのデータが利用できない場合：以下の4つのどれであるかを識別できるようにJointGANを学習 …損失関数はsoftmax cross entropy + cycle consistency loss 11

JointGANの学習概要図 https://zhegan27.github.io/Papers/JointGAN_slides.pdf 12

生成例：画像と画像 13

生成例：キャプション 画像→キャプション の順に生成 キャプション→画像 の順に生成 14

JointGAN：3変数以上の結合分布への拡張  変数の場合の結合分布は!通りの分解方法がある（例：3変数では6通り） …全ての分解方法をカバーするのは困難なので限定された分解方法のみ考える  ここでは3変数の結合分布 , , で以下の分解方法のみ考える  3つ組 , , のサンプルを得るのは一般的に困難 ⇒ , , , というペアのみ利用できるとすると以下の6通りを識別できるようにJointGANを学習 15

生成例：3変数のJointGAN facades↔labels↔cityscapesで学習…左から順に生成 3つのドメインともある程度対応した画像が生成されている 16

比較実験  アーキテクチャ Generator: U-Net Discriminaor: PatchGAN (Pix2Pixで用いられたDiscriminator)  以下の2 step modelをbaselineとしてJointGANと比較 Step1: 周辺分布 , をWGAN-GPで学習 Step2: 条件付き分布 | , | をPix2PixまたはCycleGANで学習 （ペアのデータが利用できる/利用できない場合はPix2Pix/CycleGAN） 17

Baseline (WGAN-GP + Pix2Pix/CycleGAN) JointGAN 比較実験（定性的評価） (1/2) 18

比較実験（定性的評価） (2/2)  baselineとJointGANのどちらが realism, relevanceであるかを生 成されたサンプルをAmazon Mechanical Turkでアンケート  JointGANのほうがrealism, relevanceともに良い評価を得た 19

比較実験（定量的評価）  [[Huang+ 2013] Deep Structured Semantic Models (DSSM)という手法で画像ペアを共通の潜在空間上で表現  潜在空間上でのコサイン類似度をrelevance scoreとして比較  WGAN-GP + Pix2Pix/CycleGANよりもJointGANの方がrelevance scoreが高い 20

まとめ  結合分布を周辺分布と条件付き分布の積に分解し、各確率分布を同時に GANの枠組みによって学習するJointGANを提案  ノイズのみからサンプルを生成可能  3変数以上の確率分布への拡張も限定的に可能  結合分布と条件付き分布を2 stepで学習するよりも定性的・定量的に良い結果を得た 21

References ① [Gan+ 2017] Triangle Generative Adversarial Networks. NIPS2017 ② [Dumoulin+ 2016] Adversarially Learned Inference. ICLR2017 ③ [Zhu+ 2017] Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV2017 ④ [Phillip Isola+ 2016] Image-to-Image Translation with Conditional Adversarial Networks. CVPR2017 ⑤ [Huang+ 2013] Learning Deep Structured Semantic Models for Web Search using Clickthrough Data. CIKM2013 22