Slide 1
Slide 1 text
Wasserstein GAN
1
SOK@LiberalArtsCommunity
Copyright @ Liberal Arts Community. All Rights Reserved.
Slide 2
Slide 2 text
Copyright @ Liberal Arts Community. All Rights Reserved.
目次
• 自己紹介
• 論文概観
• 論文詳細
• Different Distances
• Wasserstein GAN
• Theorem 1の証明
• Corollary 1の証明
• Theorem 2の証明
• Theorem 3の証明
• 参考文献
• 付録：速習 測度論
2
Slide 3
Slide 3 text
自己紹介
3
Copyright @ Liberal Arts Community. All Rights Reserved.
Slide 4
Slide 4 text
Copyright @ Liberal Arts Community. All Rights Reserved.
自己紹介
twitter: @sokei14
東京大学大学院数理科学研究科修士課程修了。専門は複素幾何学。
その後、メガバンクでクオンツとして市場リスク管理業務に従事。
現在はベンチャーでAI融資審査モデルの開発に携わる。AIで金融サービスの
変革を目指す機械学習エンジニア。
4
Slide 5
Slide 5 text
論文概観
5
Copyright @ Liberal Arts Community. All Rights Reserved.
Slide 6
Slide 6 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文概観
構成は次の通りです．
1. Introduction
2. Different Distances
3. Wasserstein GAN
4. Empirical Results
5. Related Work
2,3を中心に解説します．
6
Slide 7
Slide 7 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文概観
Introduction
➢教師なし学習などで不確かさを学習する際、確率分布が使われる。
➢確率分布を学習するために通常KLダイバージェンスが用いられる。
➢しかし、KLダイバージェンスは無限大に飛ぶことがあり扱いづらい。
→分布間の距離としてWasserstein distanceを提案するもの
7
Slide 8
Slide 8 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文概観
Introduction
8
• Section 2ではEarth Mover distance
(Wasserstein距離)を導入し、これとKLダ
イバージェンスといった他の尺度との関
係について述べる。
• Section 3ではWasserstein distanceを用
いたGAN－Wasserstein GANのアルゴリ
ズムについて述べる。
• Section 4では、 実験結果として
Wasserstein GANが通常のGANに比べロ
バストであり、mode collapseといった現
象を起こしていないことを述べる。
Slide 9
Slide 9 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文概観
アルゴリズムの理解で肝となるのは3つの定理です。
Wasserstein距離はKLダイバージェンスといった他の尺度にはない良い性質「連続性」を
持っていることを示した定理。
これによりWasserstein距離は勾配法で最小値に持っていきやすい性質がある。
9
Slide 10
Slide 10 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文概観
KLダイバージェンスといった他の尺度とWasserstein距離の関係を述べた定理。
KLダイバージェンスが0に収束するならWasserstein距離も0に収束する。
10
Slide 11
Slide 11 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文概観
Wasserstein距離の微分をexplicitに求めた定理。
これにより勾配を具体的に計算することができる。
Theorem1,2でWasserstein距離を用いることの妥当性、 Theorem3で具体的に計算するた
めの方法を提供している。
11
Slide 12
Slide 12 text
論文詳細
12
Copyright @ Liberal Arts Community. All Rights Reserved.