Wasserstein GAN

Wasserstein GANについて取り扱った論文の解説用資料の公開版です。
https://arxiv.org/abs/1701.07875
詳細版を確認されたい方は、下記よりご購入いただけますのでご確認ください。
https://note.com/lib_arts/n/nd407a66456bc

Transcript

1. Wasserstein GAN 1 SOK@LiberalArtsCommunity Copyright @ Liberal Arts Community. All Rights Reserved.
2. Copyright @ Liberal Arts Community. All Rights Reserved. 目次 • 自己紹介 • 論文概観 • 論文詳細 • Different Distances • Wasserstein GAN • Theorem 1の証明 • Corollary 1の証明 • Theorem 2の証明 • Theorem 3の証明 • 参考文献 • 付録：速習 測度論 2
3. 自己紹介 3 Copyright @ Liberal Arts Community. All Rights Reserved.
4. Copyright @ Liberal Arts Community. All Rights Reserved. 自己紹介 twitter: @sokei14 東京大学大学院数理科学研究科修士課程修了。専門は複素幾何学。 その後、メガバンクでクオンツとして市場リスク管理業務に従事。 現在はベンチャーでAI融資審査モデルの開発に携わる。AIで金融サービスの 変革を目指す機械学習エンジニア。 4
5. 論文概観 5 Copyright @ Liberal Arts Community. All Rights Reserved.
6. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 構成は次の通りです． 1. Introduction 2. Different Distances 3. Wasserstein GAN 4. Empirical Results 5. Related Work 2,3を中心に解説します． 6
7. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 Introduction ➢教師なし学習などで不確かさを学習する際、確率分布が使われる。 ➢確率分布を学習するために通常KLダイバージェンスが用いられる。 ➢しかし、KLダイバージェンスは無限大に飛ぶことがあり扱いづらい。 →分布間の距離としてWasserstein distanceを提案するもの 7
8. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 Introduction 8 • Section 2ではEarth Mover distance (Wasserstein距離)を導入し、これとKLダ イバージェンスといった他の尺度との関 係について述べる。 • Section 3ではWasserstein distanceを用 いたGAN－Wasserstein GANのアルゴリ ズムについて述べる。 • Section 4では、 実験結果として Wasserstein GANが通常のGANに比べロ バストであり、mode collapseといった現 象を起こしていないことを述べる。
9. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 アルゴリズムの理解で肝となるのは3つの定理です。 Wasserstein距離はKLダイバージェンスといった他の尺度にはない良い性質「連続性」を 持っていることを示した定理。 これによりWasserstein距離は勾配法で最小値に持っていきやすい性質がある。 9
10. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 KLダイバージェンスといった他の尺度とWasserstein距離の関係を述べた定理。 KLダイバージェンスが0に収束するならWasserstein距離も0に収束する。 10
11. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 Wasserstein距離の微分をexplicitに求めた定理。 これにより勾配を具体的に計算することができる。 Theorem1,2でWasserstein距離を用いることの妥当性、 Theorem3で具体的に計算するた めの方法を提供している。 11
12. 論文詳細 12 Copyright @ Liberal Arts Community. All Rights Reserved.