Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Wasserstein GAN

87c236e94282fcf81192203e84a6e784?s=47 lib-arts
February 01, 2020

Wasserstein GAN

Wasserstein GANについて取り扱った論文の解説用資料の公開版です。
https://arxiv.org/abs/1701.07875
詳細版を確認されたい方は、下記よりご購入いただけますのでご確認ください。
https://note.com/lib_arts/n/nd407a66456bc

87c236e94282fcf81192203e84a6e784?s=128

lib-arts

February 01, 2020
Tweet

Transcript

  1. Wasserstein GAN 1 SOK@LiberalArtsCommunity Copyright @ Liberal Arts Community. All

    Rights Reserved.
  2. Copyright @ Liberal Arts Community. All Rights Reserved. 目次 •

    自己紹介 • 論文概観 • 論文詳細 • Different Distances • Wasserstein GAN • Theorem 1の証明 • Corollary 1の証明 • Theorem 2の証明 • Theorem 3の証明 • 参考文献 • 付録:速習 測度論 2
  3. 自己紹介 3 Copyright @ Liberal Arts Community. All Rights Reserved.

  4. Copyright @ Liberal Arts Community. All Rights Reserved. 自己紹介 twitter:

    @sokei14 東京大学大学院数理科学研究科修士課程修了。専門は複素幾何学。 その後、メガバンクでクオンツとして市場リスク管理業務に従事。 現在はベンチャーでAI融資審査モデルの開発に携わる。AIで金融サービスの 変革を目指す機械学習エンジニア。 4
  5. 論文概観 5 Copyright @ Liberal Arts Community. All Rights Reserved.

  6. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 構成は次の通りです.

    1. Introduction 2. Different Distances 3. Wasserstein GAN 4. Empirical Results 5. Related Work 2,3を中心に解説します. 6
  7. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 Introduction

    ➢教師なし学習などで不確かさを学習する際、確率分布が使われる。 ➢確率分布を学習するために通常KLダイバージェンスが用いられる。 ➢しかし、KLダイバージェンスは無限大に飛ぶことがあり扱いづらい。 →分布間の距離としてWasserstein distanceを提案するもの 7
  8. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 Introduction

    8 • Section 2ではEarth Mover distance (Wasserstein距離)を導入し、これとKLダ イバージェンスといった他の尺度との関 係について述べる。 • Section 3ではWasserstein distanceを用 いたGAN-Wasserstein GANのアルゴリ ズムについて述べる。 • Section 4では、 実験結果として Wasserstein GANが通常のGANに比べロ バストであり、mode collapseといった現 象を起こしていないことを述べる。
  9. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 アルゴリズムの理解で肝となるのは3つの定理です。

    Wasserstein距離はKLダイバージェンスといった他の尺度にはない良い性質「連続性」を 持っていることを示した定理。 これによりWasserstein距離は勾配法で最小値に持っていきやすい性質がある。 9
  10. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 KLダイバージェンスといった他の尺度とWasserstein距離の関係を述べた定理。

    KLダイバージェンスが0に収束するならWasserstein距離も0に収束する。 10
  11. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 Wasserstein距離の微分をexplicitに求めた定理。

    これにより勾配を具体的に計算することができる。 Theorem1,2でWasserstein距離を用いることの妥当性、 Theorem3で具体的に計算するた めの方法を提供している。 11
  12. 論文詳細 12 Copyright @ Liberal Arts Community. All Rights Reserved.