On the Number of Linear Regions of Deep Neural Networks

ニューラルネットワークの深さについて取り扱った論文の「On the Number of Linear Regions of Deep Neural Networks」の解説用資料の公開版です。
詳細版を確認されたい方は、下記よりご購入いただけますのでご確認ください。
https://note.com/lib_arts/n/n18ea49575740

Transcript

1. On the Number of Linear Regions of Deep Neural Networks 1 SOK@LiberalArtsCommunity Copyright @ Liberal Arts Community. All Rights Reserved.
2. Copyright @ Liberal Arts Community. All Rights Reserved. 目次 • 自己紹介 • 論文概観 • 論文詳細 • Introduction ~なぜlinear regionを考えるのか • Definition記号の定義（ニューラルネットの復習） • Shallow Newral Networks • Deep Newral Networks • Deep Rectifier Networks • Deep Maxout Networks • まとめ • 参考文献 • 宣伝 2
3. 自己紹介 3 Copyright @ Liberal Arts Community. All Rights Reserved.
4. Copyright @ Liberal Arts Community. All Rights Reserved. 自己紹介 twitter: @sokei14 東京大学大学院数理科学研究科修士課程修了。専門は複素幾何学。 その後、メガバンクでクオンツとして市場リスク管理業務に従事。 現在はベンチャーでAI融資審査モデルの開発に携わる。AIで金融サービスの 変革を夢見る機械学習エンジニア。 4
5. 論文概観 5 Copyright @ Liberal Arts Community. All Rights Reserved.
6. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 Abstract • （区分的線形の活性化関数をもった）ディープフィードフォワードネットワークの複雑性を、linear regionと symmetriesの観点から研究する． • ネットワークの深さに対してlinear regionは指数的に増えることを示す． • 例として，活性化関数がreluまたはmaxoutの場合を考える． 6
7. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 話の構成は以下のようになっています。 7 Introduciton Definition Shallow Newral Networks Deep Newral Networks Deep Rectifier Networks Deep Maxout Networks
8. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 話の構成は以下のようになっています。 8 Introduciton Definition Shallow Newral Networks Deep Newral Networks Deep Rectifier Networks Deep Maxout Networks なぜlinear regionを考える のかについて図を使って 簡単に説明
9. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 話の構成は以下のようになっています。 9 Introduciton Definition Shallow Newral Networks Deep Newral Networks Deep Rectifier Networks Deep Maxout Networks ニューラルネットの復習 と本論文で使う記号の定 義
10. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 話の構成は以下のようになっています。 10 Introduciton Definition Shallow Newral Networks Deep Newral Networks Deep Rectifier Networks Deep Maxout Networks 隠れ層が一層の場合の linear regionについて Shallowは浅いという意味
11. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 話の構成は以下のようになっています。 11 Introduciton Definition Shallow Newral Networks Deep Newral Networks Deep Rectifier Networks Deep Maxout Networks 多層の場合のlinear region について 折り紙を例に具体的にイ メージ化
12. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 話の構成は以下のようになっています。 12 Introduciton Definition Shallow Newral Networks Deep Newral Networks Deep Rectifier Networks Deep Maxout Networks 本論文のメイン 活性化関数がReLUの場合 のlinear regionの数につい て
13. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 話の構成は以下のようになっています。 13 Introduciton Definition Shallow Newral Networks Deep Newral Networks Deep Rectifier Networks Deep Maxout Networks 本論文のメインその2 活性化関数がmaxoutの場 合のlinear regionの数につ いて
14. 論文詳細 14 Copyright @ Liberal Arts Community. All Rights Reserved.
15. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Inroduction • linear regionの数と関数のflexibilityについて • linear regionが多いほど関数の表現力は高くなる． • 下図はshallow model（隠れ層一層のニューラルネット）とtwo layersの 比較． 15
16. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Definition フィードフォワードニューラルネットワークとは，ℝ0からℝへの写像 ; = ∘ ∘ ⋯ ∘ 1 ∘ 1 ここで， は線形写像で，行列 ∈ ℝ×−1と ∈ ℝを用いて −1 = −1 + また， はある非線形写像で，この論文では主に次の二つの場合を考える． Rectifier unit(ReLU): = max 0, （ = 1, ∈ ℝ ） Rank-k maxout unit: = max ,1 , … , , （ = ,1 , … , , ∈ ℝ ） 16
17. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Definition ここで， は層のユニットの数 0 はインプットの次元 はアウトプットの次元 は層の重み は層のバイアス は層のユニットの値 は層の活性化関数（特に，区分的線型の活性化関数） である．また， ∘ : = であることに注意． 更に， ℎ : = ∘ と定める． 17
18. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Definition linear regionの定義 区分的線型関数を活性化関数にもつフィードフォワードニューラルネット ワーク: ℝ0 → ℝを考える． ある集合 ⊂ ℝ0がlinear regionであるとは， の定義域をに制限した関 数ȁ が線型関数となる集合のうち，最大の連結開集合であるものをいう． すなわち，式で表すと = ራ ⊂ ȁ は線型関数 は連結 が成り立つ集合． 18