Slide 1
Slide 1 text
On the Number of Linear Regions
of Deep Neural Networks
1
SOK@LiberalArtsCommunity
Copyright @ Liberal Arts Community. All Rights Reserved.
Slide 2
Slide 2 text
Copyright @ Liberal Arts Community. All Rights Reserved.
目次
• 自己紹介
• 論文概観
• 論文詳細
• Introduction ~なぜlinear regionを考えるのか
• Definition記号の定義（ニューラルネットの復習）
• Shallow Newral Networks
• Deep Newral Networks
• Deep Rectifier Networks
• Deep Maxout Networks
• まとめ
• 参考文献
• 宣伝
2
Slide 3
Slide 3 text
自己紹介
3
Copyright @ Liberal Arts Community. All Rights Reserved.
Slide 4
Slide 4 text
Copyright @ Liberal Arts Community. All Rights Reserved.
自己紹介
twitter: @sokei14
東京大学大学院数理科学研究科修士課程修了。専門は複素幾何学。
その後、メガバンクでクオンツとして市場リスク管理業務に従事。
現在はベンチャーでAI融資審査モデルの開発に携わる。AIで金融サービスの
変革を夢見る機械学習エンジニア。
4
Slide 5
Slide 5 text
論文概観
5
Copyright @ Liberal Arts Community. All Rights Reserved.
Slide 6
Slide 6 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文概観
Abstract
• （区分的線形の活性化関数をもった）ディープフィードフォワードネットワークの複雑性を、linear regionと
symmetriesの観点から研究する．
• ネットワークの深さに対してlinear regionは指数的に増えることを示す．
• 例として，活性化関数がreluまたはmaxoutの場合を考える．
6
Slide 7
Slide 7 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文概観
話の構成は以下のようになっています。
7
Introduciton
Definition
Shallow Newral
Networks
Deep Newral
Networks
Deep Rectifier
Networks
Deep Maxout
Networks
Slide 8
Slide 8 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文概観
話の構成は以下のようになっています。
8
Introduciton
Definition
Shallow Newral
Networks
Deep Newral
Networks
Deep Rectifier
Networks
Deep Maxout
Networks
なぜlinear regionを考える
のかについて図を使って
簡単に説明
Slide 9
Slide 9 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文概観
話の構成は以下のようになっています。
9
Introduciton
Definition
Shallow Newral
Networks
Deep Newral
Networks
Deep Rectifier
Networks
Deep Maxout
Networks
ニューラルネットの復習
と本論文で使う記号の定
義
Slide 10
Slide 10 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文概観
話の構成は以下のようになっています。
10
Introduciton
Definition
Shallow Newral
Networks
Deep Newral
Networks
Deep Rectifier
Networks
Deep Maxout
Networks
隠れ層が一層の場合の
linear regionについて
Shallowは浅いという意味
Slide 11
Slide 11 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文概観
話の構成は以下のようになっています。
11
Introduciton
Definition
Shallow Newral
Networks
Deep Newral
Networks
Deep Rectifier
Networks
Deep Maxout
Networks
多層の場合のlinear region
について
折り紙を例に具体的にイ
メージ化
Slide 12
Slide 12 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文概観
話の構成は以下のようになっています。
12
Introduciton
Definition
Shallow Newral
Networks
Deep Newral
Networks
Deep Rectifier
Networks
Deep Maxout
Networks
本論文のメイン
活性化関数がReLUの場合
のlinear regionの数につい
て
Slide 13
Slide 13 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文概観
話の構成は以下のようになっています。
13
Introduciton
Definition
Shallow Newral
Networks
Deep Newral
Networks
Deep Rectifier
Networks
Deep Maxout
Networks
本論文のメインその2
活性化関数がmaxoutの場
合のlinear regionの数につ
いて
Slide 14
Slide 14 text
論文詳細
14
Copyright @ Liberal Arts Community. All Rights Reserved.
Slide 15
Slide 15 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文詳細 ~Inroduction
• linear regionの数と関数のflexibilityについて
• linear regionが多いほど関数の表現力は高くなる．
• 下図はshallow model（隠れ層一層のニューラルネット）とtwo layersの
比較．
15
Slide 16
Slide 16 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文詳細 ~Definition
フィードフォワードニューラルネットワークとは，ℝ0からℝへの写像
; =
∘
∘ ⋯ ∘ 1
∘ 1
ここで，
は線形写像で，行列
∈ ℝ×−1と
∈ ℝを用いて
−1
=
−1
+
また，
はある非線形写像で，この論文では主に次の二つの場合を考える．
Rectifier unit(ReLU):
= max 0,
（ = 1,
∈ ℝ ）
Rank-k maxout unit:
= max ,1
, … , ,
（
= ,1
, … , ,
∈ ℝ ）
16
Slide 17
Slide 17 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文詳細 ~Definition
ここで，
は層のユニットの数
0
はインプットの次元
はアウトプットの次元
は層の重み
は層のバイアス
は層のユニットの値
は層の活性化関数（特に，区分的線型の活性化関数）
である．また， ∘ : = であることに注意．
更に， ℎ
: =
∘
と定める．
17
Slide 18
Slide 18 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文詳細 ~Definition
linear regionの定義
区分的線型関数を活性化関数にもつフィードフォワードニューラルネット
ワーク: ℝ0 → ℝを考える．
ある集合 ⊂ ℝ0がlinear regionであるとは， の定義域をに制限した関
数ȁ
が線型関数となる集合のうち，最大の連結開集合であるものをいう．
すなわち，式で表すと
= ራ
⊂
ȁ
は線型関数
は連結
が成り立つ集合．
18