PRML3.1

PRML3.1の社内勉強会資料です。

Transcript

1. PRML #10 3.1 線形基底回帰モデル 2019-4-18(⽊) @diinuds
2. Agenda • 3 線形回帰モデル • 3.1 線形基底回帰モデル • 3.1.1 最尤推定と最⼩⼆乗法 • 3.1.2 最⼩⼆乗法の幾何学 • 3.1.3 逐次学習 • 3.1.4 正則化最⼩⼆乗法
3. 3 線形回帰モデル • 1, 2章では密度推定やクラスタリングなど教師なし学習を主に議論 • 本章では教師あり学習の回帰を議論
4. 3 線形回帰モデル • 訓練データ " ∶ 観測値, " ∶ ⽬標値 ( = 1, … ) から、 新たな⼊⼒ ⃗ に対する ⃗ の値を予測する • 最も単純には、写像 ∶ ⃗ ↦ ⃗ を構成すれば良い • 確率論的には、予測分布 (⃗ | ⃗ ) をモデル化することを⽬的とする • ⃗ に対する ⃗ の不確かさを表すため
5. 3.1 線形基底回帰モデル • パラメータ に関して線形なモデルを線形基底回帰モデルと呼ぶ • ⃗ , ∶= ∑456 789 44 ⃗ = ; ⃗ (3.3) • ∶= (6, … , 789); , ∶= = (6, … , 789); • 4 ∶ 関数(線形でも⾮線形でも良い), ただし 6 ⃗ = 1 • 4 : 基底関数, 6 : バイアスパラメータ と呼ぶ • 特徴 • パラメータ に関して線形なので扱いやすい • ⃗ に関しては⾮線形を許容するので線形回帰モデルよりは表現⼒豊か
6. 3.1 線形基底回帰モデル • 例1 : 線形回帰モデル • : 恒等写像 • ∴ ⃗ , = 6 + ∑459 789 44 • 例2 : 多項式曲線フィッティング(1章) • 4 ∶ ↦ 4 • ∴ , = ∑456 789 44
7. 3.1 線形基底回帰モデル • 例3 : ガウス基底 • 4 ∶ 4 ↦ exp − D8EF G HIG • 詳細は6.4.1「線形回帰再訪」にて • 例4 : シグモイド基底 • 4 ∶ 4 ↦ D8EF D , ∶ ↦ 9 9LMNO(8P) (ロジスティックシグモイド 関数) • NNで良く使われる。詳しくは5章にて？
8. 3.1 線形基底回帰モデル • 例5 : フーリエ基底 • 基底関数がある単⼀の周波数に対応 • 例6 : ウェーブレット • ⼊⼒空間でも周波数領域でも局所的な基底関数 • 詳しい説明はOgden(1997), Mallat(1999), Vidakovic(1999)など
9. 3.1 線形基底回帰モデル • ⾊々と例を⽰したが、本章で⽰す殆どの事項は基底関数の選択に 依存しないため、数値例を⽰す際以外は基底関数を限定しない • 3.1.1~3.1.4 で⽬標変数 ⃗ が1次元の場合を扱い、 3.1.5 では多次元の場合について簡単に述べる • よって、本スライドでは今後 ⃗ を と表記する
10. 3.1.1 最尤推定と最⼩⼆乗法 • ⽬標変数 が関数 とガウスノイズの和で与えられるモデルを考える • = ⃗ , + , ~ 0, 89 • ∴ ⃗ , , = | ⃗ , , 89 • 独⽴同分布な複数の観測値を得られたとすると、尤度関数は次式となる • ∶= {9 , … , Y } , ∶= 9 , … , " ; • , , = ∏"59 Y " | " , " , 89 = ∏"59 Y " |" ; " , 89 • 2番⽬のイコールは(3.3)式より • 以下では ⃗ , , の表記から ⃗ を略記する
11. 3.1.1 最尤推定と最⼩⼆乗法 • 対数尤度関数は1.2.5で議論済みだが以下にベクトル表記で再掲 • ln T , = ∏"59 Y ln "|" ; " , 89 = Y H ln − Y H ln 2 − c (3.11) • ここで、c ∶= 9 H ∑"59 Y " − " ; " H :⼆乗和誤差関数 (3.12) • (3.11)の最⼤化と(3.12)の最⼩化は等価
12. 3.1.1 最尤推定と最⼩⼆乗法 • 対数尤度関数の勾配は • ∇ ln T , = ∑"59 Y " − " ; " " ; (3.13) • (3.13)の左辺を0と置いて整理すると • " ; (∑"59 Y " " ;) = ∑"59 Y " " ; • 上式の転置を取ると • ∑"59 Y " " ; " = ∑"59 Y " " • これを " について解くと最尤推定解 7e が得られる
13. 3.1.1 最尤推定と最⼩⼆乗法 • 結論：最尤推定解 7e = Φ;Φ 89Φ; : 正規⽅程式 (3.15) • Φ ∶= 4 g 9hghY, 6h4h789 : 計画⾏列 (3.16) • 再掲： ∑"59 Y " " ; " = ∑"59 Y " " • 以下の⼆つを⽰せば結論が⾔える 1. ∑"59 Y " " ; = Φ;Φ 2. ∑"59 Y " " = Φ; • 2. はとの定義により従う • 1. も愚直に計算するだけだが次ページで⽰す
14. 3.1.1 最尤推定と最⼩⼆乗法 • ∑"59 Y " " ; = ∑"59 Y 6 " ⋮ 789 " 6 " … 789 " = ∑"59 Y 6 " 6 " ⋯ 6 " 789 " ⋮ ⋱ ⋮ 789 " 6 " ⋯ 789 " 789 " = 6 9 ⋯ 6 Y ⋮ ⋱ ⋮ 789 9 ⋯ 789 Y 6 9 ⋯ 789 Y ⋮ ⋱ ⋮ 6 Y ⋯ 789 789 = g 4 6h4h789, 9hghY 4 g 9hghY, 6h4h789 = Φ;Φ
15. 3.1.1 最尤推定と最⼩⼆乗法 • ムーア-ペンローズの擬似逆⾏列（擬似逆⾏列、または⼀般逆⾏列とも） • 逆⾏列の⾮正則⾏列への⼀般化 • 定義と性質 • https://ja.wikipedia.org/wiki/%E6%93%AC%E4%BC%BC%E9%80 %86%E8%A1%8C%E5%88%97 • 解説 • https://www.slideshare.net/wosugi/ss-79624897 • ΦL ∶= Φ;Φ 89Φ; は Φ の擬似逆⾏列となっている（証明略）
16. 3.1.1 最尤推定と最⼩⼆乗法 • バイアス 6 の解釈 • c ∶= 9 H ∑"59 Y " − " ; " H = 9 H ∑"59 Y " − 6 − ∑459 7 4 4 " H • lmn o lop = −6 + ∑"59 Y " − ∑"59 Y ∑459 7 4 4 " • 上式を0と置くと • 6 = 9 Y ∑"59 Y " − 9 Y ∑"59 Y ∑459 7 4 4 " • 6 = ̅ − ∑459 789 44 , ̅ = 9 Y ∑"59 Y " , 4 = 9 Y ∑"59 Y 4 " • バイアス 6 は、⽬標 の平均と予測の差
17. 3.1.2 最⼩⼆乗法の幾何学 • この章の内容 • 最⼩⼆乗法の解 ⃗ は、 • 計画⾏列の列ベクトル 4 の張る(ℝYの)線形部分空間 の中で • 最も訓練データの⽬標変数 に近いベクトルだよ！
18. 3.1.2 最⼩⼆乗法の幾何学 • ℝY ∶ V. S over ℝ • = 9 , … , Y ; ∈ ℝY, 4 = 4 9 , … , 4 " ; ∈ ℝY • < ⟹ ≔ < 6 , … , 789 > は ℝY の次元線形部分空間 • < 6 , … , 789 > ≔ 4 4 4 ∈ ℝ, ∈ 0, … − 1 } • 線形部分空間なのは部分空間の構成より明らか • ∵ 1. ⊂ ℝY, 2. , ∈ , ∈ ℝ ⟹ + ∈ , ∈ を確かめよ • ⃗ ∈ • 簡単だが⼀応次のページで⽰す
19. 3.1.2 最⼩⼆乗法の幾何学 • ⃗ ≔ 9, , … , Y, ; = ∑456 789 44 9 , … , ∑456 789 44 Y ; • = ∑456 789 4 4 9 , … , 4 Y ; = ∑456 789 4 4 ∈ < 6 , … , 789 > =
20. 3.1.2 最⼩⼆乗法の幾何学 • ⼆乗和誤差(3.12)は、 と ⃗ の⼆乗ユークリッド距離 • c ∶= 9 H ∑"59 Y " − " ; " H = 9 H , ⃗ H • ここで、 ⃗ , ∶= ∑g59 Y g − g H : ユークリッド距離 • よって、 c の最⼩化は線形部分空間 内で 最も に近い ⃗ を選ぶことに相当する
21. 3.1.2 最⼩⼆乗法の幾何学 • 演習3.2 • 1. Φ Φ;Φ 89Φ; は ∀ ⃗ ∈ ℝY を 上に正射影する • 2. 1.より最⼩⼆乗解 7e は 上に を正射影することに対応する
22. 3.1.2 最⼩⼆乗法の幾何学 • 定義： ⃗ ∈ ℝY の への正射影とは、以下A, Bを満たすベクトル ⃗ ˆ ∈ ℝY A) ⃗ ˆ ∈ ≔ < 6 , … , 789 > B) ⃗ − ⃗ ˆ ⊥ ⟺‹Œ• 4 ; ⃗ − ⃗ ˆ = 0 , ∈ 0, … − 1 ⟺ Φ; ⃗ − ⃗ ˆ = 0 ∵ Φ ∶= 4 g 9hghY, 6h4h789
23. 3.1.2 最⼩⼆乗法の幾何学 • 1. Φ Φ;Φ 89Φ; は ∀ ⃗ ∈ ℝY を 上に正射影する • ⃗ ˆ ≔ Φ Φ;Φ 89Φ; ⃗ = Φ = ∑456 789 44 ∈ • ここで、 ∶= Φ;Φ 89Φ; ⃗ • Φ; ⃗ − ⃗ ˆ = Φ; ⃗ − Φ Φ;Φ 89Φ; ⃗ = Φ; − Φ;Φ Φ;Φ 89Φ; ⃗ = 0 • 以上より、 ⃗ ˆが正射影の条件A), B)を満たすため、 Φ Φ;Φ 89Φ; は ∀ ⃗ ∈ ℝY を 上に正射影する
24. 3.1.2 最⼩⼆乗法の幾何学 • 2. 1.より最⼩⼆乗解 7e は 上に を正射影することに対応する • ⃗ ≔ 9, , … , Y, ; = ∑456 789 44 9 , … , ∑456 789 44 Y ; = 9 ;, … , Y ; ; = 9 , … , Y ; = Φ ここで、 = 7e と代⼊すると • ⃗ = Φ7e = Φ Φ;Φ 89Φ; • ∈ ℝY なので、1.より ⃗ は の 上 への正射影
25. 3.1.2 最⼩⼆乗法の幾何学 • Φ;Φ が⾮正則に近い時、正規⽅程式を直接解くのは数値計算的に不安定 • 特に、⼆つ以上の基底ベクトルが線形従属の時、あるいは線形従属に 近い時、求まるパラメータは⾮常に⼤きな値を取ることがある • この問題は、特異値分解(SVD)によって解決できる • 特異値分解： https://ja.wikipedia.org/wiki/%E7%89%B9%E7%95%B0%E5%80 %A4%E5%88%86%E8%A7%A3 • ⾮正則への近さの定義って？⾏列式の絶対値とか？ • 線形従属への近さの定義って？ベクトル間の⾓度とか？
26. 3.1.3 逐次学習 • バッチ学習 • 全ての訓練データを⼀度に学習 • 例：最尤推定 • 処理時間が⻑く、メモリも⾷う • 必要なデータを全て揃えておく必要がある • 逐次学習/オンライン学習 • データを1度に1つだけ⽤いてモデルパラメータを順次更新 • 例：確率的勾配降下法(SGD)
27. 3.1.3 逐次学習 • 確率的勾配降下法(SGD) • 誤差関数が = ∑" " のように和で書ける時、それを最⼩化する • アルゴリズム • (ŽL9) = (Ž) − Ž ∇" • は繰り返し回数, Ž は学習率 • 収束証明があるらしい • 学習率で収束性が⼤きく変化するらしい • 参考資料： https://www.slideshare.net/kisa12012/sgd-future-best- 27314417
28. 3.1.3 逐次学習 • SGDの例：最⼩平均⼆乗アルゴリズム(LMS) • c ∶= 9 H ∑"59 Y " − " ; " H (⼆乗和誤差関数 3.12)の時 ∶= c , " ∶= 9 H " − " ; " H とすると、 = ∑" " • ∇" = " − " ; " " • ∴ (ŽL9) = (Ž) − Ž " − " Ž ; " "
29. 3.1.4 正則化最⼩⼆乗法 • 1.1節で述べた過学習に対応する正則化の復習 • c + λo を最⼩化する • c ：誤差関数 • o ：正則化項 • λ ∈ ℝ：正則化定数 • を⼩さくなるよう正則化項を選んで推定する場合、 パラメータ縮⼩推定と呼ぶ
30. 3.1.4 正則化最⼩⼆乗法 • c ：⼆乗和誤差関数, o ≔ 9 H ∑459 7 4 ’ , ∈ ℝL のとき、 c + λo は(3.29)式となる (縮⼩推定の⼀種) • 9 H ∑"59 Y " − " ; " H + “ H ∑459 7 4 ’ (3.29) • = 1 : Lasso, = 2 : Ridge と呼ぶ • Lassoは λ が⼗分⼤きい時、複数の 4 が 0 となり、 疎な解が得られる • Ridgeは 4 が⼤きい項ほど罰則が⼆乗⼤きいので、 4 の値を均⼀に丸めてくれる
31. 3.1.4 正則化最⼩⼆乗法 • 正則化関数グラフ • 図3.3
32. 3.1.4 正則化最⼩⼆乗法 • 図3.4 • 左がRidge, 右がLasso • ⻘線が誤差関数の等⾼線、⾚が正則化項の制約を満たす領域
33. 3.1.4 正則化最⼩⼆乗法 • 演習3.5 • 図3.4の解釈が正しいことを⽰す問題 • KKT条件(付録E.9~E.11)を⽤いて解く