機械学習を理論から真剣に取り組んでみた件 その1：回帰に関する復習

機械学習のイントロとして、まずは回帰の復習を扱っています。特に、線形であるものについて簡単にまとめています。非線形については、次回以降で明らかにし、カーネル法へのかけ渡しとしての資料です！

Transcript

1. 0 機械学習を理論から真剣に取り組んでみた件 その1：回帰に関する復習 2023-07-21 第53回NearMe技術勉強会 Asahi Kaito
2. 1 機械学習では避けられない、 行列の理論に関しての復習を扱います。
3. 2 その中で、前提となる回帰問題について、復習します。
4. 3 1. 回帰について 1-1. 線形な単回帰と重回帰 1次式で表すことができるもの
5. 4 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 1つの変数 x に依存してある従属変数 y が関係あると仮定する ◦ 線形な単回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1)は定数 ◦ 問題 → ci (i=0, 1)の決定！！
6. 5 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 問題 → ci (i=0, 1)の決定（最適な直線を引こう！）！！
7. 6 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 訓練データ　　　　　　　　　　　　　　　　　　　　　 を用いて、以下の誤差関数を最小化できるci (i=0, 1) を求める。
8. 7 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法
9. 8 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 c1 について、下に凸
10. 9 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 c1 について、下に凸 c0 について、下に凸
11. 10 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 → 誤差を最小にするci (i=0, 1)が存在する！！ c1 について、下に凸 c0 について、下に凸
12. 11 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法
13. 12 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法
14. 13 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ あとは、以下の連立方程式を解けば良い
15. 14 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 連立方程式を行列で表現して...
16. 15 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 係数行列の行列式を計算して...
17. 16 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 解を求める！！
18. 17 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 係数行列の逆行列は以下なので...
19. 18 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 計算してみましょう！！
20. 19 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 答え（係数行列の逆行列が存在すれば）
21. 20 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ もう一歩（統計的に意味のある量で表現！！）
22. 21 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ もう一歩（統計的に意味のある量で表現！！） 平均値の表現！！ （他の部分も）
23. 22 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ もう一歩（統計的に意味のある量で表現！！） → （かの有名な）最小二乗法！！
24. 23 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ 複数の変数 xi (i=1, 2, 3, …, d) に依存している従属変数 y が関係あると仮定する ◦ 線形な重回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1, 2, …, d)は定数 ◦ 問題 → ci (i=0, 1, 2, …, d) の決定！！
25. 24 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰
26. 25 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
27. 26 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
28. 27 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ここでも、二乗誤差を計算してみる
29. 28 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ベクトルで微分を行って、
30. 29 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ベクトルで微分を行って、この値が0となるとき、
31. 30 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ベクトルで微分を行って、この値が0となるとき、 これが存在すれば
32. 31 1. 回帰について 1-2. 非線形な単回帰と重回帰 • 非線形とは ◦ 説明変数が1次以外のものが含まれている ◦ 例1： ◦ 例2： → ものによっては、線形のときのようにうまくいかないものも... → なんとか線形化できないか？
33. 32 次回 線形化手法　〜カーネル法〜
34. 33 参考図書 http://www.rokakuho.co.jp/data/books/0171.html http://www.rokakuho.co.jp/data/books/0172.html
35. 34 a. 線形な単回帰と重回帰に罰則の追加（正則化） • リッジ回帰、ラッソ回帰 → そこで、係数によるペナルティを設ける（正則化項の追加） 1. 回帰について（補足） c1 やc0 による影響が大きく出る
36. 35 a. 線形な単回帰と重回帰に罰則の追加（正則化） • リッジ回帰、ラッソ回帰 → リッジ回帰 1. 回帰について（補足）
37. 36 a. 線形な単回帰と重回帰に罰則の追加（正則化） • リッジ回帰、ラッソ回帰 → ラッソ回帰 1. 回帰について（補足）
38. 37 b. 逆行列が計算できないときについて • 擬似逆行列、一般逆行列を用いる ◦ 例）ムーア・ペンローズ形一般逆行列 ▪ 元の行列が零行列でなく、行列式の値が0であるときは、2次正方行列では以下のようになる → 一般逆行列などは、右記の書籍などで学習できる https://www.utp.or.jp/book/b375477.html 1. 回帰について（補足）
39. 38 Thank you