機械学習を理論から真剣に取り組んでみた件 その1：回帰に関する復習

機械学習のイントロとして、まずは回帰の復習を扱っています。特に、線形であるものについて簡単にまとめています。非線形については、次回以降で明らかにし、カーネル法へのかけ渡しとしての資料です！

Transcript

1. 0
   機械学習を理論から真剣に取り組んでみた件
   その1：回帰に関する復習
   2023-07-21 第53回NearMe技術勉強会
   Asahi Kaito
   

   View Slide

2. 1
   機械学習では避けられない、
   行列の理論に関しての復習を扱います。
   

   View Slide

3. 2
   その中で、前提となる回帰問題について、復習します。
   

   View Slide

4. 3
   1. 回帰について
   1-1. 線形な単回帰と重回帰
   1次式で表すことができるもの
   

   View Slide

5. 4
   1. 回帰について
   1-1. 線形な単回帰と重回帰
   ● 単回帰
   ○ 1つの変数 x に依存してある従属変数 y が関係あると仮定する
   ○ 線形な単回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1)は定数
   ○ 問題 → ci (i=0, 1)の決定！！
   

   View Slide

6. 5
   1. 回帰について
   1-1. 線形な単回帰と重回帰
   ● 単回帰
   ○ 問題 → ci (i=0, 1)の決定（最適な直線を引こう！）！！
   

   View Slide

7. 6
   1. 回帰について
   1-1. 線形な単回帰と重回帰
   ● 線形な単回帰の基本的な解法
   ○ 訓練データ　　　　　　　　　　　　　　　　　　　　　 を用いて、以下の誤差関数を最小化できるci (i=0, 1)
   を求める。
   

   View Slide

8. 7
   1. 回帰について
   1-1. 線形な単回帰と重回帰
   ● 線形な単回帰の基本的な解法
   

   View Slide

9. 8
   1. 回帰について
   1-1. 線形な単回帰と重回帰
   ● 線形な単回帰の基本的な解法
   c1
   について、下に凸
   

   View Slide

10. 9
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    c1
    について、下に凸 c0
    について、下に凸
    

    View Slide

11. 10
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    → 誤差を最小にするci (i=0, 1)が存在する！！
    c1
    について、下に凸 c0
    について、下に凸
    

    View Slide

12. 11
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    

    View Slide

13. 12
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    

    View Slide

14. 13
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ あとは、以下の連立方程式を解けば良い
    

    View Slide

15. 14
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ 連立方程式を行列で表現して...
    

    View Slide

16. 15
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ 係数行列の行列式を計算して...
    

    View Slide

17. 16
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ 解を求める！！
    

    View Slide

18. 17
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ 係数行列の逆行列は以下なので...
    

    View Slide

19. 18
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ 計算してみましょう！！
    

    View Slide

20. 19
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ 答え（係数行列の逆行列が存在すれば）
    

    View Slide

21. 20
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ もう一歩（統計的に意味のある量で表現！！）
    

    View Slide

22. 21
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ もう一歩（統計的に意味のある量で表現！！）
    平均値の表現！！
    （他の部分も）
    

    View Slide

23. 22
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ もう一歩（統計的に意味のある量で表現！！）
    → （かの有名な）最小二乗法！！
    

    View Slide

24. 23
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    ○ 複数の変数 xi
    (i=1, 2, 3, …, d) に依存している従属変数 y が関係あると仮定する
    ○ 線形な重回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1, 2, …, d)は定数
    ○ 問題 → ci
    (i=0, 1, 2, …, d) の決定！！
    

    View Slide

25. 24
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    

    View Slide

26. 25
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    ○ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
    

    View Slide

27. 26
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    ○ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
    

    View Slide

28. 27
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    ○ ここでも、二乗誤差を計算してみる
    

    View Slide

29. 28
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    ○ ベクトルで微分を行って、
    

    View Slide

30. 29
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    ○ ベクトルで微分を行って、この値が0となるとき、
    

    View Slide

31. 30
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    ○ ベクトルで微分を行って、この値が0となるとき、
    これが存在すれば
    

    View Slide

32. 31
    1. 回帰について
    1-2. 非線形な単回帰と重回帰
    ● 非線形とは
    ○ 説明変数が1次以外のものが含まれている
    ○ 例1：
    ○ 例2：
    → ものによっては、線形のときのようにうまくいかないものも... → なんとか線形化できないか？
    

    View Slide

33. 32
    次回
    線形化手法　〜カーネル法〜
    

    View Slide

34. 33
    参考図書
    http://www.rokakuho.co.jp/data/books/0171.html http://www.rokakuho.co.jp/data/books/0172.html
    

    View Slide

35. 34
    a. 線形な単回帰と重回帰に罰則の追加（正則化）
    ● リッジ回帰、ラッソ回帰
    → そこで、係数によるペナルティを設ける（正則化項の追加）
    1. 回帰について（補足）
    c1
    やc0
    による影響が大きく出る
    

    View Slide

36. 35
    a. 線形な単回帰と重回帰に罰則の追加（正則化）
    ● リッジ回帰、ラッソ回帰
    → リッジ回帰
    1. 回帰について（補足）
    

    View Slide

37. 36
    a. 線形な単回帰と重回帰に罰則の追加（正則化）
    ● リッジ回帰、ラッソ回帰
    → ラッソ回帰
    1. 回帰について（補足）
    

    View Slide

38. 37
    b. 逆行列が計算できないときについて
    ● 擬似逆行列、一般逆行列を用いる
    ○ 例）ムーア・ペンローズ形一般逆行列
    ■ 元の行列が零行列でなく、行列式の値が0であるときは、2次正方行列では以下のようになる
    → 一般逆行列などは、右記の書籍などで学習できる
    https://www.utp.or.jp/book/b375477.html
    1. 回帰について（補足）
    

    View Slide

39. 38
    Thank you
    

    View Slide