$30 off During Our Annual Pro Sale. View Details »

機械学習を理論から真剣に取り組んでみた件 その1:回帰に関する復習

機械学習を理論から真剣に取り組んでみた件 その1:回帰に関する復習

機械学習のイントロとして、まずは回帰の復習を扱っています。特に、線形であるものについて簡単にまとめています。非線形については、次回以降で明らかにし、カーネル法へのかけ渡しとしての資料です!

More Decks by NearMeの技術発表資料です

Other Decks in Science

Transcript

  1. 0
    機械学習を理論から真剣に取り組んでみた件
    その1:回帰に関する復習
    2023-07-21 第53回NearMe技術勉強会
    Asahi Kaito

    View Slide

  2. 1
    機械学習では避けられない、
    行列の理論に関しての復習を扱います。

    View Slide

  3. 2
    その中で、前提となる回帰問題について、復習します。

    View Slide

  4. 3
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    1次式で表すことができるもの

    View Slide

  5. 4
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 単回帰
    ○ 1つの変数 x に依存してある従属変数 y が関係あると仮定する
    ○ 線形な単回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1)は定数
    ○ 問題 → ci (i=0, 1)の決定!!

    View Slide

  6. 5
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 単回帰
    ○ 問題 → ci (i=0, 1)の決定(最適な直線を引こう!)!!

    View Slide

  7. 6
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ 訓練データ                      を用いて、以下の誤差関数を最小化できるci (i=0, 1)
    を求める。

    View Slide

  8. 7
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法

    View Slide

  9. 8
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    c1
    について、下に凸

    View Slide

  10. 9
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    c1
    について、下に凸 c0
    について、下に凸

    View Slide

  11. 10
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    → 誤差を最小にするci (i=0, 1)が存在する!!
    c1
    について、下に凸 c0
    について、下に凸

    View Slide

  12. 11
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法

    View Slide

  13. 12
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法

    View Slide

  14. 13
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ あとは、以下の連立方程式を解けば良い

    View Slide

  15. 14
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ 連立方程式を行列で表現して...

    View Slide

  16. 15
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ 係数行列の行列式を計算して...

    View Slide

  17. 16
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ 解を求める!!

    View Slide

  18. 17
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ 係数行列の逆行列は以下なので...

    View Slide

  19. 18
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ 計算してみましょう!!

    View Slide

  20. 19
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ 答え(係数行列の逆行列が存在すれば)

    View Slide

  21. 20
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ もう一歩(統計的に意味のある量で表現!!)

    View Slide

  22. 21
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ もう一歩(統計的に意味のある量で表現!!)
    平均値の表現!!
    (他の部分も)

    View Slide

  23. 22
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 線形な単回帰の基本的な解法
    ○ もう一歩(統計的に意味のある量で表現!!)
    → (かの有名な)最小二乗法!!

    View Slide

  24. 23
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    ○ 複数の変数 xi
    (i=1, 2, 3, …, d) に依存している従属変数 y が関係あると仮定する
    ○ 線形な重回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1, 2, …, d)は定数
    ○ 問題 → ci
    (i=0, 1, 2, …, d) の決定!!

    View Slide

  25. 24
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰

    View Slide

  26. 25
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    ○ これを、訓練データ分計算する必要があるので、さらに行列に拡張する

    View Slide

  27. 26
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    ○ これを、訓練データ分計算する必要があるので、さらに行列に拡張する

    View Slide

  28. 27
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    ○ ここでも、二乗誤差を計算してみる

    View Slide

  29. 28
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    ○ ベクトルで微分を行って、

    View Slide

  30. 29
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    ○ ベクトルで微分を行って、この値が0となるとき、

    View Slide

  31. 30
    1. 回帰について
    1-1. 線形な単回帰と重回帰
    ● 重回帰
    ○ ベクトルで微分を行って、この値が0となるとき、
    これが存在すれば

    View Slide

  32. 31
    1. 回帰について
    1-2. 非線形な単回帰と重回帰
    ● 非線形とは
    ○ 説明変数が1次以外のものが含まれている
    ○ 例1:
    ○ 例2:
    → ものによっては、線形のときのようにうまくいかないものも... → なんとか線形化できないか?

    View Slide

  33. 32
    次回
    線形化手法 〜カーネル法〜

    View Slide

  34. 33
    参考図書
    http://www.rokakuho.co.jp/data/books/0171.html http://www.rokakuho.co.jp/data/books/0172.html

    View Slide

  35. 34
    a. 線形な単回帰と重回帰に罰則の追加(正則化)
    ● リッジ回帰、ラッソ回帰
    → そこで、係数によるペナルティを設ける(正則化項の追加)
    1. 回帰について(補足)
    c1
    やc0
    による影響が大きく出る

    View Slide

  36. 35
    a. 線形な単回帰と重回帰に罰則の追加(正則化)
    ● リッジ回帰、ラッソ回帰
    → リッジ回帰
    1. 回帰について(補足)

    View Slide

  37. 36
    a. 線形な単回帰と重回帰に罰則の追加(正則化)
    ● リッジ回帰、ラッソ回帰
    → ラッソ回帰
    1. 回帰について(補足)

    View Slide

  38. 37
    b. 逆行列が計算できないときについて
    ● 擬似逆行列、一般逆行列を用いる
    ○ 例)ムーア・ペンローズ形一般逆行列
    ■ 元の行列が零行列でなく、行列式の値が0であるときは、2次正方行列では以下のようになる
    → 一般逆行列などは、右記の書籍などで学習できる
    https://www.utp.or.jp/book/b375477.html
    1. 回帰について(補足)

    View Slide

  39. 38
    Thank you

    View Slide