機械学習を理論から真剣に取り組んでみた件その2：線形化に挑戦しよう！

Slide 1

Slide 1 text

0 機械学習を理論から真剣に取り組んでみた件その2：線形化に挑戦しよう！ 2023-08-18 第56回NearMe技術勉強会 Asahi Kaito

Slide 2

Slide 2 text

1 前回のスライドの復習から始めます

Slide 3

Slide 3 text

2 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 単回帰 ○ 1つの変数 x に依存してある従属変数 y が関係あると仮定する ○ 線形な単回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1)は定数 ○ 問題 → ci (i=0, 1)の決定！！

Slide 4

Slide 4 text

3 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 単回帰 ○ 問題 → ci (i=0, 1)の決定（最適な直線を引こう！）！！

Slide 5

Slide 5 text

4 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 ○ 訓練データ　　　　　　　　　　　　　　　　　　　　　を用いて、以下の誤差関数を最小化できるci (i=0, 1)を求める。

Slide 6

Slide 6 text

5 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 ○ 連立方程式を行列で表現して...

Slide 7

Slide 7 text

6 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 ○ 答え（係数行列の逆行列が存在すれば）

Slide 8

Slide 8 text

7 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 重回帰 ○ 複数の変数 xi (i=1, 2, 3, …, d) に依存している従属変数 y が関係あると仮定する ○ 線形な重回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1, 2, …, d)は定数 ○ 問題 → ci (i=0, 1, 2, …, d) の決定！！

Slide 9

Slide 9 text

8 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 重回帰 ○ これを、訓練データ分計算する必要があるので、さらに行列に拡張する

Slide 10

Slide 10 text

9 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 重回帰 ○ ここでも、二乗誤差を計算してみる

Slide 11

Slide 11 text

10 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 重回帰 ○ ベクトルで微分を行って、この値が0となるとき、これが存在すれば

Slide 12

Slide 12 text

11 1. 回帰について 1-2. 非線形な単回帰と重回帰 ● 非線形とは ○ 説明変数が1次以外のものが含まれている ○ 例1： ○ 例2： → ものによっては、線形のときのようにうまくいかないものも... → なんとか線形化できないか？

Slide 13

Slide 13 text

12 2回目：線形化手法　〜カーネル法〜

Slide 14

Slide 14 text

13 2. 線形化手法　〜カーネル法〜 2-1. カーネル関数について 2-1-1. カーネル関数とは ● kが集合X上の2変数関数 ● 以下の2つを満たすとき、kは集合X上のカーネル関数という (1) (2)

Slide 15

Slide 15 text

14 2. 線形化手法　〜カーネル法〜 2-1. カーネル関数について 2-1-2. カーネル関数の必要性 ● 次元を上げることができる ○ どういうこと？ ■ k(x, y)の分布は、x, yが実数であれば、3次元に分布する（z=k(x, y)） ■ 高次元化することで、分類がより明確になることがある

Slide 16

Slide 16 text

15 2. 線形化手法　〜カーネル法〜 2-1. カーネル関数について 2-1-3. カーネル関数の例 ● 以下の2つのものは、カーネル関数の例 (1)　　　　　　　　　　　　 (2)　

Slide 17

Slide 17 text

16 2. 線形化手法　〜カーネル法〜 2-1. カーネル関数について 2-1-4. カーネル関数の特徴 ● カーネル関数の和や積も、カーネル関数になる (1)　　　　　　　　　　　　　 (2)　　　　　　　　　　　　

Slide 18

Slide 18 text

17 2. 線形化手法　〜カーネル法〜 2-1. カーネル関数について 2-1-4. カーネル関数の特徴 ● これらを組み合わせて、カーネル関数を構築していく→どんなものがあるのかな？ (1) (2) (3) (4)

Slide 19

Slide 19 text

18 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 ● 以下の関数（ガウスカーネル）がカーネル関数であることを示しましょう

Slide 20

Slide 20 text

19 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 ● 以下の関数（ガウスカーネル）がカーネル関数であることを示しましょう (1)

Slide 21

Slide 21 text

20 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 ● 以下の関数（ガウスカーネル）がカーネル関数であることを示しましょう (1)

Slide 22

Slide 22 text

21 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 ● 以下の関数（ガウスカーネル）がカーネル関数であることを示しましょう (1)

Slide 23

Slide 23 text

22 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 ● 以下の関数（ガウスカーネル）がカーネル関数であることを示しましょう (1)

Slide 24

Slide 24 text

23 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 ● 以下の関数（ガウスカーネル）がカーネル関数であることを示しましょう (2)

Slide 25

Slide 25 text

24 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 ● 以下の関数（ガウスカーネル）がカーネル関数であることを示しましょう (2)

Slide 26

Slide 26 text

25 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰）入力データ　　　　　　　　　　　　出力データ　　　　　　　　　　　　　　　以下を最小にする次数が d 以下の多項式 f を見つけよ。

Slide 27

Slide 27 text

26 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰）　　　　　　　　　　　　　適当なベクトル　　　　　　　　　　　　以下の多項式 fv の次数は d 以下となる。

Slide 28

Slide 28 text

27 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰）　　　　　　　　　　　　　　　　　　　で張られる空間への直交射影 P を用いると、

Slide 29

Slide 29 text

28 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰）よって、以下のようにベクトル v を設定して良い！

Slide 30

Slide 30 text

29 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰）

Slide 31

Slide 31 text

30 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰）

Slide 32

Slide 32 text

31 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰） → 係数 c を分離することができた！！カーネル関数

Slide 33

Slide 33 text

32 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰）

Slide 34

Slide 34 text

33 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰）入力データ　　　　　　　　　　　　出力データ　　　　　　　　　　　　　　　以下を最小にする次数が d 以下の多項式 f を見つけよ。

Slide 35

Slide 35 text

34 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰）

Slide 36

Slide 36 text

35 2. 線形化手法　〜カーネル法〜 2-3. カーネル関数の実践（多項式回帰） To Colab : https://colab.research.google.com/drive/1pGGa5ui-RxsKLNi5Wb50zVLyn3Hbx4Dk?usp=sharing

Slide 37

Slide 37 text

36 次回少しステップアップ！カーネル回帰

Slide 38

Slide 38 text

37 参考図書 http://www.rokakuho.co.jp/data/books/0171.html http://www.rokakuho.co.jp/data/books/0172.html

Slide 39

Slide 39 text

38 Thank you