Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
0 機械学習を理論から真剣に取り組んでみた件 その1：回帰に関する復習 2023-07-21 第53回NearMe技術勉強会 Asahi Kaito
Slide 2
Slide 2 text
1 機械学習では避けられない、 行列の理論に関しての復習を扱います。
Slide 3
Slide 3 text
2 その中で、前提となる回帰問題について、復習します。
Slide 4
Slide 4 text
3 1. 回帰について 1-1. 線形な単回帰と重回帰 1次式で表すことができるもの
Slide 5
Slide 5 text
4 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 単回帰 ○ 1つの変数 x に依存してある従属変数 y が関係あると仮定する ○ 線形な単回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1)は定数 ○ 問題 → ci (i=0, 1)の決定！！
Slide 6
Slide 6 text
5 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 単回帰 ○ 問題 → ci (i=0, 1)の決定（最適な直線を引こう！）！！
Slide 7
Slide 7 text
6 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 ○ 訓練データ を用いて、以下の誤差関数を最小化できるci (i=0, 1) を求める。
Slide 8
Slide 8 text
7 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法
Slide 9
Slide 9 text
8 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 c1 について、下に凸
Slide 10
Slide 10 text
9 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 c1 について、下に凸 c0 について、下に凸
Slide 11
Slide 11 text
10 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 → 誤差を最小にするci (i=0, 1)が存在する！！ c1 について、下に凸 c0 について、下に凸
Slide 12
Slide 12 text
11 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法
Slide 13
Slide 13 text
12 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法
Slide 14
Slide 14 text
13 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 ○ あとは、以下の連立方程式を解けば良い
Slide 15
Slide 15 text
14 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 ○ 連立方程式を行列で表現して...
Slide 16
Slide 16 text
15 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 ○ 係数行列の行列式を計算して...
Slide 17
Slide 17 text
16 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 ○ 解を求める！！
Slide 18
Slide 18 text
17 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 ○ 係数行列の逆行列は以下なので...
Slide 19
Slide 19 text
18 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 ○ 計算してみましょう！！
Slide 20
Slide 20 text
19 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 ○ 答え（係数行列の逆行列が存在すれば）
Slide 21
Slide 21 text
20 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 ○ もう一歩（統計的に意味のある量で表現！！）
Slide 22
Slide 22 text
21 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 ○ もう一歩（統計的に意味のある量で表現！！） 平均値の表現！！ （他の部分も）
Slide 23
Slide 23 text
22 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 線形な単回帰の基本的な解法 ○ もう一歩（統計的に意味のある量で表現！！） → （かの有名な）最小二乗法！！
Slide 24
Slide 24 text
23 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 重回帰 ○ 複数の変数 xi (i=1, 2, 3, …, d) に依存している従属変数 y が関係あると仮定する ○ 線形な重回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1, 2, …, d)は定数 ○ 問題 → ci (i=0, 1, 2, …, d) の決定！！
Slide 25
Slide 25 text
24 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 重回帰
Slide 26
Slide 26 text
25 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 重回帰 ○ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
Slide 27
Slide 27 text
26 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 重回帰 ○ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
Slide 28
Slide 28 text
27 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 重回帰 ○ ここでも、二乗誤差を計算してみる
Slide 29
Slide 29 text
28 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 重回帰 ○ ベクトルで微分を行って、
Slide 30
Slide 30 text
29 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 重回帰 ○ ベクトルで微分を行って、この値が0となるとき、
Slide 31
Slide 31 text
30 1. 回帰について 1-1. 線形な単回帰と重回帰 ● 重回帰 ○ ベクトルで微分を行って、この値が0となるとき、 これが存在すれば
Slide 32
Slide 32 text
31 1. 回帰について 1-2. 非線形な単回帰と重回帰 ● 非線形とは ○ 説明変数が1次以外のものが含まれている ○ 例1： ○ 例2： → ものによっては、線形のときのようにうまくいかないものも... → なんとか線形化できないか？
Slide 33
Slide 33 text
32 次回 線形化手法 〜カーネル法〜
Slide 34
Slide 34 text
33 参考図書 http://www.rokakuho.co.jp/data/books/0171.html http://www.rokakuho.co.jp/data/books/0172.html
Slide 35
Slide 35 text
34 a. 線形な単回帰と重回帰に罰則の追加（正則化） ● リッジ回帰、ラッソ回帰 → そこで、係数によるペナルティを設ける（正則化項の追加） 1. 回帰について（補足） c1 やc0 による影響が大きく出る
Slide 36
Slide 36 text
35 a. 線形な単回帰と重回帰に罰則の追加（正則化） ● リッジ回帰、ラッソ回帰 → リッジ回帰 1. 回帰について（補足）
Slide 37
Slide 37 text
36 a. 線形な単回帰と重回帰に罰則の追加（正則化） ● リッジ回帰、ラッソ回帰 → ラッソ回帰 1. 回帰について（補足）
Slide 38
Slide 38 text
37 b. 逆行列が計算できないときについて ● 擬似逆行列、一般逆行列を用いる ○ 例）ムーア・ペンローズ形一般逆行列 ■ 元の行列が零行列でなく、行列式の値が0であるときは、2次正方行列では以下のようになる → 一般逆行列などは、右記の書籍などで学習できる https://www.utp.or.jp/book/b375477.html 1. 回帰について（補足）
Slide 39
Slide 39 text
38 Thank you