機械学習のイントロとして、まずは回帰の復習を扱っています。特に、線形であるものについて簡単にまとめています。非線形については、次回以降で明らかにし、カーネル法へのかけ渡しとしての資料です!
0機械学習を理論から真剣に取り組んでみた件その1:回帰に関する復習2023-07-21 第53回NearMe技術勉強会Asahi Kaito
View Slide
1機械学習では避けられない、行列の理論に関しての復習を扱います。
2その中で、前提となる回帰問題について、復習します。
31. 回帰について1-1. 線形な単回帰と重回帰1次式で表すことができるもの
41. 回帰について1-1. 線形な単回帰と重回帰● 単回帰○ 1つの変数 x に依存してある従属変数 y が関係あると仮定する○ 線形な単回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1)は定数○ 問題 → ci (i=0, 1)の決定!!
51. 回帰について1-1. 線形な単回帰と重回帰● 単回帰○ 問題 → ci (i=0, 1)の決定(最適な直線を引こう!)!!
61. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法○ 訓練データ を用いて、以下の誤差関数を最小化できるci (i=0, 1)を求める。
71. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法
81. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法c1について、下に凸
91. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法c1について、下に凸 c0について、下に凸
101. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法→ 誤差を最小にするci (i=0, 1)が存在する!!c1について、下に凸 c0について、下に凸
111. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法
121. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法
131. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法○ あとは、以下の連立方程式を解けば良い
141. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法○ 連立方程式を行列で表現して...
151. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法○ 係数行列の行列式を計算して...
161. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法○ 解を求める!!
171. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法○ 係数行列の逆行列は以下なので...
181. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法○ 計算してみましょう!!
191. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法○ 答え(係数行列の逆行列が存在すれば)
201. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法○ もう一歩(統計的に意味のある量で表現!!)
211. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法○ もう一歩(統計的に意味のある量で表現!!)平均値の表現!!(他の部分も)
221. 回帰について1-1. 線形な単回帰と重回帰● 線形な単回帰の基本的な解法○ もう一歩(統計的に意味のある量で表現!!)→ (かの有名な)最小二乗法!!
231. 回帰について1-1. 線形な単回帰と重回帰● 重回帰○ 複数の変数 xi(i=1, 2, 3, …, d) に依存している従属変数 y が関係あると仮定する○ 線形な重回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1, 2, …, d)は定数○ 問題 → ci(i=0, 1, 2, …, d) の決定!!
241. 回帰について1-1. 線形な単回帰と重回帰● 重回帰
251. 回帰について1-1. 線形な単回帰と重回帰● 重回帰○ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
261. 回帰について1-1. 線形な単回帰と重回帰● 重回帰○ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
271. 回帰について1-1. 線形な単回帰と重回帰● 重回帰○ ここでも、二乗誤差を計算してみる
281. 回帰について1-1. 線形な単回帰と重回帰● 重回帰○ ベクトルで微分を行って、
291. 回帰について1-1. 線形な単回帰と重回帰● 重回帰○ ベクトルで微分を行って、この値が0となるとき、
301. 回帰について1-1. 線形な単回帰と重回帰● 重回帰○ ベクトルで微分を行って、この値が0となるとき、これが存在すれば
311. 回帰について1-2. 非線形な単回帰と重回帰● 非線形とは○ 説明変数が1次以外のものが含まれている○ 例1:○ 例2:→ ものによっては、線形のときのようにうまくいかないものも... → なんとか線形化できないか?
32次回線形化手法 〜カーネル法〜
33参考図書http://www.rokakuho.co.jp/data/books/0171.html http://www.rokakuho.co.jp/data/books/0172.html
34a. 線形な単回帰と重回帰に罰則の追加(正則化)● リッジ回帰、ラッソ回帰→ そこで、係数によるペナルティを設ける(正則化項の追加)1. 回帰について(補足)c1やc0による影響が大きく出る
35a. 線形な単回帰と重回帰に罰則の追加(正則化)● リッジ回帰、ラッソ回帰→ リッジ回帰1. 回帰について(補足)
36a. 線形な単回帰と重回帰に罰則の追加(正則化)● リッジ回帰、ラッソ回帰→ ラッソ回帰1. 回帰について(補足)
37b. 逆行列が計算できないときについて● 擬似逆行列、一般逆行列を用いる○ 例)ムーア・ペンローズ形一般逆行列■ 元の行列が零行列でなく、行列式の値が0であるときは、2次正方行列では以下のようになる→ 一般逆行列などは、右記の書籍などで学習できるhttps://www.utp.or.jp/book/b375477.html1. 回帰について(補足)
38Thank you