Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
機械学習を理論から真剣に取り組んでみた件 その1:回帰に関する復習
Search
NearMeの技術発表資料です
PRO
July 28, 2023
Science
0
76
機械学習を理論から真剣に取り組んでみた件 その1:回帰に関する復習
機械学習のイントロとして、まずは回帰の復習を扱っています。特に、線形であるものについて簡単にまとめています。非線形については、次回以降で明らかにし、カーネル法へのかけ渡しとしての資料です!
NearMeの技術発表資料です
PRO
July 28, 2023
Tweet
Share
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
2つの曲線を比較する方法ってあるの? 〜フレシェ距離を試してみた〜 with Python
nearme_tech
PRO
1
18
Constrained K-means Clustering (クラスタサイズの制限をしたK-means法) を調べてみた
nearme_tech
PRO
0
16
VRPの近傍操作SWAP*について調べてみた
nearme_tech
PRO
1
49
新人エンジニアが読んでためになった本
nearme_tech
PRO
2
21
Object–relational mapping and query builder battle 1: Intro to Prisma
nearme_tech
PRO
1
29
深層学習モデルの最適化 -Deep Learning Tuning Playbookを読む-
nearme_tech
PRO
1
52
機械学習を支える連続最適化
nearme_tech
PRO
1
44
サードパーティクッキーの終焉と Topics APIによる代替の可能性
nearme_tech
PRO
1
81
ONNXハンズオン
nearme_tech
PRO
2
28
Other Decks in Science
See All in Science
All-in-One Bioinformatics Platform Realized with Snowflake ~ From In Silico Drug Discovery, Disease Variant Analysis, to Single-Cell RNA-seq
ktatsuya
0
120
Reaping the Benefits of Ritual and Routine
arthurdoler
PRO
0
130
The thin line between reconstruction, classification, and hallucination in brain decoding
ykamit
1
430
FIBA W杯の日本代表って組み合わせ次第で2次ラウンド行けたんじゃね?をデータで検証
saltcooky12
0
230
作業領域内の障害物を回避可能なバイナリマニピュレータの設計 / Design of binary manipulator avoiding obstacles in workspace
konakalab
0
120
Survival Under Fire: How to Stay Whole During Adversity
arthurdoler
PRO
0
120
大規模画像テキストデータのフィルタリング手法の紹介
lyakaap
6
1.3k
東大・松尾研主催 LLM Summer 2023 コンペ解法 (11位 – 20位枠での優秀賞)
hayataka88
0
270
Machine Learning for Materials (Lecture 9)
aronwalsh
0
170
Non-Gaussian methods for causal discovery
sshimizu2006
0
230
Machine Learning for Materials (Lecture 5)
aronwalsh
0
610
A Theory of Scrum Team Effectiveness 〜『ゾンビスクラムサバイバルガイド』の裏側にある科学〜
bonotake
15
6.2k
Featured
See All Featured
Scaling GitHub
holman
458
140k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.3k
Facilitating Awesome Meetings
lara
46
5.8k
How GitHub (no longer) Works
holman
305
140k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
248
20k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
29
2.5k
Speed Design
sergeychernyshev
9
270
Pencils Down: Stop Designing & Start Developing
hursman
118
11k
StorybookのUI Testing Handbookを読んだ
zakiyama
15
4.9k
Atom: Resistance is Futile
akmur
261
25k
Mobile First: as difficult as doing things right
swwweet
219
8.8k
Practical Orchestrator
shlominoach
185
10k
Transcript
0 機械学習を理論から真剣に取り組んでみた件 その1:回帰に関する復習 2023-07-21 第53回NearMe技術勉強会 Asahi Kaito
1 機械学習では避けられない、 行列の理論に関しての復習を扱います。
2 その中で、前提となる回帰問題について、復習します。
3 1. 回帰について 1-1. 線形な単回帰と重回帰 1次式で表すことができるもの
4 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 1つの変数 x
に依存してある従属変数 y が関係あると仮定する ◦ 線形な単回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1)は定数 ◦ 問題 → ci (i=0, 1)の決定!!
5 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 問題 →
ci (i=0, 1)の決定(最適な直線を引こう!)!!
6 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 訓練データ を用いて、以下の誤差関数を最小化できるci
(i=0, 1) を求める。
7 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法
8 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 c1 について、下に凸
9 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 c1 について、下に凸 c0
について、下に凸
10 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 → 誤差を最小にするci (i=0,
1)が存在する!! c1 について、下に凸 c0 について、下に凸
11 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法
12 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法
13 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ あとは、以下の連立方程式を解けば良い
14 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 連立方程式を行列で表現して...
15 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 係数行列の行列式を計算して...
16 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 解を求める!!
17 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 係数行列の逆行列は以下なので...
18 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 計算してみましょう!!
19 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 答え(係数行列の逆行列が存在すれば)
20 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ もう一歩(統計的に意味のある量で表現!!)
21 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ もう一歩(統計的に意味のある量で表現!!) 平均値の表現!!
(他の部分も)
22 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ もう一歩(統計的に意味のある量で表現!!) →
(かの有名な)最小二乗法!!
23 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ 複数の変数 xi
(i=1, 2, 3, …, d) に依存している従属変数 y が関係あると仮定する ◦ 線形な重回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1, 2, …, d)は定数 ◦ 問題 → ci (i=0, 1, 2, …, d) の決定!!
24 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰
25 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
26 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
27 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ここでも、二乗誤差を計算してみる
28 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ベクトルで微分を行って、
29 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ベクトルで微分を行って、この値が0となるとき、
30 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ベクトルで微分を行って、この値が0となるとき、 これが存在すれば
31 1. 回帰について 1-2. 非線形な単回帰と重回帰 • 非線形とは ◦ 説明変数が1次以外のものが含まれている ◦
例1: ◦ 例2: → ものによっては、線形のときのようにうまくいかないものも... → なんとか線形化できないか?
32 次回 線形化手法 〜カーネル法〜
33 参考図書 http://www.rokakuho.co.jp/data/books/0171.html http://www.rokakuho.co.jp/data/books/0172.html
34 a. 線形な単回帰と重回帰に罰則の追加(正則化) • リッジ回帰、ラッソ回帰 → そこで、係数によるペナルティを設ける(正則化項の追加) 1. 回帰について(補足) c1
やc0 による影響が大きく出る
35 a. 線形な単回帰と重回帰に罰則の追加(正則化) • リッジ回帰、ラッソ回帰 → リッジ回帰 1. 回帰について(補足)
36 a. 線形な単回帰と重回帰に罰則の追加(正則化) • リッジ回帰、ラッソ回帰 → ラッソ回帰 1. 回帰について(補足)
37 b. 逆行列が計算できないときについて • 擬似逆行列、一般逆行列を用いる ◦ 例)ムーア・ペンローズ形一般逆行列 ▪ 元の行列が零行列でなく、行列式の値が0であるときは、2次正方行列では以下のようになる →
一般逆行列などは、右記の書籍などで学習できる https://www.utp.or.jp/book/b375477.html 1. 回帰について(補足)
38 Thank you