Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
機械学習を理論から真剣に取り組んでみた件 その1:回帰に関する復習
Search
NearMeの技術発表資料です
PRO
July 28, 2023
Science
0
95
機械学習を理論から真剣に取り組んでみた件 その1:回帰に関する復習
機械学習のイントロとして、まずは回帰の復習を扱っています。特に、線形であるものについて簡単にまとめています。非線形については、次回以降で明らかにし、カーネル法へのかけ渡しとしての資料です!
NearMeの技術発表資料です
PRO
July 28, 2023
Tweet
Share
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
ルートの質を評価する指標について
nearme_tech
PRO
0
13
Rustで作る強化学習エージェント
nearme_tech
PRO
0
42
ビームサーチ
nearme_tech
PRO
0
36
WASM入門
nearme_tech
PRO
0
35
ESLintをもっと有効活用しよう
nearme_tech
PRO
0
25
リファクタリングのための第一歩
nearme_tech
PRO
0
68
ガウス過程回帰とベイズ最適化
nearme_tech
PRO
1
190
確率的プログラミング入門
nearme_tech
PRO
2
120
Observability and OpenTelemetry
nearme_tech
PRO
2
46
Other Decks in Science
See All in Science
私たちのプロダクトにとってのよいテスト/good test for our products
camel_404
0
250
Tensor Representations in Signal Processing and Machine Learning (Tutorial at APSIPA-ASC 2020)
yokotatsuya
0
120
メール送信サーバの集約における透過型SMTP プロキシの定量評価 / Quantitative Evaluation of Transparent SMTP Proxy in Email Sending Server Aggregation
linyows
0
680
Improving Search @scale with efficient query experimentation @BerlinBuzzwords 2024
searchhub
0
270
Online Feedback Optimization
floriandoerfler
0
930
化学におけるAI・シミュレーション活用のトレンドと 汎用原子レベルシミュレーター: Matlantisを使った素材開発
matlantis
0
470
Iniciativas independentes de divulgação científica: o caso do Movimento #CiteMulheresNegras
taisso
0
1k
解説!データ基盤の進化を後押しする手順とタイミング
shomaekawa
1
400
ほたるのひかり/RayTracingCamp10
kugimasa
1
540
FOGBoston2024
lcolladotor
0
150
サメのはなし / How Sharks are born
naospon
0
2.4k
Visual Analytics for R&D Intelligence @Funding the Commons & DeSci Tokyo 2024
hayataka88
0
140
Featured
See All Featured
Gamification - CAS2011
davidbonilla
80
5.2k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
The Language of Interfaces
destraynor
156
24k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
193
16k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
Adopting Sorbet at Scale
ufuk
75
9.2k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
Building Adaptive Systems
keathley
40
2.4k
We Have a Design System, Now What?
morganepeng
51
7.4k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
260
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Transcript
0 機械学習を理論から真剣に取り組んでみた件 その1:回帰に関する復習 2023-07-21 第53回NearMe技術勉強会 Asahi Kaito
1 機械学習では避けられない、 行列の理論に関しての復習を扱います。
2 その中で、前提となる回帰問題について、復習します。
3 1. 回帰について 1-1. 線形な単回帰と重回帰 1次式で表すことができるもの
4 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 1つの変数 x
に依存してある従属変数 y が関係あると仮定する ◦ 線形な単回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1)は定数 ◦ 問題 → ci (i=0, 1)の決定!!
5 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 問題 →
ci (i=0, 1)の決定(最適な直線を引こう!)!!
6 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 訓練データ を用いて、以下の誤差関数を最小化できるci
(i=0, 1) を求める。
7 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法
8 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 c1 について、下に凸
9 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 c1 について、下に凸 c0
について、下に凸
10 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 → 誤差を最小にするci (i=0,
1)が存在する!! c1 について、下に凸 c0 について、下に凸
11 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法
12 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法
13 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ あとは、以下の連立方程式を解けば良い
14 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 連立方程式を行列で表現して...
15 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 係数行列の行列式を計算して...
16 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 解を求める!!
17 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 係数行列の逆行列は以下なので...
18 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 計算してみましょう!!
19 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 答え(係数行列の逆行列が存在すれば)
20 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ もう一歩(統計的に意味のある量で表現!!)
21 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ もう一歩(統計的に意味のある量で表現!!) 平均値の表現!!
(他の部分も)
22 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ もう一歩(統計的に意味のある量で表現!!) →
(かの有名な)最小二乗法!!
23 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ 複数の変数 xi
(i=1, 2, 3, …, d) に依存している従属変数 y が関係あると仮定する ◦ 線形な重回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1, 2, …, d)は定数 ◦ 問題 → ci (i=0, 1, 2, …, d) の決定!!
24 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰
25 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
26 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
27 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ここでも、二乗誤差を計算してみる
28 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ベクトルで微分を行って、
29 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ベクトルで微分を行って、この値が0となるとき、
30 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ベクトルで微分を行って、この値が0となるとき、 これが存在すれば
31 1. 回帰について 1-2. 非線形な単回帰と重回帰 • 非線形とは ◦ 説明変数が1次以外のものが含まれている ◦
例1: ◦ 例2: → ものによっては、線形のときのようにうまくいかないものも... → なんとか線形化できないか?
32 次回 線形化手法 〜カーネル法〜
33 参考図書 http://www.rokakuho.co.jp/data/books/0171.html http://www.rokakuho.co.jp/data/books/0172.html
34 a. 線形な単回帰と重回帰に罰則の追加(正則化) • リッジ回帰、ラッソ回帰 → そこで、係数によるペナルティを設ける(正則化項の追加) 1. 回帰について(補足) c1
やc0 による影響が大きく出る
35 a. 線形な単回帰と重回帰に罰則の追加(正則化) • リッジ回帰、ラッソ回帰 → リッジ回帰 1. 回帰について(補足)
36 a. 線形な単回帰と重回帰に罰則の追加(正則化) • リッジ回帰、ラッソ回帰 → ラッソ回帰 1. 回帰について(補足)
37 b. 逆行列が計算できないときについて • 擬似逆行列、一般逆行列を用いる ◦ 例)ムーア・ペンローズ形一般逆行列 ▪ 元の行列が零行列でなく、行列式の値が0であるときは、2次正方行列では以下のようになる →
一般逆行列などは、右記の書籍などで学習できる https://www.utp.or.jp/book/b375477.html 1. 回帰について(補足)
38 Thank you