Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
機械学習を理論から真剣に取り組んでみた件 その2:線形化に挑戦しよう!
Search
NearMeの技術発表資料です
PRO
August 18, 2023
Science
0
210
機械学習を理論から真剣に取り組んでみた件 その2:線形化に挑戦しよう!
カーネル法を用いて、線型の形で最小化問題に挑むことができるようにする方法についてです。今回では、多項式回帰について適用しています。
NearMeの技術発表資料です
PRO
August 18, 2023
Tweet
Share
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
ルートの質を評価する指標について
nearme_tech
PRO
0
13
Rustで作る強化学習エージェント
nearme_tech
PRO
0
42
ビームサーチ
nearme_tech
PRO
0
36
WASM入門
nearme_tech
PRO
0
35
ESLintをもっと有効活用しよう
nearme_tech
PRO
0
25
リファクタリングのための第一歩
nearme_tech
PRO
0
68
ガウス過程回帰とベイズ最適化
nearme_tech
PRO
1
190
確率的プログラミング入門
nearme_tech
PRO
2
120
Observability and OpenTelemetry
nearme_tech
PRO
2
46
Other Decks in Science
See All in Science
拡散モデルの原理紹介
brainpadpr
3
6k
Machine Learning for Materials (Challenge)
aronwalsh
0
170
テンソル分解を用いた教師なし学習による変数選択法のシングルセルマルチオミックスデータ解析への応用
tagtag
1
120
Reconciling Accuracy, Cost, and Latency of Inference Serving Systems
pjamshidi
0
120
Pericarditis Comic
camkdraws
0
1.5k
創薬における機械学習技術について
kanojikajino
16
5k
2024-06-16-pydata_london
sofievl
0
610
理論計算機科学における 数学の応用: 擬似ランダムネス
nobushimi
1
410
Iniciativas independentes de divulgação científica: o caso do Movimento #CiteMulheresNegras
taisso
0
1k
学術講演会中央大学学員会大分支部
tagtag
0
120
Tensor Representations in Signal Processing and Machine Learning (Tutorial at APSIPA-ASC 2020)
yokotatsuya
0
120
重複排除・高速バックアップ・ランサムウェア対策 三拍子そろったExaGrid × Veeam連携セミナー
climbteam
0
200
Featured
See All Featured
Git: the NoSQL Database
bkeepers
PRO
428
65k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
Bash Introduction
62gerente
611
210k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
100
18k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
10
520
How STYLIGHT went responsive
nonsquared
99
5.4k
YesSQL, Process and Tooling at Scale
rocio
172
14k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
What's in a price? How to price your products and services
michaelherold
244
12k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
11
1.3k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Transcript
0 機械学習を理論から真剣に取り組んでみた件 その2:線形化に挑戦しよう! 2023-08-18 第56回NearMe技術勉強会 Asahi Kaito
1 前回のスライドの復習から始めます
2 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 1つの変数 x
に依存してある従属変数 y が関係あると仮定する ◦ 線形な単回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1)は定数 ◦ 問題 → ci (i=0, 1)の決定!!
3 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 問題 →
ci (i=0, 1)の決定(最適な直線を引こう!)!!
4 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 訓練データ を用いて、以下の誤差関数を最小化できるci
(i=0, 1)を求める。
5 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 連立方程式を行列で表現して...
6 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 答え(係数行列の逆行列が存在すれば)
7 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ 複数の変数 xi
(i=1, 2, 3, …, d) に依存している従属変数 y が関係あると仮定する ◦ 線形な重回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1, 2, …, d)は定数 ◦ 問題 → ci (i=0, 1, 2, …, d) の決定!!
8 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
9 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ここでも、二乗誤差を計算してみる
10 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ベクトルで微分を行って、この値が0となるとき、 これが存在すれば
11 1. 回帰について 1-2. 非線形な単回帰と重回帰 • 非線形とは ◦ 説明変数が1次以外のものが含まれている ◦
例1: ◦ 例2: → ものによっては、線形のときのようにうまくいかないものも... → なんとか線形化できないか?
12 2回目:線形化手法 〜カーネル法〜
13 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-1. カーネル関数とは • kが集合X上の2変数関数 •
以下の2つを満たすとき、kは集合X上のカーネル関数という (1) (2)
14 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-2. カーネル関数の必要性 • 次元を上げることができる ◦
どういうこと? ▪ k(x, y)の分布は、x, yが実数であれば、3次元に分布する(z=k(x, y)) ▪ 高次元化することで、分類がより明確になることがある
15 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-3. カーネル関数の例 • 以下の2つのものは、カーネル関数の例 (1)
(2)
16 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-4. カーネル関数の特徴 • カーネル関数の和や積も、カーネル関数になる (1)
(2)
17 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-4. カーネル関数の特徴 • これらを組み合わせて、カーネル関数を構築していく→どんなものがあるのかな? (1)
(2) (3) (4)
18 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう
19 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (1)
20 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (1)
21 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (1)
22 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (1)
23 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (2)
24 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (2)
25 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) 入力データ 出力データ 以下を最小にする次数が d
以下の多項式 f を見つけよ。
26 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) 適当なベクトル 以下の多項式 fv の次数は
d 以下となる。
27 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) で張られる空間への直交射影 P を用いると、
28 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) よって、以下のようにベクトル v を設定して良い!
29 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰)
30 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰)
31 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) → 係数 c を分離することができた!! カーネル関数
32 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰)
33 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) 入力データ 出力データ 以下を最小にする次数が d
以下の多項式 f を見つけよ。
34 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰)
35 2. 線形化手法 〜カーネル法〜 2-3. カーネル関数の実践(多項式回帰) To Colab : https://colab.research.google.com/drive/1pGGa5ui-RxsKLNi5Wb50zVLyn3Hbx4Dk?usp=sharing
36 次回 少しステップアップ!カーネル回帰
37 参考図書 http://www.rokakuho.co.jp/data/books/0171.html http://www.rokakuho.co.jp/data/books/0172.html
38 Thank you