Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
機械学習を理論から真剣に取り組んでみた件 その2:線形化に挑戦しよう!
Search
NearMeの技術発表資料です
PRO
August 18, 2023
Science
0
260
機械学習を理論から真剣に取り組んでみた件 その2:線形化に挑戦しよう!
カーネル法を用いて、線型の形で最小化問題に挑むことができるようにする方法についてです。今回では、多項式回帰について適用しています。
NearMeの技術発表資料です
PRO
August 18, 2023
Tweet
Share
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
Rust 並列強化学習
nearme_tech
PRO
0
18
並列で⽣成AIにコーディングをやらせる
nearme_tech
PRO
1
78
希望休勤務を考慮したシフト作成
nearme_tech
PRO
0
25
Hub Labeling による高速経路探索
nearme_tech
PRO
0
80
Build an AI agent with Mastra
nearme_tech
PRO
0
73
Rustで強化学習アルゴリズムを実装する vol3
nearme_tech
PRO
0
38
Webアプリケーションにおけるクラスの設計再入門
nearme_tech
PRO
1
91
AIエージェント for 予約フォーム
nearme_tech
PRO
2
160
ULID生成速度を40倍にしたった
nearme_tech
PRO
2
58
Other Decks in Science
See All in Science
生成AI による論文執筆サポートの手引き(ワークショップ) / A guide to supporting dissertation writing with generative AI (workshop)
ks91
PRO
0
510
データマイニング - ノードの中心性
trycycle
PRO
0
220
KH Coderチュートリアル(スライド版)
koichih
1
43k
メール送信サーバの集約における透過型SMTP プロキシの定量評価 / Quantitative Evaluation of Transparent SMTP Proxy in Email Sending Server Aggregation
linyows
0
970
データベース15: ビッグデータ時代のデータベース
trycycle
PRO
0
270
Lean4による汎化誤差評価の形式化
milano0017
1
280
Trend Classification of InSAR Displacement Time Series Using SAE–CNN
satai
3
500
mathematics of indirect reciprocity
yohm
1
160
白金鉱業Meetup Vol.16_【初学者向け発表】 数理最適化のはじめの一歩 〜身近な問題で学ぶ最適化の面白さ〜
brainpadpr
11
2.3k
How To Buy, Verified Venmo Accounts in 2025 This year
usaallshop68
2
170
生成AIと学ぶPythonデータ分析再入門-Pythonによるクラスタリング・可視化をサクサク実施-
datascientistsociety
PRO
4
1.6k
マウス肝炎ウイルス感染の遺伝子発現へのテンソル分解の適用によるSARS-CoV-2感染関連重要ヒト遺伝子と有効な薬剤の同定
tagtag
0
120
Featured
See All Featured
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Music & Morning Musume
bryan
46
6.7k
Unsuck your backbone
ammeep
671
58k
Site-Speed That Sticks
csswizardry
10
720
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
Testing 201, or: Great Expectations
jmmastey
43
7.6k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
760
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Navigating Team Friction
lara
187
15k
Transcript
0 機械学習を理論から真剣に取り組んでみた件 その2:線形化に挑戦しよう! 2023-08-18 第56回NearMe技術勉強会 Asahi Kaito
1 前回のスライドの復習から始めます
2 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 1つの変数 x
に依存してある従属変数 y が関係あると仮定する ◦ 線形な単回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1)は定数 ◦ 問題 → ci (i=0, 1)の決定!!
3 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 問題 →
ci (i=0, 1)の決定(最適な直線を引こう!)!!
4 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 訓練データ を用いて、以下の誤差関数を最小化できるci
(i=0, 1)を求める。
5 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 連立方程式を行列で表現して...
6 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 答え(係数行列の逆行列が存在すれば)
7 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ 複数の変数 xi
(i=1, 2, 3, …, d) に依存している従属変数 y が関係あると仮定する ◦ 線形な重回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1, 2, …, d)は定数 ◦ 問題 → ci (i=0, 1, 2, …, d) の決定!!
8 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
9 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ここでも、二乗誤差を計算してみる
10 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ベクトルで微分を行って、この値が0となるとき、 これが存在すれば
11 1. 回帰について 1-2. 非線形な単回帰と重回帰 • 非線形とは ◦ 説明変数が1次以外のものが含まれている ◦
例1: ◦ 例2: → ものによっては、線形のときのようにうまくいかないものも... → なんとか線形化できないか?
12 2回目:線形化手法 〜カーネル法〜
13 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-1. カーネル関数とは • kが集合X上の2変数関数 •
以下の2つを満たすとき、kは集合X上のカーネル関数という (1) (2)
14 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-2. カーネル関数の必要性 • 次元を上げることができる ◦
どういうこと? ▪ k(x, y)の分布は、x, yが実数であれば、3次元に分布する(z=k(x, y)) ▪ 高次元化することで、分類がより明確になることがある
15 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-3. カーネル関数の例 • 以下の2つのものは、カーネル関数の例 (1)
(2)
16 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-4. カーネル関数の特徴 • カーネル関数の和や積も、カーネル関数になる (1)
(2)
17 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-4. カーネル関数の特徴 • これらを組み合わせて、カーネル関数を構築していく→どんなものがあるのかな? (1)
(2) (3) (4)
18 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう
19 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (1)
20 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (1)
21 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (1)
22 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (1)
23 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (2)
24 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (2)
25 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) 入力データ 出力データ 以下を最小にする次数が d
以下の多項式 f を見つけよ。
26 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) 適当なベクトル 以下の多項式 fv の次数は
d 以下となる。
27 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) で張られる空間への直交射影 P を用いると、
28 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) よって、以下のようにベクトル v を設定して良い!
29 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰)
30 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰)
31 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) → 係数 c を分離することができた!! カーネル関数
32 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰)
33 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) 入力データ 出力データ 以下を最小にする次数が d
以下の多項式 f を見つけよ。
34 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰)
35 2. 線形化手法 〜カーネル法〜 2-3. カーネル関数の実践(多項式回帰) To Colab : https://colab.research.google.com/drive/1pGGa5ui-RxsKLNi5Wb50zVLyn3Hbx4Dk?usp=sharing
36 次回 少しステップアップ!カーネル回帰
37 参考図書 http://www.rokakuho.co.jp/data/books/0171.html http://www.rokakuho.co.jp/data/books/0172.html
38 Thank you