Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
機械学習を理論から真剣に取り組んでみた件 その2:線形化に挑戦しよう!
Search
NearMeの技術発表資料です
PRO
August 18, 2023
Science
0
250
機械学習を理論から真剣に取り組んでみた件 その2:線形化に挑戦しよう!
カーネル法を用いて、線型の形で最小化問題に挑むことができるようにする方法についてです。今回では、多項式回帰について適用しています。
NearMeの技術発表資料です
PRO
August 18, 2023
Tweet
Share
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
希望休勤務を考慮したシフト作成
nearme_tech
PRO
0
20
Hub Labeling による高速経路探索
nearme_tech
PRO
0
54
Build an AI agent with Mastra
nearme_tech
PRO
0
68
Rustで強化学習アルゴリズムを実装する vol3
nearme_tech
PRO
0
33
Webアプリケーションにおけるクラスの設計再入門
nearme_tech
PRO
1
73
AIエージェント for 予約フォーム
nearme_tech
PRO
2
140
ULID生成速度を40倍にしたった
nearme_tech
PRO
2
51
Amazon AuroraとMongoDBの アーキテクチャを比較してみたら 結構違った件について
nearme_tech
PRO
0
24
GitHub Custom Actionのレシピ
nearme_tech
PRO
0
16
Other Decks in Science
See All in Science
地表面抽出の方法であるSMRFについて紹介
kentaitakura
1
740
03_草原和博_広島大学大学院人間社会科学研究科教授_デジタル_シティズンシップシティで_新たな_学び__をつくる.pdf
sip3ristex
0
470
統計学入門講座 第2回スライド
techmathproject
0
130
Healthcare Innovation through Business Entrepreneurship
clintwinters
0
230
Explanatory material
yuki1986
0
310
MoveItを使った産業用ロボット向け動作作成方法の紹介 / Introduction to creating motion for industrial robots using MoveIt
ry0_ka
0
490
SciPyDataJapan 2025
schwalbe10
0
240
How To Buy, Verified Venmo Accounts in 2025 This year
usaallshop68
2
110
Machine Learning for Materials (Challenge)
aronwalsh
0
300
局所保存性・相似変換対称性を満たす機械学習モデルによる数値流体力学
yellowshippo
1
280
データベース08: 実体関連モデルとは?
trycycle
PRO
0
670
機械学習 - ニューラルネットワーク入門
trycycle
PRO
0
790
Featured
See All Featured
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.8k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Designing for Performance
lara
609
69k
Making the Leap to Tech Lead
cromwellryan
134
9.3k
Faster Mobile Websites
deanohume
307
31k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
53k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Into the Great Unknown - MozCon
thekraken
39
1.9k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
5
230
Rebuilding a faster, lazier Slack
samanthasiow
82
9.1k
Transcript
0 機械学習を理論から真剣に取り組んでみた件 その2:線形化に挑戦しよう! 2023-08-18 第56回NearMe技術勉強会 Asahi Kaito
1 前回のスライドの復習から始めます
2 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 1つの変数 x
に依存してある従属変数 y が関係あると仮定する ◦ 線形な単回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1)は定数 ◦ 問題 → ci (i=0, 1)の決定!!
3 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 問題 →
ci (i=0, 1)の決定(最適な直線を引こう!)!!
4 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 訓練データ を用いて、以下の誤差関数を最小化できるci
(i=0, 1)を求める。
5 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 連立方程式を行列で表現して...
6 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 答え(係数行列の逆行列が存在すれば)
7 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ 複数の変数 xi
(i=1, 2, 3, …, d) に依存している従属変数 y が関係あると仮定する ◦ 線形な重回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1, 2, …, d)は定数 ◦ 問題 → ci (i=0, 1, 2, …, d) の決定!!
8 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
9 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ここでも、二乗誤差を計算してみる
10 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ベクトルで微分を行って、この値が0となるとき、 これが存在すれば
11 1. 回帰について 1-2. 非線形な単回帰と重回帰 • 非線形とは ◦ 説明変数が1次以外のものが含まれている ◦
例1: ◦ 例2: → ものによっては、線形のときのようにうまくいかないものも... → なんとか線形化できないか?
12 2回目:線形化手法 〜カーネル法〜
13 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-1. カーネル関数とは • kが集合X上の2変数関数 •
以下の2つを満たすとき、kは集合X上のカーネル関数という (1) (2)
14 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-2. カーネル関数の必要性 • 次元を上げることができる ◦
どういうこと? ▪ k(x, y)の分布は、x, yが実数であれば、3次元に分布する(z=k(x, y)) ▪ 高次元化することで、分類がより明確になることがある
15 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-3. カーネル関数の例 • 以下の2つのものは、カーネル関数の例 (1)
(2)
16 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-4. カーネル関数の特徴 • カーネル関数の和や積も、カーネル関数になる (1)
(2)
17 2. 線形化手法 〜カーネル法〜 2-1. カーネル関数について 2-1-4. カーネル関数の特徴 • これらを組み合わせて、カーネル関数を構築していく→どんなものがあるのかな? (1)
(2) (3) (4)
18 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう
19 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (1)
20 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (1)
21 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (1)
22 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (1)
23 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (2)
24 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数(ガウスカーネル)がカーネル関数であることを示しましょう (2)
25 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) 入力データ 出力データ 以下を最小にする次数が d
以下の多項式 f を見つけよ。
26 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) 適当なベクトル 以下の多項式 fv の次数は
d 以下となる。
27 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) で張られる空間への直交射影 P を用いると、
28 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) よって、以下のようにベクトル v を設定して良い!
29 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰)
30 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰)
31 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) → 係数 c を分離することができた!! カーネル関数
32 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰)
33 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰) 入力データ 出力データ 以下を最小にする次数が d
以下の多項式 f を見つけよ。
34 2. 線形化手法 〜カーネル法〜 2-2. カーネル関数の利用(多項式回帰)
35 2. 線形化手法 〜カーネル法〜 2-3. カーネル関数の実践(多項式回帰) To Colab : https://colab.research.google.com/drive/1pGGa5ui-RxsKLNi5Wb50zVLyn3Hbx4Dk?usp=sharing
36 次回 少しステップアップ!カーネル回帰
37 参考図書 http://www.rokakuho.co.jp/data/books/0171.html http://www.rokakuho.co.jp/data/books/0172.html
38 Thank you