Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
勾配降下法/machine-learning-lecture-gradient-descent
Search
monochromegane
July 14, 2020
Technology
7.5k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
勾配降下法/machine-learning-lecture-gradient-descent
GMOペパボ新卒研修2020 機械学習入門 補足資料#02
monochromegane
July 14, 2020
Transcript
32 slides
1 勾配降下法 ペパボ研究所 三宅悠介 新卒研修 機械学習入門 補足資料#02 (2020/07/02 Update)
2 2 はじめに やりたいことと、やりたくないこと
3 入力から出力を推測したい やりたいこと 3
4 入力から出力を推測したい やりたいこと 4 入力から出力を予測 する関数を考える
5 入力から出力を推測したい やりたいこと 5 切片w0と傾きw1を持 つ一次関数で表す
6 入力から出力を予測したい やりたくないこと 6 ② w0とw1を発見させるプロ グラムを書く ① w0とw1を自分で決める
7 入力から出力を予測したい やりたくないこと 7 ② w0とw1を発見させるプロ グラムを書く ① w0とw1を自分で決める ❌
8 8 誤差関数 機械が学習するとは?
9 やりたいことの更新 9 適切なw0とw1を発見したい パラメータを探す
10 データ空間とパラメータ空間 10 データ空間 パラメータ空間
11 データ空間とパラメータ空間の関係 11
12 データ空間とパラメータ空間の関係 12 パラメータは固定 データは固定
13 パラメータ探索における目標地点を定義する 13 あるパラメータを用いた時の正 解と推定した値の差の合計が 最も小さくなる点 誤差関数
14 (*) w0とw1について0~3の範囲をそれ ぞれ100分割した組み合わせ 全ての組み合わせ*を試して探 してみる パラメータ探索における目標地点を発見する 14
15 パラメータ探索における目標地点を発見する 15
16 より精度良く効率の良い方法はないか? - 交点数 * データ数 * パラメータ数 - 範囲は未知
- 分割数は未知 パラメータ探索における目標地点を発見する 16 全ての組み合わせ*を試して探 してみる
17 17 勾配 ナブラ!
18 点では方向はわからないが、連続する ならば周辺との変化率から判断できる 勾配降下法の着目点 18 誤差が小さくなる方向へ パラメータを調整する 誤差関数の微分係数
19 微分係数 - 関数fの点aにおける平均変化率 - 導関数から求める 導関数 - 関数fの変数xにおける微分係数を
求めるための関数 - 関数fを微分して求める 微分のおさらい(微分係数と導関数) 19 微分係数の値は、関数fの結果を大きくす る方向と大きさを示す
20 勾配の可視化 20 誤差関数の微分係数をい くつかの点で求めてみる
21 勾配の可視化 21 誤差関数の微分係数をい くつかの点で求めてみる パラメータが複数ある場合は、一つの パラメータ以外は固定して微分係数を 求める。w0の軸での方向、w1の軸での 方向をそれぞれ見つける。 偏微分
22 勾配の可視化 22 誤差関数の微分係数をい くつかの点で求めてみる パラメータごとに偏微分した結果。 勾配
23 勾配の可視化 23 誤差関数の微分係数をい くつかの点で求めてみる パラメータごとに偏微分した結果。 勾配
24 24 勾配降下法 勾配の逆
25 f(g(x))のような合成関数の微分はそれ ぞれの関数の微分の積と等しい。 簡単な微分に分解することで、難しい微 分も解くことができる。 今回の誤差関数の勾配を求める 25 合成関数の微分 パラメータごとの偏微分
26 今回の誤差関数の勾配を求める 26 合成関数の微分 パラメータごとの偏微分 L(w)はfwからなり、fw(x)はwxからなる合成関数
27 今回の誤差関数の勾配を求める 27 パラメータごとの偏微分
28 勾配降下法 28 パラメータの更新 誤差関数の勾配
29 29 まとめ
30 • 入力から出力を推測する関数のパラメータを求める手法を学んだ ◦ 目標を誤差関数として定義した ◦ 最小の誤差関数の値を効率的に求めるため勾配を理解した ◦ 勾配を利用した勾配降下法によるパラメータの更新を学んだ •
誤差や勾配は学習データを全て用いて求めるため効率が悪い ◦ 最急降下法と呼ばれる ◦ ランダムな100~1000程度のデータを利用するミニバッチ勾配降下 法が良く利用される ◦ 特に1つだけのデータを利用する場合、確率的勾配降下法と呼ば れる まとめ 30
31 31 参考
32 参考文献 32 本資料における勾配降下法の導出は以下の文献を参考にしました。 より詳細、発展的な説明が必要であれば、精読し、理解を深めてみてください。 - LINE
Fukuoka株式会社 立石 賢吾, やさしく学ぶ 機械学習を理解するための数 学のきほん ~アヤノ&ミオと一緒に学ぶ 機械学習の理論と数学、実装まで~, マイ ナビ出版, 2017年09月20日. ISBN:978-4-8399-6352-1 - 三宅 悠介, Goによる勾配降下法 - 理論と実践 - , プログラマのための数学勉強 会@福岡 #5, 2016年8月
More Decks by monochromegane
See All by monochromegane
Go言語とトイモデルで学ぶTransformerの気持ち / fukuokago23-transformer
monochromegane
0
300
適応的スパムフィルタのための軽量な類似メッセージカウンタ / jsai2026-adaptive-spam-filter
monochromegane
0
6.5k
ベクトル検索のフィルタを用いた機械学習モデルとの統合 / python-meetup-fukuoka-06-vector-attr
monochromegane
3
950
Claude Codeセッション現状確認 2026福岡 / fukuoka-aicoding-00-beacon
monochromegane
4
860
Go言語での実装を通して学ぶLLMファインチューニングの仕組み / fukuokago22-llm-peft
monochromegane
0
330
不確実性下における目的と手段の統合的探索に向けた連続腕バンディットの応用 / iot70_gp_rff_mab
monochromegane
2
620
なめらかなシステムと運用維持の終わらぬ未来 / dicomo2025_coherently_fittable_system
monochromegane
0
57k
ベクトル検索システムの気持ち
monochromegane
38
13k
Go言語での実装を通して学ぶ、高速なベクトル検索を支えるクラスタリング技術/fukuokago-kmeans
monochromegane
1
350
Other Decks in Technology
See All in Technology
Why start a new company, on Rails and AI, today. SF Ruby Conf 2026, Irina Nazarova
irinanazarova
0
100
OWASP AI Agentic Top10に準拠するクラウドネイティブなガードレールの実践(CNDW 2026)
keitah
0
260
gem install とrequire のむこうがわ
ydah
0
230
SREのためのFinOps入門
muziyoshiz
3
1.6k
業務の傍らで進める改善ループエンジニアリング
bengo4com
1
190
2026-11-11 Tamachi.sre#7 PaCにインフラリソースの命を救われました。 / PaC saves the infra resource life
masasuzu
1
210
MCPでネットワーク障害調査を自動化する前に直すべき3つのこと
yama3133
1
630
[NW-JAWS DAY]「うちのAWS、インターネット出られないんで」― AWS外の自社サービスをPrivateLinkでシュッと公開する方法
ykimi
3
870
2026-11-16 JAWS-UG コンテナ支部 #31 ゆるLT大会 ECR のライフサイクルポリシーを いい感じに設定したい / ECR Lifecycle policy
masasuzu
2
530
ラクスル会社紹介資料|エンジニア向け / RAKSUL Introduction for Engineers
raksulrecruiting
0
140
AWS Emulator を評価する: 手元で動く AWS の API の仕組み、始め方、確かめ方
inariku
PRO
2
770
Kansai WordPress Meetup@大阪『ブロックテーマを作る上で知っておくべきこと
torounit
0
250
Featured
See All Featured
Reality Check: Gamification 10 Years Later
codingconduct
0
2.4k
A Tale of Four Properties
chriscoyier
163
24k
SEO Brein meetup: CTRL+C is not how to scale international SEO
lindahogenes
2
3k
How Fast Is Fast Enough? [PerfNow 2025]
tammyeverts
3
980
The innovator’s Mindset - Leading Through an Era of Exponential Change - McGill University 2025
jdejongh
PRO
1
400
Introduction to Domain-Driven Design and Collaborative software design
baasie
1
1.1k
How to build a perfect <img>
jonoalderson
1
6.2k
We Are The Robots
honzajavorek
0
450
Imperfection Machines: The Place of Print at Facebook
scottboms
270
14k
AI Search: Implications for SEO and How to Move Forward - #ShenzhenSEOConference
aleyda
1
1.4k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3.6k
Stop Working from a Prison Cell
hatefulcrawdad
274
21k