Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
誤差逆伝播法/machine-learning-lecture-backpropagation
Search
monochromegane
July 17, 2020
Technology
0
7.4k
誤差逆伝播法/machine-learning-lecture-backpropagation
GMOペパボ新卒研修2020 機械学習入門 補足資料#06
monochromegane
July 17, 2020
Tweet
Share
More Decks by monochromegane
See All by monochromegane
なめらかなシステムと運用維持の終わらぬ未来 / dicomo2025_coherently_fittable_system
monochromegane
0
260
ベクトル検索システムの気持ち
monochromegane
33
11k
Go言語での実装を通して学ぶ、高速なベクトル検索を支えるクラスタリング技術/fukuokago-kmeans
monochromegane
1
180
Go言語でターミナルフレンドリーなAIコマンド、afaを作った/fukuokago20_afa
monochromegane
2
260
多様かつ継続的に変化する環境に適応する情報システム/thesis-defense-presentation
monochromegane
1
920
Online Nonstationary and Nonlinear Bandits with Recursive Weighted Gaussian Process
monochromegane
0
560
AIを前提とした体験の実現に向けて/toward_ai_based_experiences
monochromegane
2
960
Go言語でMac GPUプログラミング
monochromegane
1
620
Contextual and Nonstationary Multi-armed Bandits Using the Linear Gaussian State Space Model for the Meta-Recommender System
monochromegane
1
1.1k
Other Decks in Technology
See All in Technology
2年でここまで成長!AWSで育てたAI Slack botの軌跡
iwamot
PRO
4
670
[TechNight #90-1] 本当に使える?ZDMの新機能を実践検証してみた
oracle4engineer
PRO
3
170
より良いプロダクトの開発を目指して - 情報を中心としたプロダクト開発 #phpcon #phpcon2025
bengo4com
1
3.1k
Witchcraft for Memory
pocke
1
240
フィンテック養成勉強会#54
finengine
0
170
Кто отправит outbox? Валентин Удальцов, автор канала Пых
lamodatech
0
330
ハノーバーメッセ2025座談会.pdf
iotcomjpadmin
0
160
Amazon S3標準/ S3 Tables/S3 Express One Zoneを使ったログ分析
shigeruoda
3
460
LinkX_GitHubを基点にした_AI時代のプロジェクトマネジメント.pdf
iotcomjpadmin
0
170
OpenHands🤲にContributeしてみた
kotauchisunsun
1
420
地図も、未来も、オープンに。 〜OSGeo.JPとFOSS4Gのご紹介〜
wata909
0
110
Navigation3でViewModelにデータを渡す方法
mikanichinose
0
220
Featured
See All Featured
Designing for Performance
lara
609
69k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3k
BBQ
matthewcrist
89
9.7k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
GitHub's CSS Performance
jonrohan
1031
460k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
700
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Facilitating Awesome Meetings
lara
54
6.4k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Making the Leap to Tech Lead
cromwellryan
134
9.3k
Transcript
1 ペパボ研究所 三宅悠介 新卒研修 機械学習入門 補足資料#06 (2020/07/03 Update) 誤差逆伝播法
2 2 ニューラルネットワークの 構造 線形から非線形へ
3 ニューラルネットワークの構造 3 *本資料では簡単のため、バイアス項は導入しない
4 ニューラルネットワークの構造 4
5 ニューラルネットワークの構造 5
6 ニューラルネットワークの構造 6
7 ニューラルネットワークの構造 7
8 ニューラルネットワークの構造 8
9 ニューラルネットワークの構造 9
10 ニューラルネットワークの構造 10
11 ニューラルネットワークの構造 11 活性化関数
12 ニューラルネットワークの構造 12
13 ニューラルネットワークの構造 13
14 14 誤差逆伝播法 デルタ!
15 誤差関数と偏微分 15 誤差関数 パラメータごとの偏微分
16 個別のパラメータごとに偏微分するの ではなく、出力層に近い層の偏微分の 結果を前の層に渡すことで各層でのパ ラメータの偏微分を行う。 誤差信号と呼ばれる値が出力から入力 の方向へ(逆向きに)伝播していくこと から名付けられている。 誤差逆伝播法
16 誤差逆伝播法
17 出力層のパラメータの偏微分 17
18 隠れ層のパラメータの偏微分 18
19 隠れ層のδは一つ先の層のδを使って 求めることができる。 隠れ層のδ 19 隠れ層のδ
20 隠れ層のδ 20 上流のδの数だけ足し合わせ Lはz2(z1)の合成関数
21 隠れ層のδ 21 活性化関数によって異なる
22 隠れ層のδ 22 上流のδの数だけ足し合わせ Lはz2(z1)の合成関数
23 出力層(はじめの)のδ 23 Lkはyk’(z2)の合成関数 活性化関数によって異なる 誤差
24 各層における入力xと重みとの線形結 合した結果であるzを保持する。これを パラメータの更新に用いる。 誤差逆伝播法によるパラメータの更新 24 順伝播
25 誤差逆伝播法によるパラメータの更新 25 出力層の誤差またはパラメータの値と 活性化関数の偏微分を用いて各層に おけるδを求める 逆伝播
26 誤差逆伝播法によるパラメータの更新 26 δとxからパラメータを更新する 逆伝播
27 * 誤差逆伝播法 27 誤差関数に対するパラメータの偏微分 パラメータの更新
28 参考: 活性化関数の微分 28 シグモイド関数 ReLU 実際はx=0の時は微分不可
29 29 参考
30 参考文献 30 本資料における誤差逆伝播法の導出は以下の文献を参考にしました。 より詳細、発展的な説明が必要であれば、精読し、理解を深めてみてください。 - スマートニュース株式会社 立石
賢吾, やさしく学ぶ ディープラーニングがわか る数学のきほん ~アヤノ&ミオと学ぶ ディープラーニングの理論と数学、実装~, マイナビ出版, 2019年07月31日. ISBN:978-4-8399-6837-3 - 斎藤 康毅, ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理 論と実装, オライリー・ジャパン, 2016年09月, ISBN:978-4-87311-758-4 - 新納 浩幸, Chainerによる実践深層学習, オーム社, 2016年09月, ISBN:978-4-274-21934-4