Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
誤差逆伝播法/machine-learning-lecture-backpropagation
monochromegane
July 17, 2020
Technology
0
5k
誤差逆伝播法/machine-learning-lecture-backpropagation
GMOペパボ新卒研修2020 機械学習入門 補足資料#06
monochromegane
July 17, 2020
Tweet
Share
More Decks by monochromegane
See All by monochromegane
再帰化への認知的転回/the-turn-to-recursive-system
monochromegane
0
200
仮想的な探索を用いて文脈や時間の経過による番狂わせにも迅速に追従する多腕バンディット手法/wi2_lkf_bandits
monochromegane
0
200
Synapse: 文脈と時間経過に応じて推薦手法の選択を最適化するメタ推薦システム/smash21-synapse
monochromegane
0
160
なめらかなシステムと運用維持の未来/dicomo2021-coherently-fittable-system
monochromegane
1
5.2k
go:embedでExplainable Binaryを作る/fukoukago17_go_code_embedding
monochromegane
2
140
非定常な多腕バンディット問題において効率的に変化を察知する方式の検討/wsa8_predictive_exploratory_model
monochromegane
0
2k
変化検出と要約データ構造を用いた利用者の嗜好の変化に迅速に追従する多腕バンディット手法/iots2020-adaptive-linear-mab
monochromegane
0
540
嗜好伝達コミュニケーションの効率化を目指した伝達方式の検討/wsa7_local_preference
monochromegane
0
2.5k
なめらかなシステムの実現に向けて/coherently-fittable-system
monochromegane
0
280
Other Decks in Technology
See All in Technology
サイバー攻撃を想定したクラウドネイティブセキュリティガイドラインとCNAPP及びSecurity Observabilityの未来
sakon310
4
450
ジョブ管理システムをAWS Step Functionsに移行する時の勘所
non97
0
490
Red Hat Enterprise Linux 9のリリースノートを読む前に知りたい最近のキーワードをまとめて復習
moriwaka
0
360
EC/CRMの自社サービス開発をマネジメントするようになって1年でやってきたこととこれから / devio2022-takano-sho-road-to-good-development-team-management
masaru_b_cl
0
410
今 SLI/SLO の監視をするなら Sloth が良さそうという話
shotakitazawa
1
280
Learning to Solve Hard Minimal Problems
takmin
1
320
DevelopersIO 2022 俺のTerraform Pipeline
takakuni
0
430
Simplify Cloud Native Security with Trivy
knqyf263
0
560
ECS on EC2 で Auto Scaling やってみる!
sayjoy
1
200
SBOMを利用したソフトウェアサプライチェーンの保護
masahiro331
1
190
金融領域のマルチプロダクトを効率よく開発・運用するためのシステム基盤と組織設計について / 2022-07-28-multi-product-platform
stajima
0
140
ここが好きだよAWS管理ポリシー_devio2022/i_am_iam_lover
yukihirochiba
0
3.1k
Featured
See All Featured
Writing Fast Ruby
sferik
612
57k
BBQ
matthewcrist
74
7.9k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
226
15k
A better future with KSS
kneath
226
16k
Atom: Resistance is Futile
akmur
255
20k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
37
3.3k
Fashionably flexible responsive web design (full day workshop)
malarkey
396
62k
JazzCon 2018 Closing Keynote - Leadership for the Reluctant Leader
reverentgeek
173
8.6k
Fireside Chat
paigeccino
13
1.4k
The Brand Is Dead. Long Live the Brand.
mthomps
46
2.7k
What’s in a name? Adding method to the madness
productmarketing
11
1.6k
Testing 201, or: Great Expectations
jmmastey
21
5.5k
Transcript
1 ペパボ研究所 三宅悠介 新卒研修 機械学習入門 補足資料#06 (2020/07/03 Update) 誤差逆伝播法
2 2 ニューラルネットワークの 構造 線形から非線形へ
3 ニューラルネットワークの構造 3 *本資料では簡単のため、バイアス項は導入しない
4 ニューラルネットワークの構造 4
5 ニューラルネットワークの構造 5
6 ニューラルネットワークの構造 6
7 ニューラルネットワークの構造 7
8 ニューラルネットワークの構造 8
9 ニューラルネットワークの構造 9
10 ニューラルネットワークの構造 10
11 ニューラルネットワークの構造 11 活性化関数
12 ニューラルネットワークの構造 12
13 ニューラルネットワークの構造 13
14 14 誤差逆伝播法 デルタ!
15 誤差関数と偏微分 15 誤差関数 パラメータごとの偏微分
16 個別のパラメータごとに偏微分するの ではなく、出力層に近い層の偏微分の 結果を前の層に渡すことで各層でのパ ラメータの偏微分を行う。 誤差信号と呼ばれる値が出力から入力 の方向へ(逆向きに)伝播していくこと から名付けられている。 誤差逆伝播法
16 誤差逆伝播法
17 出力層のパラメータの偏微分 17
18 隠れ層のパラメータの偏微分 18
19 隠れ層のδは一つ先の層のδを使って 求めることができる。 隠れ層のδ 19 隠れ層のδ
20 隠れ層のδ 20 上流のδの数だけ足し合わせ Lはz2(z1)の合成関数
21 隠れ層のδ 21 活性化関数によって異なる
22 隠れ層のδ 22 上流のδの数だけ足し合わせ Lはz2(z1)の合成関数
23 出力層(はじめの)のδ 23 Lkはyk’(z2)の合成関数 活性化関数によって異なる 誤差
24 各層における入力xと重みとの線形結 合した結果であるzを保持する。これを パラメータの更新に用いる。 誤差逆伝播法によるパラメータの更新 24 順伝播
25 誤差逆伝播法によるパラメータの更新 25 出力層の誤差またはパラメータの値と 活性化関数の偏微分を用いて各層に おけるδを求める 逆伝播
26 誤差逆伝播法によるパラメータの更新 26 δとxからパラメータを更新する 逆伝播
27 * 誤差逆伝播法 27 誤差関数に対するパラメータの偏微分 パラメータの更新
28 参考: 活性化関数の微分 28 シグモイド関数 ReLU 実際はx=0の時は微分不可
29 29 参考
30 参考文献 30 本資料における誤差逆伝播法の導出は以下の文献を参考にしました。 より詳細、発展的な説明が必要であれば、精読し、理解を深めてみてください。 - スマートニュース株式会社 立石
賢吾, やさしく学ぶ ディープラーニングがわか る数学のきほん ~アヤノ&ミオと学ぶ ディープラーニングの理論と数学、実装~, マイナビ出版, 2019年07月31日. ISBN:978-4-8399-6837-3 - 斎藤 康毅, ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理 論と実装, オライリー・ジャパン, 2016年09月, ISBN:978-4-87311-758-4 - 新納 浩幸, Chainerによる実践深層学習, オーム社, 2016年09月, ISBN:978-4-274-21934-4