Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
誤差逆伝播法/machine-learning-lecture-backpropagation
Search
monochromegane
July 17, 2020
Technology
0
6.7k
誤差逆伝播法/machine-learning-lecture-backpropagation
GMOペパボ新卒研修2020 機械学習入門 補足資料#06
monochromegane
July 17, 2020
Tweet
Share
More Decks by monochromegane
See All by monochromegane
Online Nonstationary and Nonlinear Bandits with Recursive Weighted Gaussian Process
monochromegane
0
100
AIを前提とした体験の実現に向けて/toward_ai_based_experiences
monochromegane
1
430
Go言語でMac GPUプログラミング
monochromegane
1
260
Contextual and Nonstationary Multi-armed Bandits Using the Linear Gaussian State Space Model for the Meta-Recommender System
monochromegane
1
670
迅速な学習機構を用いて逐次適応性を損なうことなく非線形性を扱う文脈付き多腕バンディット手法/extreme_neural_linear_bandits
monochromegane
0
1.7k
再帰化への認知的転回/the-turn-to-recursive-system
monochromegane
0
650
仮想的な探索を用いて文脈や時間の経過による番狂わせにも迅速に追従する多腕バンディット手法/wi2_lkf_bandits
monochromegane
0
610
Synapse: 文脈と時間経過に応じて推薦手法の選択を最適化するメタ推薦システム/smash21-synapse
monochromegane
0
510
なめらかなシステムと運用維持の未来/dicomo2021-coherently-fittable-system
monochromegane
1
29k
Other Decks in Technology
See All in Technology
可視化プラットフォームGrafanaの基本と活用方法の全て
hamadakoji
0
230
CTOから見た事業開発とプロダクト開発 / My Perspective on Business and Product Development as CTO
keisuke69
4
960
簡単に始めるSnowflakeの機械学習
nayuts
1
190
LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~
pharma_x_tech
2
160
データ分析を支える技術 生成AI再入門
ishikawa_satoru
0
380
運用改善、不都合な真実 / 20240722-ssmjp-kaizen
opelab
17
8k
開発と事業を繋ぐ!SREのオブザーバビリティ戦略 ~ Developers Summit 2024 Summer ~
leveragestech
0
630
エンジニア向け会社紹介資料
caddi_eng
14
220k
テスト・設計研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
170
エンジニアリングマネージャーはどう学んでいくのか #devsumi / How Do Engineering Managers Continue to Learn and Grow?
expajp
4
1.3k
コミュニティサービスに「あなたへ」フィードを リリースするまでの試行錯誤
takapy
1
150
JBUG岡山 #6 WordCamp男木島の チームビルディング
takeshifurusato
0
150
Featured
See All Featured
Learning to Love Humans: Emotional Interface Design
aarron
269
39k
Code Reviewing Like a Champion
maltzj
517
39k
Atom: Resistance is Futile
akmur
261
25k
How GitHub (no longer) Works
holman
305
140k
Git: the NoSQL Database
bkeepers
PRO
423
64k
4 Signs Your Business is Dying
shpigford
178
21k
Large-scale JavaScript Application Architecture
addyosmani
506
110k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
325
21k
[RailsConf 2023] Rails as a piece of cake
palkan
35
4.4k
Unsuck your backbone
ammeep
666
57k
Leading Effective Engineering Teams 2024
addyosmani
3
300
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
23
1.9k
Transcript
1 ペパボ研究所 三宅悠介 新卒研修 機械学習入門 補足資料#06 (2020/07/03 Update) 誤差逆伝播法
2 2 ニューラルネットワークの 構造 線形から非線形へ
3 ニューラルネットワークの構造 3 *本資料では簡単のため、バイアス項は導入しない
4 ニューラルネットワークの構造 4
5 ニューラルネットワークの構造 5
6 ニューラルネットワークの構造 6
7 ニューラルネットワークの構造 7
8 ニューラルネットワークの構造 8
9 ニューラルネットワークの構造 9
10 ニューラルネットワークの構造 10
11 ニューラルネットワークの構造 11 活性化関数
12 ニューラルネットワークの構造 12
13 ニューラルネットワークの構造 13
14 14 誤差逆伝播法 デルタ!
15 誤差関数と偏微分 15 誤差関数 パラメータごとの偏微分
16 個別のパラメータごとに偏微分するの ではなく、出力層に近い層の偏微分の 結果を前の層に渡すことで各層でのパ ラメータの偏微分を行う。 誤差信号と呼ばれる値が出力から入力 の方向へ(逆向きに)伝播していくこと から名付けられている。 誤差逆伝播法
16 誤差逆伝播法
17 出力層のパラメータの偏微分 17
18 隠れ層のパラメータの偏微分 18
19 隠れ層のδは一つ先の層のδを使って 求めることができる。 隠れ層のδ 19 隠れ層のδ
20 隠れ層のδ 20 上流のδの数だけ足し合わせ Lはz2(z1)の合成関数
21 隠れ層のδ 21 活性化関数によって異なる
22 隠れ層のδ 22 上流のδの数だけ足し合わせ Lはz2(z1)の合成関数
23 出力層(はじめの)のδ 23 Lkはyk’(z2)の合成関数 活性化関数によって異なる 誤差
24 各層における入力xと重みとの線形結 合した結果であるzを保持する。これを パラメータの更新に用いる。 誤差逆伝播法によるパラメータの更新 24 順伝播
25 誤差逆伝播法によるパラメータの更新 25 出力層の誤差またはパラメータの値と 活性化関数の偏微分を用いて各層に おけるδを求める 逆伝播
26 誤差逆伝播法によるパラメータの更新 26 δとxからパラメータを更新する 逆伝播
27 * 誤差逆伝播法 27 誤差関数に対するパラメータの偏微分 パラメータの更新
28 参考: 活性化関数の微分 28 シグモイド関数 ReLU 実際はx=0の時は微分不可
29 29 参考
30 参考文献 30 本資料における誤差逆伝播法の導出は以下の文献を参考にしました。 より詳細、発展的な説明が必要であれば、精読し、理解を深めてみてください。 - スマートニュース株式会社 立石
賢吾, やさしく学ぶ ディープラーニングがわか る数学のきほん ~アヤノ&ミオと学ぶ ディープラーニングの理論と数学、実装~, マイナビ出版, 2019年07月31日. ISBN:978-4-8399-6837-3 - 斎藤 康毅, ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理 論と実装, オライリー・ジャパン, 2016年09月, ISBN:978-4-87311-758-4 - 新納 浩幸, Chainerによる実践深層学習, オーム社, 2016年09月, ISBN:978-4-274-21934-4