Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
誤差逆伝播法/machine-learning-lecture-backpropagation
Search
monochromegane
July 17, 2020
Technology
8.3k
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
誤差逆伝播法/machine-learning-lecture-backpropagation
GMOペパボ新卒研修2020 機械学習入門 補足資料#06
monochromegane
July 17, 2020
Transcript
30 slides
1 ペパボ研究所 三宅悠介 新卒研修 機械学習入門 補足資料#06 (2020/07/03 Update) 誤差逆伝播法
2 2 ニューラルネットワークの 構造 線形から非線形へ
3 ニューラルネットワークの構造 3 *本資料では簡単のため、バイアス項は導入しない
4 ニューラルネットワークの構造 4
5 ニューラルネットワークの構造 5
6 ニューラルネットワークの構造 6
7 ニューラルネットワークの構造 7
8 ニューラルネットワークの構造 8
9 ニューラルネットワークの構造 9
10 ニューラルネットワークの構造 10
11 ニューラルネットワークの構造 11 活性化関数
12 ニューラルネットワークの構造 12
13 ニューラルネットワークの構造 13
14 14 誤差逆伝播法 デルタ!
15 誤差関数と偏微分 15 誤差関数 パラメータごとの偏微分
16 個別のパラメータごとに偏微分するの ではなく、出力層に近い層の偏微分の 結果を前の層に渡すことで各層でのパ ラメータの偏微分を行う。 誤差信号と呼ばれる値が出力から入力 の方向へ(逆向きに)伝播していくこと から名付けられている。 誤差逆伝播法
16 誤差逆伝播法
17 出力層のパラメータの偏微分 17
18 隠れ層のパラメータの偏微分 18
19 隠れ層のδは一つ先の層のδを使って 求めることができる。 隠れ層のδ 19 隠れ層のδ
20 隠れ層のδ 20 上流のδの数だけ足し合わせ Lはz2(z1)の合成関数
21 隠れ層のδ 21 活性化関数によって異なる
22 隠れ層のδ 22 上流のδの数だけ足し合わせ Lはz2(z1)の合成関数
23 出力層(はじめの)のδ 23 Lkはyk’(z2)の合成関数 活性化関数によって異なる 誤差
24 各層における入力xと重みとの線形結 合した結果であるzを保持する。これを パラメータの更新に用いる。 誤差逆伝播法によるパラメータの更新 24 順伝播
25 誤差逆伝播法によるパラメータの更新 25 出力層の誤差またはパラメータの値と 活性化関数の偏微分を用いて各層に おけるδを求める 逆伝播
26 誤差逆伝播法によるパラメータの更新 26 δとxからパラメータを更新する 逆伝播
27 * 誤差逆伝播法 27 誤差関数に対するパラメータの偏微分 パラメータの更新
28 参考: 活性化関数の微分 28 シグモイド関数 ReLU 実際はx=0の時は微分不可
29 29 参考
30 参考文献 30 本資料における誤差逆伝播法の導出は以下の文献を参考にしました。 より詳細、発展的な説明が必要であれば、精読し、理解を深めてみてください。 - スマートニュース株式会社 立石
賢吾, やさしく学ぶ ディープラーニングがわか る数学のきほん ~アヤノ&ミオと学ぶ ディープラーニングの理論と数学、実装~, マイナビ出版, 2019年07月31日. ISBN:978-4-8399-6837-3 - 斎藤 康毅, ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理 論と実装, オライリー・ジャパン, 2016年09月, ISBN:978-4-87311-758-4 - 新納 浩幸, Chainerによる実践深層学習, オーム社, 2016年09月, ISBN:978-4-274-21934-4
More Decks by monochromegane
See All by monochromegane
Go言語とトイモデルで学ぶTransformerの気持ち / fukuokago23-transformer
monochromegane
0
300
適応的スパムフィルタのための軽量な類似メッセージカウンタ / jsai2026-adaptive-spam-filter
monochromegane
0
6.5k
ベクトル検索のフィルタを用いた機械学習モデルとの統合 / python-meetup-fukuoka-06-vector-attr
monochromegane
3
950
Claude Codeセッション現状確認 2026福岡 / fukuoka-aicoding-00-beacon
monochromegane
4
860
Go言語での実装を通して学ぶLLMファインチューニングの仕組み / fukuokago22-llm-peft
monochromegane
0
330
不確実性下における目的と手段の統合的探索に向けた連続腕バンディットの応用 / iot70_gp_rff_mab
monochromegane
2
620
なめらかなシステムと運用維持の終わらぬ未来 / dicomo2025_coherently_fittable_system
monochromegane
0
57k
ベクトル検索システムの気持ち
monochromegane
38
13k
Go言語での実装を通して学ぶ、高速なベクトル検索を支えるクラスタリング技術/fukuokago-kmeans
monochromegane
1
350
Other Decks in Technology
See All in Technology
IoTのデータ保存をSREの観点で考える
grimoh
1
110
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
17
120k
AI時代における医療情報システムのセキュリティ / Security of Healthcare IT Systems in the AI Era
henryofficial
0
190
AIネイティブ組織の作り方。1人のPOとAIから始める、自社での実験
ama_ch
2
1.2k
AWS Client VPNの設定でハマったポイントとその過程での気づき
amarelo_n24
1
400
OpenTelemetryで変わった 新時代のCloudWatchメトリクス監視
tsukuboshi
0
450
業務の傍らで進める改善ループエンジニアリング
bengo4com
1
190
メール到達性を支える、リンク先URLのドメイン評価の扱い方
wind111
0
170
速くなるほど、深く考える AI時代のQAに学ぶ
kobayashiyorimitsu
0
270
あの日、見つかっていなかったらどうなっていたか
kazzpapa3
2
260
Gov-JAWS#9 統合監視機能のマネージドサービス化+AIによる障害時自動調査
fj_yoshimura_kosuke
0
210
E2E Test というハーネス — AI時代の自動テスト民主化
daishukojima
10
5.8k
Featured
See All Featured
From π to Pie charts
rasagy
1
450
Visualization
eitanlees
153
17k
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
rkaga
63
48k
The Anti-SEO Checklist Checklist. Pubcon Cyber Week
ryanjones
0
310
Raft: Consensus for Rubyists
vanstee
143
7.9k
Fantastic passwords and where to find them - at NoRuKo
philnash
53
4k
Bioeconomy Workshop: Dr. Julius Ecuru, Opportunities for a Bioeconomy in West Africa
akademiya2063
PRO
1
460
A brief & incomplete history of UX Design for the World Wide Web: 1989–2019
jct
2
570
How to train your dragon (web standard)
notwaldorf
96
6.9k
Build The Right Thing And Hit Your Dates
maggiecrowley
39
3.5k
The World Runs on Bad Software
bkeepers
PRO
72
12k
Stop Working from a Prison Cell
hatefulcrawdad
274
21k