Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Deep Learning勉強会 逆伝播の仕組み
Search
株式会社Jurabi
October 01, 2024
Programming
0
24
Deep Learning勉強会 逆伝播の仕組み
誤差逆伝播法の概要に関する説明です。
Deep Learningの社内勉強会の発表資料
株式会社Jurabi
October 01, 2024
Tweet
Share
More Decks by 株式会社Jurabi
See All by 株式会社Jurabi
DDDモデリング勉強会 #6
jurabi
0
30
DDDモデリング勉強会 #7
jurabi
0
13
DDDモデリング勉強会 #9
jurabi
0
22
RDBの世界をぬりかえていくモデルグラフDB〜truncus graphによるモデルファースト開発〜
jurabi
0
350
Other Decks in Programming
See All in Programming
[SRE NEXT] 複雑なシステムにおけるUser Journey SLOの導入
yakenji
0
810
テストから始めるAgentic Coding 〜Claude Codeと共に行うTDD〜 / Agentic Coding starts with testing
rkaga
17
6.2k
GPUを計算資源として使おう!
primenumber
1
290
QA x AIエコシステム段階構築作戦
osu
0
210
MySQL9でベクトルカラム登場!PHP×AWSでのAI/類似検索はこう変わる
suguruooki
1
250
PHPカンファレンス関西2025 基調講演
sugimotokei
5
1k
코딩 에이전트 체크리스트: Claude Code ver.
nacyot
0
1k
Claude Code で Astro blog を Pages から Workers へ移行してみた
codehex
0
160
フロントエンドのパフォーマンスチューニング
koukimiura
6
2.3k
iOS開発スターターキットの作り方
akidon0000
0
210
[Codecon - 2025] Como não odiar seus testes
camilacampos
0
100
SQLアンチパターン第2版 データベースプログラミングで陥りがちな失敗とその対策 / Intro to SQL Antipatterns 2nd
twada
PRO
34
10k
Featured
See All Featured
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.5k
Thoughts on Productivity
jonyablonski
69
4.8k
Writing Fast Ruby
sferik
628
62k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Rails Girls Zürich Keynote
gr2m
95
14k
Making Projects Easy
brettharned
117
6.3k
A Modern Web Designer's Workflow
chriscoyier
695
190k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
RailsConf 2023
tenderlove
30
1.2k
A Tale of Four Properties
chriscoyier
160
23k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Transcript
Deep Learning勉強会 逆伝播の仕組み 2016/10/14 (金) 19:00 – 21:00
アジェンダ • 復習 • 確率的勾配降下法に必要なものを算出する • 誤差逆伝播法 • 誤差逆伝播法の式からわかること •
誤差逆伝播法を一気にやる • プログラミング 2
復習(パーセプトロン) 3 ・ ・ ・ ・ ・ ・ ・ ・
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ :ニューロンの活性 :ニューロンの出力 :ニューロンの入力の重み :ニューロンのバイアス :ネットワークのコスト関数 ベクトルで表現
復習(確率的勾配降下法) 4 これを求めるのが誤差逆伝播法 わかりやすくするために、ニューロンレベルで書くと 重みの更新: バイアスの更新: (N:ミニバッチ内の訓練データの数)
確率的勾配降下法に必要なものを算出する 5 と置きかえると これを第l層のj番目のニューロンの誤差とよぶ これが計算できればOK! 次の層の誤差がわかれば計算できる(誤差の逆伝播)。出力層までさかのぼると・・・ これはフィードフォワードの結果から計算できる!
誤差逆伝播法 1. 訓練データのセット(ミニバッチ)を入力 2. ミニバッチ内の各訓練データ に対して、以下のステップを行う (1) フィードフォワード (2) 出力層の誤差を計算
(3) 誤差を逆伝播し、各層の誤差を計算 3. 勾配降下法で重み、バイアスを更新する 6
誤差逆伝播法の式からわかること 7 1. 入力( )が小さいと、その入力の重みの学習は遅い 2. 誤差( )が小さいと、そのニューロンへの入力の重みの学習は遅い 誤差が小さくなるのはどんなとき? →
ニューロンの活性( )が大きい、または小さい時には となる 2. ニューロンの活性が大きい、または小さいと、 そのニューロンへの入力の重みの学習は遅い
誤差逆伝播法を一気にやる 1. 訓練データのセット(ミニバッチ)を入力し、行列化する 2. ミニバッチ に対して、以下のステップを行う (1) フィードフォワード (2) 出力層の誤差を計算
(3) 誤差を逆伝播し、各層の誤差を計算 3. 勾配降下法で重み、バイアスを更新する 8
プログラミング 9 <課題> network.pyを行列を使ったアルゴリズムに書き換えてください