Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Deep Learning勉強会 逆伝播の仕組み
Search
株式会社Jurabi
October 01, 2024
Programming
0
24
Deep Learning勉強会 逆伝播の仕組み
誤差逆伝播法の概要に関する説明です。
Deep Learningの社内勉強会の発表資料
株式会社Jurabi
October 01, 2024
Tweet
Share
More Decks by 株式会社Jurabi
See All by 株式会社Jurabi
DDDモデリング勉強会 #6
jurabi
0
29
DDDモデリング勉強会 #7
jurabi
0
13
DDDモデリング勉強会 #9
jurabi
0
22
RDBの世界をぬりかえていくモデルグラフDB〜truncus graphによるモデルファースト開発〜
jurabi
0
340
Other Decks in Programming
See All in Programming
git worktree × Claude Code × MCP ~生成AI時代の並列開発フロー~
hisuzuya
1
550
Result型で“失敗”を型にするPHPコードの書き方
kajitack
5
600
すべてのコンテキストを、 ユーザー価値に変える
applism118
3
1.2k
猫と暮らす Google Nest Cam生活🐈 / WebRTC with Google Nest Cam
yutailang0119
0
110
AIと”コードの評価関数”を共有する / Share the "code evaluation function" with AI
euglena1215
1
150
LINEヤフー データグループ紹介
lycorp_recruit_jp
1
2.4k
LT 2025-06-30: プロダクトエンジニアの役割
yamamotok
0
720
Systèmes distribués, pour le meilleur et pour le pire - BreizhCamp 2025 - Conférence
slecache
0
120
なぜ適用するか、移行して理解するClean Architecture 〜構造を超えて設計を継承する〜 / Why Apply, Migrate and Understand Clean Architecture - Inherit Design Beyond Structure
seike460
PRO
3
750
PHPでWebSocketサーバーを実装しよう2025
kubotak
0
280
Railsアプリケーションと パフォーマンスチューニング ー 秒間5万リクエストの モバイルオーダーシステムを支える事例 ー Rubyセミナー 大阪
falcon8823
5
1.1k
iOS 26にアップデートすると実機でのHot Reloadができない?
umigishiaoi
0
120
Featured
See All Featured
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
810
We Have a Design System, Now What?
morganepeng
53
7.7k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
The Cult of Friendly URLs
andyhume
79
6.5k
Music & Morning Musume
bryan
46
6.6k
Gamification - CAS2011
davidbonilla
81
5.3k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.8k
Code Reviewing Like a Champion
maltzj
524
40k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Transcript
Deep Learning勉強会 逆伝播の仕組み 2016/10/14 (金) 19:00 – 21:00
アジェンダ • 復習 • 確率的勾配降下法に必要なものを算出する • 誤差逆伝播法 • 誤差逆伝播法の式からわかること •
誤差逆伝播法を一気にやる • プログラミング 2
復習(パーセプトロン) 3 ・ ・ ・ ・ ・ ・ ・ ・
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ :ニューロンの活性 :ニューロンの出力 :ニューロンの入力の重み :ニューロンのバイアス :ネットワークのコスト関数 ベクトルで表現
復習(確率的勾配降下法) 4 これを求めるのが誤差逆伝播法 わかりやすくするために、ニューロンレベルで書くと 重みの更新: バイアスの更新: (N:ミニバッチ内の訓練データの数)
確率的勾配降下法に必要なものを算出する 5 と置きかえると これを第l層のj番目のニューロンの誤差とよぶ これが計算できればOK! 次の層の誤差がわかれば計算できる(誤差の逆伝播)。出力層までさかのぼると・・・ これはフィードフォワードの結果から計算できる!
誤差逆伝播法 1. 訓練データのセット(ミニバッチ)を入力 2. ミニバッチ内の各訓練データ に対して、以下のステップを行う (1) フィードフォワード (2) 出力層の誤差を計算
(3) 誤差を逆伝播し、各層の誤差を計算 3. 勾配降下法で重み、バイアスを更新する 6
誤差逆伝播法の式からわかること 7 1. 入力( )が小さいと、その入力の重みの学習は遅い 2. 誤差( )が小さいと、そのニューロンへの入力の重みの学習は遅い 誤差が小さくなるのはどんなとき? →
ニューロンの活性( )が大きい、または小さい時には となる 2. ニューロンの活性が大きい、または小さいと、 そのニューロンへの入力の重みの学習は遅い
誤差逆伝播法を一気にやる 1. 訓練データのセット(ミニバッチ)を入力し、行列化する 2. ミニバッチ に対して、以下のステップを行う (1) フィードフォワード (2) 出力層の誤差を計算
(3) 誤差を逆伝播し、各層の誤差を計算 3. 勾配降下法で重み、バイアスを更新する 8
プログラミング 9 <課題> network.pyを行列を使ったアルゴリズムに書き換えてください