Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Deep Learning勉強会 逆伝播の仕組み
Search
株式会社Jurabi
October 01, 2024
Programming
0
8
Deep Learning勉強会 逆伝播の仕組み
誤差逆伝播法の概要に関する説明です。
Deep Learningの社内勉強会の発表資料
株式会社Jurabi
October 01, 2024
Tweet
Share
More Decks by 株式会社Jurabi
See All by 株式会社Jurabi
DDDモデリング勉強会 #6
jurabi
0
11
DDDモデリング勉強会 #7
jurabi
0
5
DDDモデリング勉強会 #9
jurabi
0
8
RDBの世界をぬりかえていくモデルグラフDB〜truncus graphによるモデルファースト開発〜
jurabi
0
140
Other Decks in Programming
See All in Programming
型付きで行うVSCode拡張機能開発 / VSCode Meetup #31
mazrean
0
210
ECS向けのドリフト検知機構を実装してみた
tkikuc
0
260
Cloud Adoption Frameworkにみる組織とクラウド導入戦略(縮小版)
tomokusaba
1
120
なぜアジャイルがうまくいかないのか?
yum3
2
140
モジュラモノリス、その前に / Modular monolith, before that
euglena1215
3
380
フロントエンドの標準仕様をどう追っているか / How I follow the frontend standards specs
petamoriken
3
170
Applied NLP in the Age of Generative AI
inesmontani
PRO
3
1.1k
M5Stackボードの選び方
tanakamasayuki
0
200
[PHPカンファレンス沖縄2024]「無理なくできるだけ安全に」テストもないレガシーコードをリファクタリングするテクニック
ikezoemakoto
3
110
tsconfig.jsonの最近の新機能 ファイルパス編
uhyo
6
1.2k
Cancel Next.js Page Navigation: Full Throttle
ypresto
1
110
GitHub Copilot Workspace で我々のアプリ開発がどう変わるのか?
shuyakinjo
0
840
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
221
8.8k
Building a Modern Day E-commerce SEO Strategy
aleyda
36
6.8k
Code Reviewing Like a Champion
maltzj
518
39k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
36
1.7k
The Invisible Side of Design
smashingmag
296
50k
Fashionably flexible responsive web design (full day workshop)
malarkey
402
65k
VelocityConf: Rendering Performance Case Studies
addyosmani
322
23k
Web Components: a chance to create the future
zenorocha
309
42k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
124
18k
WebSockets: Embracing the real-time Web
robhawkes
59
7.3k
Rails Girls Zürich Keynote
gr2m
93
13k
Building Flexible Design Systems
yeseniaperezcruz
326
38k
Transcript
Deep Learning勉強会 逆伝播の仕組み 2016/10/14 (金) 19:00 – 21:00
アジェンダ • 復習 • 確率的勾配降下法に必要なものを算出する • 誤差逆伝播法 • 誤差逆伝播法の式からわかること •
誤差逆伝播法を一気にやる • プログラミング 2
復習(パーセプトロン) 3 ・ ・ ・ ・ ・ ・ ・ ・
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ :ニューロンの活性 :ニューロンの出力 :ニューロンの入力の重み :ニューロンのバイアス :ネットワークのコスト関数 ベクトルで表現
復習(確率的勾配降下法) 4 これを求めるのが誤差逆伝播法 わかりやすくするために、ニューロンレベルで書くと 重みの更新: バイアスの更新: (N:ミニバッチ内の訓練データの数)
確率的勾配降下法に必要なものを算出する 5 と置きかえると これを第l層のj番目のニューロンの誤差とよぶ これが計算できればOK! 次の層の誤差がわかれば計算できる(誤差の逆伝播)。出力層までさかのぼると・・・ これはフィードフォワードの結果から計算できる!
誤差逆伝播法 1. 訓練データのセット(ミニバッチ)を入力 2. ミニバッチ内の各訓練データ に対して、以下のステップを行う (1) フィードフォワード (2) 出力層の誤差を計算
(3) 誤差を逆伝播し、各層の誤差を計算 3. 勾配降下法で重み、バイアスを更新する 6
誤差逆伝播法の式からわかること 7 1. 入力( )が小さいと、その入力の重みの学習は遅い 2. 誤差( )が小さいと、そのニューロンへの入力の重みの学習は遅い 誤差が小さくなるのはどんなとき? →
ニューロンの活性( )が大きい、または小さい時には となる 2. ニューロンの活性が大きい、または小さいと、 そのニューロンへの入力の重みの学習は遅い
誤差逆伝播法を一気にやる 1. 訓練データのセット(ミニバッチ)を入力し、行列化する 2. ミニバッチ に対して、以下のステップを行う (1) フィードフォワード (2) 出力層の誤差を計算
(3) 誤差を逆伝播し、各層の誤差を計算 3. 勾配降下法で重み、バイアスを更新する 8
プログラミング 9 <課題> network.pyを行列を使ったアルゴリズムに書き換えてください