Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
金研究室 勉強会 『バックプロパゲーションと勾配消失問題』
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
winnie279
August 12, 2021
Science
590
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
金研究室 勉強会 『バックプロパゲーションと勾配消失問題』
バックプロパゲーションと勾配消失問題, 中村勇士, 2021
winnie279
August 12, 2021
Transcript
13 slides
バックプロパゲーションと勾配 消失問題 金研 機械学習勉強会 2021/08/12 中村勇士
単純パーセプトロン x 1 x 2 x 3 x 4 x
5 y モデル化 w i :x i がどのくらい重要か(重み) 補正項 (バイアス) ニューロン ステップ関数 単純 パーセプトロン シグモイド関数
最適化 最初から最適な重み・バイアスは分からない → 重みの初期値はランダム 出力と正解がずれる(誤差) → トレーニングで重みの誤差を修正する
最適化 • 重みを変えると誤差は どうなるか? • グラフ ◦ 重み↓
誤差↓ ⇒ 重みを減らす ◦ 重み↑ 誤差↓ ⇒ 重みを増やす • 傾きを調べればよい
単純パーセプトロンのまとめ Forward Back 誤差を修正して重みを更新・最適化
ディープニューラルネットワーク モデル化
y 1 y 2 x 31 x 32 x 33
x 34 x 21 x 22 x 23 x 24 x 11 x 12 x 13 y 1 y 2 x 31 x 32 x 33 x 34 x 21 x 22 x 23 x 24 x 11 x 12 x 13 Forward propagation Forward propagation 最初の重みはランダム → 計算した出力と正解には誤差がある
x 31 x 32 x 33 x 34 y 1
y 2 x 31 x 32 x 33 x 34 x 21 x 22 x 23 x 24 x 21 x 22 x 23 x 24 x 11 x 12 x 13 x 11 x 12 x 13 y 1 y 2 Back propagation(誤差逆伝播法) Back propagation
y 1 y 2 x 31 x 32 x 33
x 34 x 21 x 22 x 23 x 24 x 11 x 12 x 13 Forward propagation Back propagation ディープニューラルネットワークのまとめ
勾配消失問題 • 傾きがほぼ0になり学習が 進まなくなる → 学習は終了していない
• 層が多いほど発生しやすい • inputに近いほど発生しやすい
勾配消失問題 左の層ほど0.25以下の数をたくさんかける → 傾きが小さくなる シグモイド関数の 微分 シグモイド関数 Back
propagationの計算のため微分 → maxが0.25 (0.25)4 ≒ 0.004
勾配消失問題への対処 傾きがシグモイド関数より大きい x > 0で傾きが常に1 x ≤ 0に傾きをつけるなど
活性化関数の改善
• Batch Normalization ◦ 各バッチを正規化 (バッチ:グループ分けされたデータ) ◦ 平均0, 分散1にする
• メリット ◦ 学習率を上げられる → 勾配が小さくても学習できる ◦ 過学習を防ぐ → 従来の方法より高速 勾配消失問題への対処
More Decks by winnie279
See All by winnie279
NowWay:訪⽇外国⼈旅⾏者向けの災害⽀援サービス
yjn279
0
48
「みえるーむ」(都知事杯Open Data Hackathon 2024 Final Stage)
yjn279
0
120
「みえるーむ」(都知事杯オープンデータ・ハッカソン 2024)
yjn279
0
100
5分で学ぶOpenAI APIハンズオン
yjn279
0
270
『確率思考の戦略論』
yjn279
0
170
Amazonまでのレコメンド入門
yjn279
1
210
もう一度理解するTransformer(後編)
yjn279
0
100
金研究室 勉強会 『もう一度理解する Transformer(前編)』
yjn279
0
160
金研究室 勉強会 『U-Netとそのバリエーションについて』
yjn279
0
1.2k
Other Decks in Science
See All in Science
医療 LLM ベンチマークの現在地:多面的評価 と日本ローカライズ
analokmaus
1
800
TypeScript で WebAssembly を用いた 型安全なプラグイン設計
nagano
3
700
ssmonline #51 ヤマサキ春のサメ祭り 2026 / ssmjp Yamasaki Spring JAWS Festival 2026
naospon
1
180
機械学習 - K近傍法 & 機械学習のお作法
trycycle
PRO
1
1.7k
(CVPR2026) Back to Basics: Let Denoising Generative Models Denoise
shumpei777
0
470
[第67回 CV勉強会@関東] CV × Scientific Figures / kantoCV 67th CVPR 2026
lychee1223
0
280
1. CPC理論の展開と集合的知能モデル(JSAI2026 KS-27 集合的予測符号化と新たな知性の時代)
hayashiyus884
1
440
[Webinaire InnOvin] Coup de Chaud : Comment préserver la santé des animaux
institutdelelevage
PRO
0
280
データベース11: 正規化(1/2) - 望ましくない関係スキーマ
trycycle
PRO
0
1.8k
科学で迫る勝敗の法則-スポーツデータ分析の最前線 (刈谷市連携講座.2026年7月) / The principle of victory discovered by science. at Kariya City, 2027.07
konakalab
0
220
O(log n)-Approximation Algorithms for Bipartiteness Ratio
tasusu
0
320
データベース10: 拡張実体関連モデル
trycycle
PRO
0
1.6k
Featured
See All Featured
The Spectacular Lies of Maps
axbom
PRO
1
1.1k
From Legacy to Launchpad: Building Startup-Ready Communities
dugsong
0
380
How to optimise 3,500 product descriptions for ecommerce in one day using ChatGPT
katarinadahlin
PRO
3
3.9k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
2k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
6.2k
The Director’s Chair: Orchestrating AI for Truly Effective Learning
tmiket
1
350
The AI Search Optimization Roadmap by Aleyda Solis
aleyda
2
6.4k
Reflections from 52 weeks, 52 projects
jeffersonlam
356
22k
Become a Pro
speakerdeck
PRO
31
6.4k
How to Think Like a Performance Engineer
csswizardry
28
2.9k
Avoiding the “Bad Training, Faster” Trap in the Age of AI
tmiket
1
310
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
130k