Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
金研究室 勉強会 『バックプロパゲーションと勾配消失問題』
Search
winnie279
August 12, 2021
Science
0
78
金研究室 勉強会 『バックプロパゲーションと勾配消失問題』
バックプロパゲーションと勾配消失問題, 中村勇士, 2021
winnie279
August 12, 2021
Tweet
Share
More Decks by winnie279
See All by winnie279
5分で学ぶOpenAI APIハンズオン
yjn279
0
110
『確率思考の戦略論』
yjn279
0
81
Amazonまでのレコメンド入門
yjn279
1
96
もう一度理解するTransformer(後編)
yjn279
0
32
金研究室 勉強会 『もう一度理解する Transformer(前編)』
yjn279
0
23
金研究室 勉強会 『U-Netとそのバリエーションについて』
yjn279
0
130
金研究室 勉強会 『Seismic Data Augmentation Based on Conditional Generative Adversarial Networks』
yjn279
0
27
金研究室 勉強会 『Attention is all you need』
yjn279
0
64
金研究室 勉強会 『U-Net: Convolutional Networks for Biomedical Image Segmentation』
yjn279
0
39
Other Decks in Science
See All in Science
障害物を回避する バイナリマニピュレータの軌道の設計 / Design of binary manipulator trajectories avoiding obstacles
konakalab
0
100
AI(人工知能)の過去・現在・未来 —AIは人間を超えるのか—
tagtag
1
200
OptimizationNight~機械学習と数理最適化の融合~
hidenari
0
330
qeMLパッケージの紹介
bob3bob3
0
1k
量子コンピュータとデータサイエンティスト
fuyu_quant0
0
140
B-Cubed: Leveraging analysis-ready biodiversity datasets and cloud computing for timely and actionable biodiversity monitoring
peterdesmet
0
170
はじめての「相関と因果とエビデンス」入門:“動機づけられた推論” に抗うために
takehikoihayashi
15
5.5k
AI(人工知能)の過去・現在・未来 —AIは人間を超えるのか—
tagtag
0
120
DEIM2024 チュートリアル ~AWSで生成AIのRAGを使ったチャットボットを作ってみよう~
yamahiro
3
740
PRML Chapter 1 (1.3-1.6)
snkmr
1
100
同じデータでもP値が変わる話/key_considerations_in_NHST
florets1
1
1.1k
Leveraging conformal prediction for calibrated probabilistic time series forecasts to accelerate the renewable energy transition
ingevandenende
2
270
Featured
See All Featured
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.7k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
12
1.1k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
275
13k
Done Done
chrislema
178
15k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.9k
What’s in a name? Adding method to the madness
productmarketing
PRO
17
2.7k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
A Philosophy of Restraint
colly
197
16k
Stop Working from a Prison Cell
hatefulcrawdad
266
19k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
14
8.4k
Bash Introduction
62gerente
605
210k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
67
14k
Transcript
バックプロパゲーションと勾配 消失問題 金研 機械学習勉強会 2021/08/12 中村勇士
単純パーセプトロン x 1 x 2 x 3 x 4 x
5 y モデル化 w i :x i がどのくらい重要か(重み) 補正項 (バイアス) ニューロン ステップ関数 単純 パーセプトロン シグモイド関数
最適化 最初から最適な重み・バイアスは分からない → 重みの初期値はランダム 出力と正解がずれる(誤差) → トレーニングで重みの誤差を修正する
最適化 • 重みを変えると誤差は どうなるか? • グラフ ◦ 重み↓
誤差↓ ⇒ 重みを減らす ◦ 重み↑ 誤差↓ ⇒ 重みを増やす • 傾きを調べればよい
単純パーセプトロンのまとめ Forward Back 誤差を修正して重みを更新・最適化
ディープニューラルネットワーク モデル化
y 1 y 2 x 31 x 32 x 33
x 34 x 21 x 22 x 23 x 24 x 11 x 12 x 13 y 1 y 2 x 31 x 32 x 33 x 34 x 21 x 22 x 23 x 24 x 11 x 12 x 13 Forward propagation Forward propagation 最初の重みはランダム → 計算した出力と正解には誤差がある
x 31 x 32 x 33 x 34 y 1
y 2 x 31 x 32 x 33 x 34 x 21 x 22 x 23 x 24 x 21 x 22 x 23 x 24 x 11 x 12 x 13 x 11 x 12 x 13 y 1 y 2 Back propagation(誤差逆伝播法) Back propagation
y 1 y 2 x 31 x 32 x 33
x 34 x 21 x 22 x 23 x 24 x 11 x 12 x 13 Forward propagation Back propagation ディープニューラルネットワークのまとめ
勾配消失問題 • 傾きがほぼ0になり学習が 進まなくなる → 学習は終了していない
• 層が多いほど発生しやすい • inputに近いほど発生しやすい
勾配消失問題 左の層ほど0.25以下の数をたくさんかける → 傾きが小さくなる シグモイド関数の 微分 シグモイド関数 Back
propagationの計算のため微分 → maxが0.25 (0.25)4 ≒ 0.004
勾配消失問題への対処 傾きがシグモイド関数より大きい x > 0で傾きが常に1 x ≤ 0に傾きをつけるなど
活性化関数の改善
• Batch Normalization ◦ 各バッチを正規化 (バッチ:グループ分けされたデータ) ◦ 平均0, 分散1にする
• メリット ◦ 学習率を上げられる → 勾配が小さくても学習できる ◦ 過学習を防ぐ → 従来の方法より高速 勾配消失問題への対処