Slide 14
Slide 14 text
アクティベーションの分布
を強制的に調整する
Batch Normalization (Batch Norm)
…
…
…
…
…
⼊
⼒
デ
タ
ミニバッチごとに、データの平均が0で
分散が1になるよう正規化を⾏う。
<
←
1
> @
A
@B"
#
<
←
1
>(@
−<
)#
A
@B"
@
D ←
@
− <
#
<
+
ミニバッチ = "
, #
, … , A
を、平均
0、分散1のデータ "
I, #
I, … , @
D に変換
する。
Affine → Batch Norm → ReLU となるようにする