パラメータ集合Wをもつモデルがあり,Dに対する目的関数の値をED (W), DS に対する目的関数の値をES (W),n ∈ Sに対する目的関数の値をEn (W)と する. ミニバッチ学習におけるES (W)を次のように設定する. ES (W) = N M n∈S En (W) (1.1.1) ミニバッチがランダム(一様分布)に従って取ってくるとき, ES (W)とED (W)の期待値は等しくなる( N M はそのための係数である) . ES (W)の勾配を用いて学習するとき,確率的勾配降下法(stochastic gradient descent method)と呼ぶ. 5 / 35