Slide 19
Slide 19 text
Copyright @ Liberal Arts Community. All Rights Reserved.
論文詳細 ~The Generalized Natural Gradient
自然勾配法・一般化自然勾配法について説明する.
まず,一般の勾配法から説明する.
スコア関数を各パラメータで偏微分して与えられる勾配(ordinary gradient)を∇ ,
とかく.
∇ , はスコア関数の値を最も大きく上昇させる方向ベクトルになる.つまり
∇ , ∝ lim
→0
argmax: =
+ , (∗)
これが一般の勾配法.
(*)上の式が成り立つためにはlimが存在しないとダメで,論文の定義だと存在するかは非自明に思えるが,その辺
は今回は気にしないでおく.
19