Uc + tanh
Wc
Ui + sigmoid
Wi
×
× +
Uf + sigmoid
Wf
tanh ×
Uo + sigmoid
Wo
入力から特徴を
読み取る
記憶を出力すべ
きか制御する
特徴を記憶すべ
きか制御する
記憶を忘却すべ
きか制御する
出力 h
記憶 c
特徴
bo
bc
bi
bf
LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした.
Output
Gate
Input
Gate
Forget
Gate
GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした.
LSTM を用意する。
出力 h(前)
記憶 c(前)
入力 x
LSTM