LSTM to GRU

Transcript

1. Uc ＋ tanh Wc Ui ＋ sigmoid Wi × × ＋ Uf ＋ sigmoid Wf tanh × Uo ＋ sigmoid Wo 入力から特徴を 読み取る 記憶を出力すべ きか制御する 特徴を記憶すべ きか制御する 記憶を忘却すべ きか制御する 出力 h 記憶 c 特徴 bo bc bi bf LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした． Output Gate Input Gate Forget Gate GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした． LSTM を用意する。 出力 h（前） 記憶 c（前） 入力 x LSTM
2. Uc ＋ tanh Wc Ui ＋ sigmoid Wi × × ＋ Uf ＋ sigmoid Wf 入力から特徴を 読み取る 特徴を記憶すべ きか制御する 記憶を忘却すべ きか制御する 記憶 c 記憶 c（前） 記憶 c（前） 特徴 bc bi bf LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした． Input Gate Forget Gate GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした． 出力 h の出力を廃止し記憶 c に一本化する。これにより Output Gate の使用機会がなくなり消滅する。 前ステップの出力 h を利用していた箇所は前ステップの記憶 c を利用するように変更する。 入力 x
3. Uc ＋ tanh Wc Ui ＋ sigmoid Wi × × ＋ Uf ＋ sigmoid Wf 入力から特徴を 読み取る 出力を特徴で更新 すべきか制御する 出力を忘却すべ きか制御する 出力 h 入力 x 出力 h（前） 特徴 bc bi bf Input Gate Forget Gate LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした． GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした． 記憶 c を新たに出力 h とする。
4. Uc ＋ tanh Wc Ui ＋ sigmoid Wi × × ＋ 入力から特徴を 読み取る 出力を特徴で更新 すべきか制御する 出力 h 入力 x 出力 h（前） 特徴 bc bi Update Gate LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした． GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした． 出力と記憶を統合したことにより Input Gate と Forget Gate の役割が重複してしまったため、2つの Gate を統合して Update Gate とする。
5. Uc ＋ tanh Wc Ui ＋ sigmoid Wi × × ＋ 入力から特徴を 読み取る 出力を特徴で更新 すべきか制御する 出力 h 入力 x 出力 h（前） 特徴 bc bi Update Gate LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした． GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした． Ur ＋ sigmoid Wr 内部状態を利用す べきか制御する br × Reset Gate 出力と記憶を統合したことにより、現時点の特徴を生成するのに常に前ステップの出力＝記憶を100%利用する状態になっていた。 特徴生成に使用する出力＝記憶をリセットするための機構として Reset Gate を設置する（ Fully Gated Unit ）。 Fully Gated Unit arXiv:1406.1078
6. Uc ＋ tanh Wc × × ＋ 入力から特徴を 読み取る 出力 h 入力 x 出力 h（前） 特徴 bc LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした． GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした． Ur ＋ sigmoid Wr 内部状態を忘却す べきか制御する br × Forget Gate Forget Gate (shared) Reset Gate と Upgate Gate の類似性から、この2つの Gate は統合してもよさそうである。 これらを統合して Forget Gate にする（ Minimal Gated Unit ） 。 Minimal Gated Unit arXiv:1701.03452