LSTM to GRU

Transcript

1. Uc ＋ tanh
   Wc
   Ui ＋ sigmoid
   Wi
   ×
   × ＋
   Uf ＋ sigmoid
   Wf
   tanh ×
   Uo ＋ sigmoid
   Wo
   入力から特徴を
   読み取る
   記憶を出力すべ
   きか制御する
   特徴を記憶すべ
   きか制御する
   記憶を忘却すべ
   きか制御する
   出力 h
   記憶 c
   特徴
   bo
   bc
   bi
   bf
   LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした．
   Output
   Gate
   Input
   Gate
   Forget
   Gate
   GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした．
   LSTM を用意する。
   出力 h（前）
   記憶 c（前）
   入力 x
   LSTM
   

   View Slide

2. Uc ＋ tanh
   Wc
   Ui ＋ sigmoid
   Wi
   ×
   × ＋
   Uf ＋ sigmoid
   Wf
   入力から特徴を
   読み取る
   特徴を記憶すべ
   きか制御する
   記憶を忘却すべ
   きか制御する
   記憶 c
   記憶 c（前）
   記憶 c（前）
   特徴
   bc
   bi
   bf
   LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした．
   Input
   Gate
   Forget
   Gate
   GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした．
   出力 h の出力を廃止し記憶 c に一本化する。これにより Output Gate の使用機会がなくなり消滅する。
   前ステップの出力 h を利用していた箇所は前ステップの記憶 c を利用するように変更する。
   入力 x
   

   View Slide

3. Uc ＋ tanh
   Wc
   Ui ＋ sigmoid
   Wi
   ×
   × ＋
   Uf ＋ sigmoid
   Wf
   入力から特徴を
   読み取る
   出力を特徴で更新
   すべきか制御する
   出力を忘却すべ
   きか制御する
   出力 h
   入力 x
   出力 h（前）
   特徴
   bc
   bi
   bf
   Input
   Gate
   Forget
   Gate
   LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした．
   GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした．
   記憶 c を新たに出力 h とする。
   

   View Slide

4. Uc ＋ tanh
   Wc
   Ui ＋ sigmoid
   Wi
   ×
   × ＋
   入力から特徴を
   読み取る
   出力を特徴で更新
   すべきか制御する
   出力 h
   入力 x
   出力 h（前）
   特徴
   bc
   bi
   Update
   Gate
   LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした．
   GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした．
   出力と記憶を統合したことにより Input Gate と Forget Gate の役割が重複してしまったため、2つの Gate を統合して Update Gate
   とする。
   

   View Slide

5. Uc ＋ tanh
   Wc
   Ui ＋ sigmoid
   Wi
   ×
   × ＋
   入力から特徴を
   読み取る
   出力を特徴で更新
   すべきか制御する
   出力 h
   入力 x
   出力 h（前）
   特徴
   bc
   bi
   Update
   Gate
   LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした．
   GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした．
   Ur ＋ sigmoid
   Wr
   内部状態を利用す
   べきか制御する
   br
   ×
   Reset
   Gate
   出力と記憶を統合したことにより、現時点の特徴を生成するのに常に前ステップの出力＝記憶を100%利用する状態になっていた。
   特徴生成に使用する出力＝記憶をリセットするための機構として Reset Gate を設置する（ Fully Gated Unit ）。
   Fully Gated Unit arXiv:1406.1078
   

   View Slide

6. Uc ＋ tanh
   Wc
   ×
   × ＋
   入力から特徴を
   読み取る
   出力 h
   入力 x
   出力 h（前）
   特徴
   bc
   LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした．
   GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした．
   Ur ＋ sigmoid
   Wr
   内部状態を忘却す
   べきか制御する
   br
   ×
   Forget
   Gate
   Forget
   Gate
   (shared)
   Reset Gate と Upgate Gate の類似性から、この2つの Gate は統合してもよさそうである。
   これらを統合して Forget Gate にする（ Minimal Gated Unit ） 。
   Minimal Gated Unit arXiv:1701.03452
   

   View Slide