Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LSTM to GRU

CookieBox26
June 06, 2020
190

LSTM to GRU

CookieBox26

June 06, 2020
Tweet

Transcript

  1. Uc + tanh Wc Ui + sigmoid Wi × ×

    + Uf + sigmoid Wf tanh × Uo + sigmoid Wo 入力から特徴を 読み取る 記憶を出力すべ きか制御する 特徴を記憶すべ きか制御する 記憶を忘却すべ きか制御する 出力 h 記憶 c 特徴 bo bc bi bf LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした. Output Gate Input Gate Forget Gate GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした. LSTM を用意する。 出力 h(前) 記憶 c(前) 入力 x LSTM
  2. Uc + tanh Wc Ui + sigmoid Wi × ×

    + Uf + sigmoid Wf 入力から特徴を 読み取る 特徴を記憶すべ きか制御する 記憶を忘却すべ きか制御する 記憶 c 記憶 c(前) 記憶 c(前) 特徴 bc bi bf LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした. Input Gate Forget Gate GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした. 出力 h の出力を廃止し記憶 c に一本化する。これにより Output Gate の使用機会がなくなり消滅する。 前ステップの出力 h を利用していた箇所は前ステップの記憶 c を利用するように変更する。 入力 x
  3. Uc + tanh Wc Ui + sigmoid Wi × ×

    + Uf + sigmoid Wf 入力から特徴を 読み取る 出力を特徴で更新 すべきか制御する 出力を忘却すべ きか制御する 出力 h 入力 x 出力 h(前) 特徴 bc bi bf Input Gate Forget Gate LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした. GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした. 記憶 c を新たに出力 h とする。
  4. Uc + tanh Wc Ui + sigmoid Wi × ×

    + 入力から特徴を 読み取る 出力を特徴で更新 すべきか制御する 出力 h 入力 x 出力 h(前) 特徴 bc bi Update Gate LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした. GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした. 出力と記憶を統合したことにより Input Gate と Forget Gate の役割が重複してしまったため、2つの Gate を統合して Update Gate とする。
  5. Uc + tanh Wc Ui + sigmoid Wi × ×

    + 入力から特徴を 読み取る 出力を特徴で更新 すべきか制御する 出力 h 入力 x 出力 h(前) 特徴 bc bi Update Gate LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした. GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした. Ur + sigmoid Wr 内部状態を利用す べきか制御する br × Reset Gate 出力と記憶を統合したことにより、現時点の特徴を生成するのに常に前ステップの出力=記憶を100%利用する状態になっていた。 特徴生成に使用する出力=記憶をリセットするための機構として Reset Gate を設置する( Fully Gated Unit )。 Fully Gated Unit arXiv:1406.1078
  6. Uc + tanh Wc × × + 入力から特徴を 読み取る 出力

    h 入力 x 出力 h(前) 特徴 bc LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした. GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした. Ur + sigmoid Wr 内部状態を忘却す べきか制御する br × Forget Gate Forget Gate (shared) Reset Gate と Upgate Gate の類似性から、この2つの Gate は統合してもよさそうである。 これらを統合して Forget Gate にする( Minimal Gated Unit ) 。 Minimal Gated Unit arXiv:1701.03452