Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LSTM to GRU

CookieBox26
June 06, 2020
110

LSTM to GRU

CookieBox26

June 06, 2020
Tweet

Transcript

  1. Uc + tanh
    Wc
    Ui + sigmoid
    Wi
    ×
    × +
    Uf + sigmoid
    Wf
    tanh ×
    Uo + sigmoid
    Wo
    入力から特徴を
    読み取る
    記憶を出力すべ
    きか制御する
    特徴を記憶すべ
    きか制御する
    記憶を忘却すべ
    きか制御する
    出力 h
    記憶 c
    特徴
    bo
    bc
    bi
    bf
    LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした.
    Output
    Gate
    Input
    Gate
    Forget
    Gate
    GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした.
    LSTM を用意する。
    出力 h(前)
    記憶 c(前)
    入力 x
    LSTM

    View Slide

  2. Uc + tanh
    Wc
    Ui + sigmoid
    Wi
    ×
    × +
    Uf + sigmoid
    Wf
    入力から特徴を
    読み取る
    特徴を記憶すべ
    きか制御する
    記憶を忘却すべ
    きか制御する
    記憶 c
    記憶 c(前)
    記憶 c(前)
    特徴
    bc
    bi
    bf
    LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした.
    Input
    Gate
    Forget
    Gate
    GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした.
    出力 h の出力を廃止し記憶 c に一本化する。これにより Output Gate の使用機会がなくなり消滅する。
    前ステップの出力 h を利用していた箇所は前ステップの記憶 c を利用するように変更する。
    入力 x

    View Slide

  3. Uc + tanh
    Wc
    Ui + sigmoid
    Wi
    ×
    × +
    Uf + sigmoid
    Wf
    入力から特徴を
    読み取る
    出力を特徴で更新
    すべきか制御する
    出力を忘却すべ
    きか制御する
    出力 h
    入力 x
    出力 h(前)
    特徴
    bc
    bi
    bf
    Input
    Gate
    Forget
    Gate
    LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした.
    GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした.
    記憶 c を新たに出力 h とする。

    View Slide

  4. Uc + tanh
    Wc
    Ui + sigmoid
    Wi
    ×
    × +
    入力から特徴を
    読み取る
    出力を特徴で更新
    すべきか制御する
    出力 h
    入力 x
    出力 h(前)
    特徴
    bc
    bi
    Update
    Gate
    LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした.
    GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした.
    出力と記憶を統合したことにより Input Gate と Forget Gate の役割が重複してしまったため、2つの Gate を統合して Update Gate
    とする。

    View Slide

  5. Uc + tanh
    Wc
    Ui + sigmoid
    Wi
    ×
    × +
    入力から特徴を
    読み取る
    出力を特徴で更新
    すべきか制御する
    出力 h
    入力 x
    出力 h(前)
    特徴
    bc
    bi
    Update
    Gate
    LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした.
    GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした.
    Ur + sigmoid
    Wr
    内部状態を利用す
    べきか制御する
    br
    ×
    Reset
    Gate
    出力と記憶を統合したことにより、現時点の特徴を生成するのに常に前ステップの出力=記憶を100%利用する状態になっていた。
    特徴生成に使用する出力=記憶をリセットするための機構として Reset Gate を設置する( Fully Gated Unit )。
    Fully Gated Unit arXiv:1406.1078

    View Slide

  6. Uc + tanh
    Wc
    ×
    × +
    入力から特徴を
    読み取る
    出力 h
    入力 x
    出力 h(前)
    特徴
    bc
    LSTMは https://en.wikipedia.org/wiki/Long_short-term_memory を参考にした.
    GRUは https://en.wikipedia.org/wiki/Gated_recurrent_unit を参考にした.
    Ur + sigmoid
    Wr
    内部状態を忘却す
    べきか制御する
    br
    ×
    Forget
    Gate
    Forget
    Gate
    (shared)
    Reset Gate と Upgate Gate の類似性から、この2つの Gate は統合してもよさそうである。
    これらを統合して Forget Gate にする( Minimal Gated Unit ) 。
    Minimal Gated Unit arXiv:1701.03452

    View Slide