RNNとLSTM

コンラボ勉強会資料
RNNとLSTMの簡単な説明

Transcript

1. コンラボ勉強会 RNNとLSTM Convergence Lab. 木村優志
2. はじめに RNNとLSTMの基礎的な概念を勉強しま しょう。 フィードフォワードニューラルネットワーク やバックプロパゲーションの予備知識が 必要です。 2
3. 時系列信号 時系列信号とは時間の流れに従って値が 変わる信号です。音声などがこれに当た ります。ニューラルネットワークで時系列 信号を扱うにはいくつかの方法がありま す。 まずはじめにフィードフォワード型の ニューラルネットワークで時系列信号を扱 う方法について見ていきましょう。 3
4. フィードフォワード型ニューラルネットワークと時系列 通常のフィードフォワード型ニューラルネッ トワークで時系列信号を扱う方法を考えま す。単純には、複数の時刻の信号を入力 すればよいはずです。 このような方法をタイムスプライスと言い ました。音声認識などで前に使われた方 法です。 4
5. フィードフォワード型ニューラルネットワークと時系列 5 通常のフィードフォワード型 ニューラルネットワーク タイムスプライスした フィードフォワード型 ニューラルネットワーク
6. タイムスプライス型の欠点 タイムスプライス型には２つの弱点があり ます。 ◦ 長期の時系列を扱おうとするとパラ メータが増える ◦ 固定時間長しか扱えない 6
7. リカレントニューラルネットワーク(RNN) そこで、考え出されたのが再帰的な構造 を持つリカレントニューラルネットワーク （RNN）です。 リカレントニューラルネットワークは、一つ 前の時刻の中間層の出力を、もう一度中 間層に入力するような構造を持っていま す。 7
8. リカレントニューラルネットワーク（RNN） 8
9. 単純なRNNの欠点 中間層を再帰するだけの単純なRNNは、 長期的な依存構造を扱えないと言われて います。 長期的な構造を扱うための方法として LSTMがあります。 9
10. LSTM (Long Short Term Memory) LSTMは長期・短期記憶という意味です。 そのために、GateとCellという記憶素子を 組み合わせます。 10
11. LSTM 11 これがLSTMの素子です。 σはシグモイド関数になります。 詳しく見ていきましょう。
12. Gate 右図のシグモイドと掛け算を合わせ た部分がGateになります。 Gateはそのまま門のイメージです。 掛け算のユニットに入る信号を通し たり妨げたりします。 シグモイド関数の値が1のとき門が 開いて、信号がそのまま通ります。 逆に、0のときは門が閉じられ、信号が伝 わりません。 12
13. Cell Cell: Cellは過去の情報を覚えている素子です。 13
14. Inpute Gate Input GateはCellに入力 x を入れるかどうかを決 めます。 14
15. Output Gate Output GateはCellの値を出力するかどうかを決 めます。 15
16. Forget Gate Forget GateはCellの値を忘れる(0にリセットす る）かどうかをきめます。 16
17. まとめ RNNとLSTMについて簡単に説明しまし た。 LSTMではGateとCellの関係をよくおさえ ておきましょう。 17