Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

ニューラルネット4

Ayumu
March 07, 2019

 ニューラルネット4

2019/03/07
長岡技術科学大学 自然言語処理研究室
学部4年 守谷 歩

Ayumu

March 07, 2019
Tweet

More Decks by Ayumu

Other Decks in Technology

Transcript

  1. LSTMクラスの実装 ⚫各処理を定式化すると以下のようになる。 ⚫Forgetゲート: = ( + ℎ−1 ℎ + )

    ⚫Inputゲート:i = ( + ℎ−1 ℎ + ) ⚫Outputゲート:o = ( + ℎ−1 ℎ + ) ⚫記憶セルの更新:g = ℎ( + ℎ−1 ℎ + ) ⚫記憶セルc: = ⨀−1 + ⨀ ⚫出力:ht = ⨀tanh( )
  2. 参考資料 ⚫ゼロから作る Deep Learning ⚫ゼロから作る Deep Learning2 自然言語処理編 ⚫強化学習と深層学習 <<C言語によるシミュレーション>>

    ⚫[機械学習]パラメータの重みの初期値:https://qiita.com/m-hayashi/items/02065a2e2ec3e2269e0b ⚫ChainerとRNNと機械翻訳:https://qiita.com/odashi_t/items/a1be7c4964fbea6a116e ⚫[機械学習]Google翻訳(みたいなもの)を自作してみた。:https://qiita.com/R- Yoshi/items/9a809c0a03e02874fabb ⚫Xavierの初期値 Heの初期値の考察:http://murayama.hatenablog.com/entry/2017/11/25/231609 ⚫Dual Learning for Machine Translation ⚫Seq2Seq+Attentionのその先へ:https://qiita.com/ymym3412/items/c84e6254de89c9952c55 ⚫Attention Is All You Need