Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
RNNとLSTM
Search
Convergence Lab.
August 26, 2018
Technology
0
280
RNNとLSTM
コンラボ勉強会資料
RNNとLSTMの簡単な説明
Convergence Lab.
August 26, 2018
Tweet
Share
More Decks by Convergence Lab.
See All by Convergence Lab.
工学系の関数解析輪読会 - 第1章 線型空間
mssmkmr
0
110
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
mssmkmr
0
2.1k
考える技術・書く技術まとめ
mssmkmr
0
630
Global-Locally Self-Attentive Dialogue State Tracker
mssmkmr
1
250
Other Decks in Technology
See All in Technology
新規事業におけるAIリサーチの活用例
ranxxx
0
140
データエンジニアリング 4年前と変わったこと、 4年前と変わらないこと
tanakarian
2
350
手動からの解放!!Strands Agents で実現する総合テスト自動化
ideaws
2
280
(HackFes)米国国防総省のDevSecOpsライフサイクルをAWSのセキュリティサービスとOSSで実現
syoshie
5
660
Step Functions First - サーバーレスアーキテクチャの新しいパラダイム
taikis
1
270
Introduction to Sansan, inc / Sansan Global Development Center, Inc.
sansan33
PRO
0
2.7k
怖くない!GritQLでBiomeプラグインを作ろうよ
pal4de
1
120
スプリントレビューを効果的にするために
miholovesq
9
1.6k
OpenTelemetry の Log を使いこなそう
biwashi
4
980
AI駆動開発 with MixLeap Study【大阪支部 #3】
lycorptech_jp
PRO
0
190
Expertise as a Service via MCP
yodakeisuke
1
140
DATA+AI SummitとSnowflake Summit: ユーザから見た共通点と相違点 / DATA+AI Summit and Snowflake Summit
nttcom
0
210
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
Gamification - CAS2011
davidbonilla
81
5.4k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Raft: Consensus for Rubyists
vanstee
140
7k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
760
BBQ
matthewcrist
89
9.7k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Producing Creativity
orderedlist
PRO
346
40k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Transcript
コンラボ勉強会 RNNとLSTM Convergence Lab. 木村優志
はじめに RNNとLSTMの基礎的な概念を勉強しま しょう。 フィードフォワードニューラルネットワーク やバックプロパゲーションの予備知識が 必要です。 2
時系列信号 時系列信号とは時間の流れに従って値が 変わる信号です。音声などがこれに当た ります。ニューラルネットワークで時系列 信号を扱うにはいくつかの方法がありま す。 まずはじめにフィードフォワード型の ニューラルネットワークで時系列信号を扱 う方法について見ていきましょう。 3
フィードフォワード型ニューラルネットワークと時系列 通常のフィードフォワード型ニューラルネッ トワークで時系列信号を扱う方法を考えま す。単純には、複数の時刻の信号を入力 すればよいはずです。 このような方法をタイムスプライスと言い ました。音声認識などで前に使われた方 法です。 4
フィードフォワード型ニューラルネットワークと時系列 5 通常のフィードフォワード型 ニューラルネットワーク タイムスプライスした フィードフォワード型 ニューラルネットワーク
タイムスプライス型の欠点 タイムスプライス型には2つの弱点があり ます。 ◦ 長期の時系列を扱おうとするとパラ メータが増える ◦ 固定時間長しか扱えない 6
リカレントニューラルネットワーク(RNN) そこで、考え出されたのが再帰的な構造 を持つリカレントニューラルネットワーク (RNN)です。 リカレントニューラルネットワークは、一つ 前の時刻の中間層の出力を、もう一度中 間層に入力するような構造を持っていま す。 7
リカレントニューラルネットワーク(RNN) 8
単純なRNNの欠点 中間層を再帰するだけの単純なRNNは、 長期的な依存構造を扱えないと言われて います。 長期的な構造を扱うための方法として LSTMがあります。 9
LSTM (Long Short Term Memory) LSTMは長期・短期記憶という意味です。 そのために、GateとCellという記憶素子を 組み合わせます。 10
LSTM 11 これがLSTMの素子です。 σはシグモイド関数になります。 詳しく見ていきましょう。
Gate 右図のシグモイドと掛け算を合わせ た部分がGateになります。 Gateはそのまま門のイメージです。 掛け算のユニットに入る信号を通し たり妨げたりします。 シグモイド関数の値が1のとき門が 開いて、信号がそのまま通ります。 逆に、0のときは門が閉じられ、信号が伝 わりません。
12
Cell Cell: Cellは過去の情報を覚えている素子です。 13
Inpute Gate Input GateはCellに入力 x を入れるかどうかを決 めます。 14
Output Gate Output GateはCellの値を出力するかどうかを決 めます。 15
Forget Gate Forget GateはCellの値を忘れる(0にリセットす る)かどうかをきめます。 16
まとめ RNNとLSTMについて簡単に説明しまし た。 LSTMではGateとCellの関係をよくおさえ ておきましょう。 17