$30 off During Our Annual Pro Sale. View Details »
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
RNNとLSTM
Search
Convergence Lab.
August 26, 2018
Technology
0
280
RNNとLSTM
コンラボ勉強会資料
RNNとLSTMの簡単な説明
Convergence Lab.
August 26, 2018
Tweet
Share
More Decks by Convergence Lab.
See All by Convergence Lab.
RAGで制御可能なFull-duplex音声対話システム
mssmkmr
0
63
工学系の関数解析輪読会 - 第1章 線型空間
mssmkmr
0
120
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
mssmkmr
0
2.1k
考える技術・書く技術まとめ
mssmkmr
0
700
Global-Locally Self-Attentive Dialogue State Tracker
mssmkmr
1
250
Other Decks in Technology
See All in Technology
なぜ使われないのか?──定量×定性で見極める本当のボトルネック
kakehashi
PRO
1
930
AI活用によるPRレビュー改善の歩み ― 社内全体に広がる学びと実践
lycorptech_jp
PRO
1
130
安いGPUレンタルサービスについて
aratako
2
2.5k
AI/MLのマルチテナント基盤を支えるコンテナ技術
pfn
PRO
5
760
知っていると得する!Movable Type 9 の新機能を徹底解説
masakah
0
220
Security Diaries of an Open Source IAM
ahus1
0
120
最近のLinux普段づかいWaylandデスクトップ元年
penguin2716
0
200
その設計、 本当に価値を生んでますか?
shimomura
3
200
Claude Code Getting Started Guide(en)
oikon48
0
150
Agents IA : la nouvelle frontière des LLMs (Tech.Rocks Summit 2025)
glaforge
0
420
.NET 10 のパフォーマンス改善
nenonaninu
2
4.8k
世界最速級 memcached 互換サーバー作った
yasukata
0
200
Featured
See All Featured
Embracing the Ebb and Flow
colly
88
4.9k
Building a Modern Day E-commerce SEO Strategy
aleyda
45
8.3k
Reflections from 52 weeks, 52 projects
jeffersonlam
355
21k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
130k
Java REST API Framework Comparison - PWX 2021
mraible
34
9k
Six Lessons from altMBA
skipperchong
29
4.1k
Rails Girls Zürich Keynote
gr2m
95
14k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
34
2.5k
Keith and Marios Guide to Fast Websites
keithpitt
413
23k
We Have a Design System, Now What?
morganepeng
54
7.9k
Designing for Performance
lara
610
69k
Transcript
コンラボ勉強会 RNNとLSTM Convergence Lab. 木村優志
はじめに RNNとLSTMの基礎的な概念を勉強しま しょう。 フィードフォワードニューラルネットワーク やバックプロパゲーションの予備知識が 必要です。 2
時系列信号 時系列信号とは時間の流れに従って値が 変わる信号です。音声などがこれに当た ります。ニューラルネットワークで時系列 信号を扱うにはいくつかの方法がありま す。 まずはじめにフィードフォワード型の ニューラルネットワークで時系列信号を扱 う方法について見ていきましょう。 3
フィードフォワード型ニューラルネットワークと時系列 通常のフィードフォワード型ニューラルネッ トワークで時系列信号を扱う方法を考えま す。単純には、複数の時刻の信号を入力 すればよいはずです。 このような方法をタイムスプライスと言い ました。音声認識などで前に使われた方 法です。 4
フィードフォワード型ニューラルネットワークと時系列 5 通常のフィードフォワード型 ニューラルネットワーク タイムスプライスした フィードフォワード型 ニューラルネットワーク
タイムスプライス型の欠点 タイムスプライス型には2つの弱点があり ます。 ◦ 長期の時系列を扱おうとするとパラ メータが増える ◦ 固定時間長しか扱えない 6
リカレントニューラルネットワーク(RNN) そこで、考え出されたのが再帰的な構造 を持つリカレントニューラルネットワーク (RNN)です。 リカレントニューラルネットワークは、一つ 前の時刻の中間層の出力を、もう一度中 間層に入力するような構造を持っていま す。 7
リカレントニューラルネットワーク(RNN) 8
単純なRNNの欠点 中間層を再帰するだけの単純なRNNは、 長期的な依存構造を扱えないと言われて います。 長期的な構造を扱うための方法として LSTMがあります。 9
LSTM (Long Short Term Memory) LSTMは長期・短期記憶という意味です。 そのために、GateとCellという記憶素子を 組み合わせます。 10
LSTM 11 これがLSTMの素子です。 σはシグモイド関数になります。 詳しく見ていきましょう。
Gate 右図のシグモイドと掛け算を合わせ た部分がGateになります。 Gateはそのまま門のイメージです。 掛け算のユニットに入る信号を通し たり妨げたりします。 シグモイド関数の値が1のとき門が 開いて、信号がそのまま通ります。 逆に、0のときは門が閉じられ、信号が伝 わりません。
12
Cell Cell: Cellは過去の情報を覚えている素子です。 13
Inpute Gate Input GateはCellに入力 x を入れるかどうかを決 めます。 14
Output Gate Output GateはCellの値を出力するかどうかを決 めます。 15
Forget Gate Forget GateはCellの値を忘れる(0にリセットす る)かどうかをきめます。 16
まとめ RNNとLSTMについて簡単に説明しまし た。 LSTMではGateとCellの関係をよくおさえ ておきましょう。 17