Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
RNNとLSTM
Search
Sponsored
·
SiteGround - Reliable hosting with speed, security, and support you can count on.
→
Convergence Lab.
August 26, 2018
Technology
0
290
RNNとLSTM
コンラボ勉強会資料
RNNとLSTMの簡単な説明
Convergence Lab.
August 26, 2018
Tweet
Share
More Decks by Convergence Lab.
See All by Convergence Lab.
ペットのかわいい瞬間を撮影する オートシャッターAIアプリへの スマートラベリングの適用
mssmkmr
0
230
RAGで制御可能なFull-duplex音声対話システム
mssmkmr
0
88
工学系の関数解析輪読会 - 第1章 線型空間
mssmkmr
0
140
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
mssmkmr
0
2.1k
考える技術・書く技術まとめ
mssmkmr
0
740
Global-Locally Self-Attentive Dialogue State Tracker
mssmkmr
1
260
Other Decks in Technology
See All in Technology
All About Sansan – for New Global Engineers
sansan33
PRO
1
1.3k
会社紹介資料 / Sansan Company Profile
sansan33
PRO
15
400k
データ民主化のための LLM 活用状況と課題紹介(IVRy の場合)
wxyzzz
2
650
システムのアラート調査をサポートするAI Agentの紹介/Introduction to an AI Agent for System Alert Investigation
taddy_919
2
1.7k
15 years with Rails and DDD (AI Edition)
andrzejkrzywda
0
160
顧客との商談議事録をみんなで読んで顧客解像度を上げよう
shibayu36
0
140
Webhook best practices for rock solid and resilient deployments
glaforge
1
250
CDKで始めるTypeScript開発のススメ
tsukuboshi
1
300
制約が導く迷わない設計 〜 信頼性と運用性を両立するマイナンバー管理システムの実践 〜
bwkw
2
830
外部キー制約の知っておいて欲しいこと - RDBMSを正しく使うために必要なこと / FOREIGN KEY Night
soudai
PRO
11
4.4k
プロポーザルに込める段取り八分
shoheimitani
0
160
What happened to RubyGems and what can we learn?
mikemcquaid
0
230
Featured
See All Featured
Raft: Consensus for Rubyists
vanstee
141
7.3k
Visual Storytelling: How to be a Superhuman Communicator
reverentgeek
2
430
SEO in 2025: How to Prepare for the Future of Search
ipullrank
3
3.3k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
32
2.8k
Technical Leadership for Architectural Decision Making
baasie
1
240
sira's awesome portfolio website redesign presentation
elsirapls
0
140
Navigating Algorithm Shifts & AI Overviews - #SMXNext
aleyda
0
1.1k
Large-scale JavaScript Application Architecture
addyosmani
515
110k
Bioeconomy Workshop: Dr. Julius Ecuru, Opportunities for a Bioeconomy in West Africa
akademiya2063
PRO
1
54
技術選定の審美眼(2025年版) / Understanding the Spiral of Technologies 2025 edition
twada
PRO
117
110k
Scaling GitHub
holman
464
140k
Leo the Paperboy
mayatellez
4
1.4k
Transcript
コンラボ勉強会 RNNとLSTM Convergence Lab. 木村優志
はじめに RNNとLSTMの基礎的な概念を勉強しま しょう。 フィードフォワードニューラルネットワーク やバックプロパゲーションの予備知識が 必要です。 2
時系列信号 時系列信号とは時間の流れに従って値が 変わる信号です。音声などがこれに当た ります。ニューラルネットワークで時系列 信号を扱うにはいくつかの方法がありま す。 まずはじめにフィードフォワード型の ニューラルネットワークで時系列信号を扱 う方法について見ていきましょう。 3
フィードフォワード型ニューラルネットワークと時系列 通常のフィードフォワード型ニューラルネッ トワークで時系列信号を扱う方法を考えま す。単純には、複数の時刻の信号を入力 すればよいはずです。 このような方法をタイムスプライスと言い ました。音声認識などで前に使われた方 法です。 4
フィードフォワード型ニューラルネットワークと時系列 5 通常のフィードフォワード型 ニューラルネットワーク タイムスプライスした フィードフォワード型 ニューラルネットワーク
タイムスプライス型の欠点 タイムスプライス型には2つの弱点があり ます。 ◦ 長期の時系列を扱おうとするとパラ メータが増える ◦ 固定時間長しか扱えない 6
リカレントニューラルネットワーク(RNN) そこで、考え出されたのが再帰的な構造 を持つリカレントニューラルネットワーク (RNN)です。 リカレントニューラルネットワークは、一つ 前の時刻の中間層の出力を、もう一度中 間層に入力するような構造を持っていま す。 7
リカレントニューラルネットワーク(RNN) 8
単純なRNNの欠点 中間層を再帰するだけの単純なRNNは、 長期的な依存構造を扱えないと言われて います。 長期的な構造を扱うための方法として LSTMがあります。 9
LSTM (Long Short Term Memory) LSTMは長期・短期記憶という意味です。 そのために、GateとCellという記憶素子を 組み合わせます。 10
LSTM 11 これがLSTMの素子です。 σはシグモイド関数になります。 詳しく見ていきましょう。
Gate 右図のシグモイドと掛け算を合わせ た部分がGateになります。 Gateはそのまま門のイメージです。 掛け算のユニットに入る信号を通し たり妨げたりします。 シグモイド関数の値が1のとき門が 開いて、信号がそのまま通ります。 逆に、0のときは門が閉じられ、信号が伝 わりません。
12
Cell Cell: Cellは過去の情報を覚えている素子です。 13
Inpute Gate Input GateはCellに入力 x を入れるかどうかを決 めます。 14
Output Gate Output GateはCellの値を出力するかどうかを決 めます。 15
Forget Gate Forget GateはCellの値を忘れる(0にリセットす る)かどうかをきめます。 16
まとめ RNNとLSTMについて簡単に説明しまし た。 LSTMではGateとCellの関係をよくおさえ ておきましょう。 17