Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
RNNとLSTM
Search
Convergence Lab.
August 26, 2018
Technology
310
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
RNNとLSTM
コンラボ勉強会資料
RNNとLSTMの簡単な説明
Convergence Lab.
August 26, 2018
Transcript
17 slides
コンラボ勉強会 RNNとLSTM Convergence Lab. 木村優志
はじめに RNNとLSTMの基礎的な概念を勉強しま しょう。 フィードフォワードニューラルネットワーク やバックプロパゲーションの予備知識が 必要です。 2
時系列信号 時系列信号とは時間の流れに従って値が 変わる信号です。音声などがこれに当た ります。ニューラルネットワークで時系列 信号を扱うにはいくつかの方法がありま す。 まずはじめにフィードフォワード型の ニューラルネットワークで時系列信号を扱 う方法について見ていきましょう。 3
フィードフォワード型ニューラルネットワークと時系列 通常のフィードフォワード型ニューラルネッ トワークで時系列信号を扱う方法を考えま す。単純には、複数の時刻の信号を入力 すればよいはずです。 このような方法をタイムスプライスと言い ました。音声認識などで前に使われた方 法です。 4
フィードフォワード型ニューラルネットワークと時系列 5 通常のフィードフォワード型 ニューラルネットワーク タイムスプライスした フィードフォワード型 ニューラルネットワーク
タイムスプライス型の欠点 タイムスプライス型には2つの弱点があり ます。 ◦ 長期の時系列を扱おうとするとパラ メータが増える ◦ 固定時間長しか扱えない 6
リカレントニューラルネットワーク(RNN) そこで、考え出されたのが再帰的な構造 を持つリカレントニューラルネットワーク (RNN)です。 リカレントニューラルネットワークは、一つ 前の時刻の中間層の出力を、もう一度中 間層に入力するような構造を持っていま す。 7
リカレントニューラルネットワーク(RNN) 8
単純なRNNの欠点 中間層を再帰するだけの単純なRNNは、 長期的な依存構造を扱えないと言われて います。 長期的な構造を扱うための方法として LSTMがあります。 9
LSTM (Long Short Term Memory) LSTMは長期・短期記憶という意味です。 そのために、GateとCellという記憶素子を 組み合わせます。 10
LSTM 11 これがLSTMの素子です。 σはシグモイド関数になります。 詳しく見ていきましょう。
Gate 右図のシグモイドと掛け算を合わせ た部分がGateになります。 Gateはそのまま門のイメージです。 掛け算のユニットに入る信号を通し たり妨げたりします。 シグモイド関数の値が1のとき門が 開いて、信号がそのまま通ります。 逆に、0のときは門が閉じられ、信号が伝 わりません。
12
Cell Cell: Cellは過去の情報を覚えている素子です。 13
Inpute Gate Input GateはCellに入力 x を入れるかどうかを決 めます。 14
Output Gate Output GateはCellの値を出力するかどうかを決 めます。 15
Forget Gate Forget GateはCellの値を忘れる(0にリセットす る)かどうかをきめます。 16
まとめ RNNとLSTMについて簡単に説明しまし た。 LSTMではGateとCellの関係をよくおさえ ておきましょう。 17
More Decks by Convergence Lab.
See All by Convergence Lab.
研究開発の業務効率化 アイデアの試行錯誤が 爆速になった話
mssmkmr
0
47
ペットのかわいい瞬間を撮影する オートシャッターAIアプリへの スマートラベリングの適用
mssmkmr
0
650
RAGで制御可能なFull-duplex音声対話システム
mssmkmr
0
210
工学系の関数解析輪読会 - 第1章 線型空間
mssmkmr
0
170
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
mssmkmr
0
2.1k
考える技術・書く技術まとめ
mssmkmr
0
1.1k
Global-Locally Self-Attentive Dialogue State Tracker
mssmkmr
1
290
Other Decks in Technology
See All in Technology
NutanixへのSSHアクセスの今後について
shadowhat
0
150
人の努力に頼らないセキュリティをエンジニアリングする在り方 / An approach to engineering security that does not rely on human effort
carta_engineering
0
240
コーディングできない僕にBobが舞い降りた
shumpei3
0
180
IP重複は"ランディングVPC"で受け止める ― PrivateLink と Transit Gatewayによるマルチテナント接続基盤の設計
hatahata021
3
260
統制されたID・権限をどう利用するか : DPoP/FAPIによるAPIセキュリティ強化
oidfj
2
290
【Oracle AI SPOTLIGHT ウェビナー】AI時代、狙われるデータと止められない業務をどう守るか?
oracle4engineer
PRO
1
140
エンタープライズ事業未経験のデータ屋、 AI時代にN回撃沈する.pdf
ryoskdara_
0
190
Terraform 0 to 100:100個以上のリポジトリを常に最新にし続けるための自動化
sue445
3
1.4k
常時稼働エージェントの作り方(Claude公式ブログを資料化)
minorun365
PRO
19
29k
SBOM 生成ツールで 2026 Minimum Elements はどこまで満たせるのか
gokken
0
140
エンタープライズIAMについて - ID・権限をどう統制するか
oidfj
1
300
Test Impact Analysis を武器に立ち向かう、AI 時代のテスト増加に対するヌーラボのアプローチ / getting-started-datadog-test-impact-analysis
k6s4i53rx
3
330
Featured
See All Featured
We Are The Robots
honzajavorek
0
460
16th Malabo Montpellier Forum Presentation
akademiya2063
PRO
0
470
A designer walks into a library…
pauljervisheath
211
25k
Why Your Marketing Sucks and What You Can Do About It - Sophie Logan
marketingsoph
0
470
Prompt Engineering for Job Search
mfonobong
0
590
Joys of Absence: A Defence of Solitary Play
codingconduct
1
580
AI Search: Where Are We & What Can We Do About It?
aleyda
0
8.3k
技術選定の審美眼(2025年版) / Understanding the Spiral of Technologies 2025 edition
twada
PRO
121
130k
Building a Scalable Design System with Sketch
lauravandoore
464
34k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
1.1k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
659
62k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
230
23k