Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ゼロからわかるリザバーコンピューティング
Search
Yuta Kurotaki
December 14, 2023
Research
1
1.6k
ゼロからわかるリザバーコンピューティング
コードとカクテル:GMOペパボのAIナイト - LT大忘年会 -
https://gmo.connpass.com/event/304045/
Yuta Kurotaki
December 14, 2023
Tweet
Share
More Decks by Yuta Kurotaki
See All by Yuta Kurotaki
GMOペパボのSUZURIを支えるAIOpsの実践
kurotaky
0
92
CTO Night & Day 2024 Product Feedback Lunch
kurotaky
1
140
SUZURI DX 2023
kurotaky
1
180
How GitHub Copilot Transforms Development Productivity
kurotaky
18
13k
The story of repairing my junk keyboard with The kinT keyboard controller
kurotaky
0
1.6k
DevRel_Japan CONFERENCE 2023
kurotaky
1
1.9k
ctoa-wakate-01-company-introduction
kurotaky
0
300
Ethereum for Ruby
kurotaky
2
2k
NFTコンテンツでオリジナルグッズ作成を支える技術
kurotaky
1
180
Other Decks in Research
See All in Research
MIRU2025 チュートリアル講演「ロボット基盤モデルの最前線」
haraduka
15
8.5k
Combinatorial Search with Generators
kei18
0
880
cvpaper.challenge 10年の軌跡 / cvpaper.challenge a decade-long journey
gatheluck
3
340
日本語新聞記事を用いた大規模言語モデルの暗記定量化 / LLMC2025
upura
0
230
J-RAGBench: 日本語RAGにおける Generator評価ベンチマークの構築
koki_itai
0
550
2021年度-基盤研究B-研究計画調書
trycycle
PRO
0
330
世界の人気アプリ100個を分析して見えたペイウォール設計の心得
akihiro_kokubo
PRO
62
30k
Learning to (Learn at Test Time): RNNs with Expressive Hidden States
kurita
1
220
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
350
GPUを利用したStein Particle Filterによる点群6自由度モンテカルロSLAM
takuminakao
0
340
最適決定木を用いた処方的価格最適化
mickey_kubo
4
1.9k
A scalable, annual aboveground biomass product for monitoring carbon impacts of ecosystem restoration projects
satai
4
330
Featured
See All Featured
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.5k
How to train your dragon (web standard)
notwaldorf
96
6.3k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
Practical Orchestrator
shlominoach
190
11k
Producing Creativity
orderedlist
PRO
347
40k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Fireside Chat
paigeccino
40
3.7k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Being A Developer After 40
akosma
91
590k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
53k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
Transcript
1 ゼロからわかる リザバーコンピューティング 黒瀧 悠太 コードとカクテル:GMOペパボのAIナイト - LT⼤忘年会 - 2023.12.14
2 ⾃⼰紹介 黒瀧 悠太 Yuta Kurotaki • SUZURI事業部シニアエンジニアリングリード • GMOインターネットグループ
デベロッパーエキスパート • リザバーコンピューティングに関する 勉強や開発をしている • SNS : @kurotaky • ⾳楽が好き、ドラマーです。
SUZURI 3
SUZURI 4
SUZURI 5
6 https://jab.tokyo/
7
8 アジェンダ 1. リザバーコンピューティングについて 2. エコーステートネットワーク概要 3. まとめ
リザバーコンピューティングについて • 時系列データの入力に対する 複雑な動的応答を生成する計算手法 • 波紋パターンは入力された時系列 情報を表し、リザバーによる状態変化 を分析することで、時系列データを認識 し解析する リザバーコンピューティングとは?
9 水面におはじきを投げ入れると、複雑な波紋が広がる 知 識の森 リザバーコンピューティング , 電子情報通信学会 . 時系列の入力をリザ バーに与えると、入力の 大きさや順序に応じた動 的な波紋のパターンが 生じる
リザバーコンピューティングについて 10 ニューラルネットワークとリザバーコンピューティング
リザバーコンピューティングについて 1986年 Jordan ネットワーク 1989年 Real-Time Recurrent Learning (RTRL) 1990年
Elman ネットワーク Backpropagation Through Time (BPTT) 1997年 ⻑‧短期記憶 (LSTM) 2001年 エコーステートネットワーク (ESN) 2002年 リキッドステートマシン (LSM) 2014年 ゲート付き回帰型ユニット (GRU) Recurrent Neural Network の歴史 11 リザバーコンピューティング|森北出版株式会社 , p.9 表1.1を参考に作成 Jaeger, GMD Report. 148, 34 (2001) Maass, et al. Neural Computation. 14, 11 (2002)
リザバーコンピューティングについて 深層学習 (Deep Neural Network) との違い 12 学習コスト 計算性能 リザバー
コンピューティング ESN、LSM リザバーコンピューティング|森北出版株式会社 , p.6 図 1.3 を参考に作成 線形学習器 線形回帰モデルなど ディープラーニングモ デル RNN、LSTM、GRU
エコーステートネットワーク概要 エコーステートネットワーク (ESN) 13 Introduction to Next Generation Reservoir Computing
https://www.youtube.com/watch?v=wbH4En-k5Gs
エコーステートネットワーク概要 Input Layer と Reservoir 14 入力層とリザバーの接続 ランダムで固定された 重みを持つ接続 リザバー内のニューロン
ランダムで固定された リカレント接続
エコーステートネットワーク概要 出力層 トレーニング可能な 出力重みを持つ Reservoir と Output Layer 15
エコーステートネットワーク概要 リッジ回帰の出⼒重みの導出過程 16 損失関数 損失関数を微分 Woutについて解く 正規化項 を加えた自己相関行列の逆行列を計算
エコーステートネットワーク概要 リードアウトのみ調整 ESNでは、リザバーから出力層への重みだけ調整される。その ため計算が速く、消費電力も少ない → エッジデバイスでの応用、環境に優しい など エコーステートネットワークの特徴 17
エコーステートネットワーク概要 医療: EEG, ECG, EMG, ⼼拍, 眼球運動など 画像: ⼿書き⽂字画像, 動画像
⾳声: 発話, ⾳響, ⾳楽 機械: モーター, ロボット その他にも応⽤例は沢⼭、物理リザバーもある リザバーコンピューティングの応⽤ 18
エコーステートネットワーク概要 サンプルプログラム 19 https://mantas.info/code/simple_esn/ Mackey-Glass 方程式 複雑で非線形な時間系列データをどの程度正確に予 測できるかをテスト
エコーステートネットワーク概要 サンプルプログラム 20
エコーステートネットワーク概要 resSizeでの⽐較 21 resSize = 50 resSize = 500
エコーステートネットワーク概要 resSize = 1000 22
エコーステートネットワーク概要 resSize = 10 23
エコーステートネットワーク概要 resSize = 10000 24 計算がおわりません! (発表に間に合わなさそうなので止めた)
エコーステートネットワーク概要 - ⾮線形系 - ⾮線形な振る舞いを⽰し、複雑なパターンや信号を処理 - エコーステート性 - リザバーの現在の状態は過去の入力に影響される -
時間が経つにつれ、その影響は消失 - ⾼次元 - より複雑なパターンの処理をおこなうため リザバーコンピューティングに求められる特性 25
まとめ • リザバーコンピューティングの概要 • エコーステートネットワークについて • リザバーコンピューティングの応⽤例について • サンプルプログラムを実⾏しての考察 まとめ
26
27 Thank you! We’re hiring!