Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
ゼロからわかるリザバーコンピューティング
Search
Yuta Kurotaki
December 14, 2023
Research
2.3k
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
ゼロからわかるリザバーコンピューティング
コードとカクテル:GMOペパボのAIナイト - LT大忘年会 -
https://gmo.connpass.com/event/304045/
Yuta Kurotaki
December 14, 2023
Transcript
27 slides
1 ゼロからわかる リザバーコンピューティング 黒瀧 悠太 コードとカクテル:GMOペパボのAIナイト - LT⼤忘年会 - 2023.12.14
2 ⾃⼰紹介 黒瀧 悠太 Yuta Kurotaki • SUZURI事業部シニアエンジニアリングリード • GMOインターネットグループ
デベロッパーエキスパート • リザバーコンピューティングに関する 勉強や開発をしている • SNS : @kurotaky • ⾳楽が好き、ドラマーです。
SUZURI 3
SUZURI 4
SUZURI 5
6 https://jab.tokyo/
7
8 アジェンダ 1. リザバーコンピューティングについて 2. エコーステートネットワーク概要 3. まとめ
リザバーコンピューティングについて • 時系列データの入力に対する 複雑な動的応答を生成する計算手法 • 波紋パターンは入力された時系列 情報を表し、リザバーによる状態変化 を分析することで、時系列データを認識 し解析する リザバーコンピューティングとは?
9 水面におはじきを投げ入れると、複雑な波紋が広がる 知 識の森 リザバーコンピューティング , 電子情報通信学会 . 時系列の入力をリザ バーに与えると、入力の 大きさや順序に応じた動 的な波紋のパターンが 生じる
リザバーコンピューティングについて 10 ニューラルネットワークとリザバーコンピューティング
リザバーコンピューティングについて 1986年 Jordan ネットワーク 1989年 Real-Time Recurrent Learning (RTRL) 1990年
Elman ネットワーク Backpropagation Through Time (BPTT) 1997年 ⻑‧短期記憶 (LSTM) 2001年 エコーステートネットワーク (ESN) 2002年 リキッドステートマシン (LSM) 2014年 ゲート付き回帰型ユニット (GRU) Recurrent Neural Network の歴史 11 リザバーコンピューティング|森北出版株式会社 , p.9 表1.1を参考に作成 Jaeger, GMD Report. 148, 34 (2001) Maass, et al. Neural Computation. 14, 11 (2002)
リザバーコンピューティングについて 深層学習 (Deep Neural Network) との違い 12 学習コスト 計算性能 リザバー
コンピューティング ESN、LSM リザバーコンピューティング|森北出版株式会社 , p.6 図 1.3 を参考に作成 線形学習器 線形回帰モデルなど ディープラーニングモ デル RNN、LSTM、GRU
エコーステートネットワーク概要 エコーステートネットワーク (ESN) 13 Introduction to Next Generation Reservoir Computing
https://www.youtube.com/watch?v=wbH4En-k5Gs
エコーステートネットワーク概要 Input Layer と Reservoir 14 入力層とリザバーの接続 ランダムで固定された 重みを持つ接続 リザバー内のニューロン
ランダムで固定された リカレント接続
エコーステートネットワーク概要 出力層 トレーニング可能な 出力重みを持つ Reservoir と Output Layer 15
エコーステートネットワーク概要 リッジ回帰の出⼒重みの導出過程 16 損失関数 損失関数を微分 Woutについて解く 正規化項 を加えた自己相関行列の逆行列を計算
エコーステートネットワーク概要 リードアウトのみ調整 ESNでは、リザバーから出力層への重みだけ調整される。その ため計算が速く、消費電力も少ない → エッジデバイスでの応用、環境に優しい など エコーステートネットワークの特徴 17
エコーステートネットワーク概要 医療: EEG, ECG, EMG, ⼼拍, 眼球運動など 画像: ⼿書き⽂字画像, 動画像
⾳声: 発話, ⾳響, ⾳楽 機械: モーター, ロボット その他にも応⽤例は沢⼭、物理リザバーもある リザバーコンピューティングの応⽤ 18
エコーステートネットワーク概要 サンプルプログラム 19 https://mantas.info/code/simple_esn/ Mackey-Glass 方程式 複雑で非線形な時間系列データをどの程度正確に予 測できるかをテスト
エコーステートネットワーク概要 サンプルプログラム 20
エコーステートネットワーク概要 resSizeでの⽐較 21 resSize = 50 resSize = 500
エコーステートネットワーク概要 resSize = 1000 22
エコーステートネットワーク概要 resSize = 10 23
エコーステートネットワーク概要 resSize = 10000 24 計算がおわりません! (発表に間に合わなさそうなので止めた)
エコーステートネットワーク概要 - ⾮線形系 - ⾮線形な振る舞いを⽰し、複雑なパターンや信号を処理 - エコーステート性 - リザバーの現在の状態は過去の入力に影響される -
時間が経つにつれ、その影響は消失 - ⾼次元 - より複雑なパターンの処理をおこなうため リザバーコンピューティングに求められる特性 25
まとめ • リザバーコンピューティングの概要 • エコーステートネットワークについて • リザバーコンピューティングの応⽤例について • サンプルプログラムを実⾏しての考察 まとめ
26
27 Thank you! We’re hiring!
More Decks by Yuta Kurotaki
See All by Yuta Kurotaki
GMOペパボのSUZURIを支えるAIOpsの実践
kurotaky
0
210
CTO Night & Day 2024 Product Feedback Lunch
kurotaky
1
210
SUZURI DX 2023
kurotaky
1
250
How GitHub Copilot Transforms Development Productivity
kurotaky
18
14k
The story of repairing my junk keyboard with The kinT keyboard controller
kurotaky
0
1.9k
DevRel_Japan CONFERENCE 2023
kurotaky
0
2.3k
ctoa-wakate-01-company-introduction
kurotaky
0
380
Ethereum for Ruby
kurotaky
2
2.3k
NFTコンテンツでオリジナルグッズ作成を支える技術
kurotaky
1
260
Other Decks in Research
See All in Research
マニアックセッション 〜次世代のメールプロトコルの斜め読み(2026年版)
hirachan
0
550
Santé et fertilité des sols : ce que nous disent les pratiques dans les systèmes de polyculture-élevage
institutdelelevage
PRO
0
250
Empreinte carbone des ovins : une approche globale (technique, économique, environnementale) – 4 années de résultats avec LIFE GREEN SHEEP
institutdelelevage
PRO
0
160
最先端NLP勉強会2026 論文紹介:Reasoning with Sampling: Your Base Model is Smarter Than You Think (ICLR 2026 paper)
kogoro
4
980
PHTalks Bengaluru - SSRF When All Else Fails
dk999
0
1.2k
生成AI時代の開発方法論と、メールサーバー運用の新しいかたち
hirachan
0
240
モデル評価を効率的にする方法
ftakahashi
0
250
山中市政が招いた組織崩壊:よこはま安心ボックスを例に
sishi
0
370
20261101GISA-FOSS4G
tosseto
1
160
Méthane 2030 : Développer des solutions de réduction des émissions de méthane entérique : 1ers résultats
institutdelelevage
PRO
0
130
The Conductor Pattern -Multi-Granularity Feedback for Creative Agents-
shibuiwilliam
2
130
[WebDB2026]セレンディピティ指向推薦システム再考 ―セレンディピティの原義・類型・発生過程に基づく設計指針―
recsyslab
PRO
0
240
Featured
See All Featured
Dominate Local Search Results - an insider guide to GBP, reviews, and Local SEO
greggifford
PRO
0
410
The SEO Collaboration Effect
kristinabergwall1
1
620
StorybookのUI Testing Handbookを読んだ
zakiyama
31
7.1k
Faster Mobile Websites
deanohume
310
32k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.7k
Digital Ethics as a Driver of Design Innovation
axbom
PRO
2
550
Design in an AI World
tapps
1
390
Winning Ecommerce Organic Search in an AI Era - #searchnstuff2025
aleyda
2
2.2k
Collaborative Software Design: How to facilitate domain modelling decisions
baasie
1
390
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
10k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
1.7k
How to Align SEO within the Product Triangle To Get Buy-In & Support - #RIMC
aleyda
2
1.9k