Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ゼロからわかるリザバーコンピューティング
Search
Yuta Kurotaki
December 14, 2023
Research
1
1.4k
ゼロからわかるリザバーコンピューティング
コードとカクテル:GMOペパボのAIナイト - LT大忘年会 -
https://gmo.connpass.com/event/304045/
Yuta Kurotaki
December 14, 2023
Tweet
Share
More Decks by Yuta Kurotaki
See All by Yuta Kurotaki
CTO Night & Day 2024 Product Feedback Lunch
kurotaky
1
130
SUZURI DX 2023
kurotaky
0
180
How GitHub Copilot Transforms Development Productivity
kurotaky
18
13k
The story of repairing my junk keyboard with The kinT keyboard controller
kurotaky
0
1.6k
DevRel_Japan CONFERENCE 2023
kurotaky
1
1.9k
ctoa-wakate-01-company-introduction
kurotaky
0
290
Ethereum for Ruby
kurotaky
2
1.9k
NFTコンテンツでオリジナルグッズ作成を支える技術
kurotaky
1
170
SIG-BTI-2022-kickoff
kurotaky
0
270
Other Decks in Research
See All in Research
A multimodal data fusion model for accurate and interpretable urban land use mapping with uncertainty analysis
satai
3
220
在庫管理のための機械学習と最適化の融合
mickey_kubo
3
1.1k
言語モデルによるAI創薬の進展 / Advancements in AI-Driven Drug Discovery Using Language Models
tsurubee
2
370
(NULLCON Goa 2025)Windows Keylogger Detection: Targeting Past and Present Keylogging Techniques
asuna_jp
1
520
Type Theory as a Formal Basis of Natural Language Semantics
daikimatsuoka
1
220
ASSADS:ASMR動画に合わせて撫でられる感覚を提示するシステムの開発と評価 / ec75-shimizu
yumulab
1
380
Transparency to sustain open science infrastructure - Printemps Couperin
mlarrieu
1
180
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
2
480
利用シーンを意識した推薦システム〜SpotifyとAmazonの事例から〜
kuri8ive
1
200
20250502_ABEJA_論文読み会_スライド
flatton
0
170
プロシェアリング白書2025_PROSHARING_REPORT_2025
circulation
1
840
SSII2025 [TS3] 医工連携における画像情報学研究
ssii
PRO
2
1.2k
Featured
See All Featured
Bash Introduction
62gerente
614
210k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Become a Pro
speakerdeck
PRO
28
5.4k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
670
RailsConf 2023
tenderlove
30
1.1k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
GitHub's CSS Performance
jonrohan
1031
460k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Transcript
1 ゼロからわかる リザバーコンピューティング 黒瀧 悠太 コードとカクテル:GMOペパボのAIナイト - LT⼤忘年会 - 2023.12.14
2 ⾃⼰紹介 黒瀧 悠太 Yuta Kurotaki • SUZURI事業部シニアエンジニアリングリード • GMOインターネットグループ
デベロッパーエキスパート • リザバーコンピューティングに関する 勉強や開発をしている • SNS : @kurotaky • ⾳楽が好き、ドラマーです。
SUZURI 3
SUZURI 4
SUZURI 5
6 https://jab.tokyo/
7
8 アジェンダ 1. リザバーコンピューティングについて 2. エコーステートネットワーク概要 3. まとめ
リザバーコンピューティングについて • 時系列データの入力に対する 複雑な動的応答を生成する計算手法 • 波紋パターンは入力された時系列 情報を表し、リザバーによる状態変化 を分析することで、時系列データを認識 し解析する リザバーコンピューティングとは?
9 水面におはじきを投げ入れると、複雑な波紋が広がる 知 識の森 リザバーコンピューティング , 電子情報通信学会 . 時系列の入力をリザ バーに与えると、入力の 大きさや順序に応じた動 的な波紋のパターンが 生じる
リザバーコンピューティングについて 10 ニューラルネットワークとリザバーコンピューティング
リザバーコンピューティングについて 1986年 Jordan ネットワーク 1989年 Real-Time Recurrent Learning (RTRL) 1990年
Elman ネットワーク Backpropagation Through Time (BPTT) 1997年 ⻑‧短期記憶 (LSTM) 2001年 エコーステートネットワーク (ESN) 2002年 リキッドステートマシン (LSM) 2014年 ゲート付き回帰型ユニット (GRU) Recurrent Neural Network の歴史 11 リザバーコンピューティング|森北出版株式会社 , p.9 表1.1を参考に作成 Jaeger, GMD Report. 148, 34 (2001) Maass, et al. Neural Computation. 14, 11 (2002)
リザバーコンピューティングについて 深層学習 (Deep Neural Network) との違い 12 学習コスト 計算性能 リザバー
コンピューティング ESN、LSM リザバーコンピューティング|森北出版株式会社 , p.6 図 1.3 を参考に作成 線形学習器 線形回帰モデルなど ディープラーニングモ デル RNN、LSTM、GRU
エコーステートネットワーク概要 エコーステートネットワーク (ESN) 13 Introduction to Next Generation Reservoir Computing
https://www.youtube.com/watch?v=wbH4En-k5Gs
エコーステートネットワーク概要 Input Layer と Reservoir 14 入力層とリザバーの接続 ランダムで固定された 重みを持つ接続 リザバー内のニューロン
ランダムで固定された リカレント接続
エコーステートネットワーク概要 出力層 トレーニング可能な 出力重みを持つ Reservoir と Output Layer 15
エコーステートネットワーク概要 リッジ回帰の出⼒重みの導出過程 16 損失関数 損失関数を微分 Woutについて解く 正規化項 を加えた自己相関行列の逆行列を計算
エコーステートネットワーク概要 リードアウトのみ調整 ESNでは、リザバーから出力層への重みだけ調整される。その ため計算が速く、消費電力も少ない → エッジデバイスでの応用、環境に優しい など エコーステートネットワークの特徴 17
エコーステートネットワーク概要 医療: EEG, ECG, EMG, ⼼拍, 眼球運動など 画像: ⼿書き⽂字画像, 動画像
⾳声: 発話, ⾳響, ⾳楽 機械: モーター, ロボット その他にも応⽤例は沢⼭、物理リザバーもある リザバーコンピューティングの応⽤ 18
エコーステートネットワーク概要 サンプルプログラム 19 https://mantas.info/code/simple_esn/ Mackey-Glass 方程式 複雑で非線形な時間系列データをどの程度正確に予 測できるかをテスト
エコーステートネットワーク概要 サンプルプログラム 20
エコーステートネットワーク概要 resSizeでの⽐較 21 resSize = 50 resSize = 500
エコーステートネットワーク概要 resSize = 1000 22
エコーステートネットワーク概要 resSize = 10 23
エコーステートネットワーク概要 resSize = 10000 24 計算がおわりません! (発表に間に合わなさそうなので止めた)
エコーステートネットワーク概要 - ⾮線形系 - ⾮線形な振る舞いを⽰し、複雑なパターンや信号を処理 - エコーステート性 - リザバーの現在の状態は過去の入力に影響される -
時間が経つにつれ、その影響は消失 - ⾼次元 - より複雑なパターンの処理をおこなうため リザバーコンピューティングに求められる特性 25
まとめ • リザバーコンピューティングの概要 • エコーステートネットワークについて • リザバーコンピューティングの応⽤例について • サンプルプログラムを実⾏しての考察 まとめ
26
27 Thank you! We’re hiring!