Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ゼロからわかるリザバーコンピューティング
Search
Yuta Kurotaki
December 14, 2023
Research
1
530
ゼロからわかるリザバーコンピューティング
コードとカクテル:GMOペパボのAIナイト - LT大忘年会 -
https://gmo.connpass.com/event/304045/
Yuta Kurotaki
December 14, 2023
Tweet
Share
More Decks by Yuta Kurotaki
See All by Yuta Kurotaki
CTO Night & Day 2024 Product Feedback Lunch
kurotaky
0
18
SUZURI DX 2023
kurotaky
0
94
How GitHub Copilot Transforms Development Productivity
kurotaky
16
10k
The story of repairing my junk keyboard with The kinT keyboard controller
kurotaky
0
1.3k
DevRel_Japan CONFERENCE 2023
kurotaky
1
1.5k
ctoa-wakate-01-company-introduction
kurotaky
0
200
Ethereum for Ruby
kurotaky
2
1.6k
NFTコンテンツでオリジナルグッズ作成を支える技術
kurotaky
1
95
SIG-BTI-2022-kickoff
kurotaky
0
200
Other Decks in Research
See All in Research
デジタルツインによる ネイチャーポジティブへの挑戦
fullfull
0
210
SSII2024 [OS2] 画像、その先へ 〜モーション解析への誘い〜
ssii
PRO
1
1.1k
AIが非ヒト動物に与える有益・有害な影響の検討
takeshit_m
0
290
SSII2024 [TS2] 深層学習に潜むバイアス
ssii
PRO
0
520
大規模言語モデルを用いた その場での要約に基づく レビュー探索インタフェース
yamamotolab
0
240
仮説検定とP値
shuntaros
6
7.3k
「人間にAIはどのように辿り着けばよいのか?ー 系統的汎化からの第一歩 ー」@第22回 Language and Robotics研究会
maguro27
0
400
Minimum Bayes-Risk Decoding における性能変動の理解に向けて(2024年6月5日 第59回 NLPコロキウム)
atsumoto
0
210
SSII2024 [OS1] 研究紹介100連発(オープンニング)
ssii
PRO
0
420
AIを前提とした体験の実現に向けて/toward_ai_based_experiences
monochromegane
1
430
Conducting AI Research on High-Performance Computing (HPC) Systems
yoshipon
2
460
LINEチャットボット「全力肯定彼氏くん(LuC4)」の 1年を振り返る
o_ob
0
680
Featured
See All Featured
Large-scale JavaScript Application Architecture
addyosmani
506
110k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
325
21k
The MySQL Ecosystem @ GitHub 2015
samlambert
248
12k
Making the Leap to Tech Lead
cromwellryan
127
8.7k
The Power of CSS Pseudo Elements
geoffreycrofte
64
5.2k
How GitHub Uses GitHub to Build GitHub
holman
471
290k
The Art of Programming - Codeland 2020
erikaheidi
48
13k
How to Think Like a Performance Engineer
csswizardry
4
590
Design by the Numbers
sachag
277
18k
Statistics for Hackers
jakevdp
792
220k
A Modern Web Designer's Workflow
chriscoyier
689
190k
The Brand Is Dead. Long Live the Brand.
mthomps
52
36k
Transcript
1 ゼロからわかる リザバーコンピューティング 黒瀧 悠太 コードとカクテル:GMOペパボのAIナイト - LT⼤忘年会 - 2023.12.14
2 ⾃⼰紹介 黒瀧 悠太 Yuta Kurotaki • SUZURI事業部シニアエンジニアリングリード • GMOインターネットグループ
デベロッパーエキスパート • リザバーコンピューティングに関する 勉強や開発をしている • SNS : @kurotaky • ⾳楽が好き、ドラマーです。
SUZURI 3
SUZURI 4
SUZURI 5
6 https://jab.tokyo/
7
8 アジェンダ 1. リザバーコンピューティングについて 2. エコーステートネットワーク概要 3. まとめ
リザバーコンピューティングについて • 時系列データの入力に対する 複雑な動的応答を生成する計算手法 • 波紋パターンは入力された時系列 情報を表し、リザバーによる状態変化 を分析することで、時系列データを認識 し解析する リザバーコンピューティングとは?
9 水面におはじきを投げ入れると、複雑な波紋が広がる 知 識の森 リザバーコンピューティング , 電子情報通信学会 . 時系列の入力をリザ バーに与えると、入力の 大きさや順序に応じた動 的な波紋のパターンが 生じる
リザバーコンピューティングについて 10 ニューラルネットワークとリザバーコンピューティング
リザバーコンピューティングについて 1986年 Jordan ネットワーク 1989年 Real-Time Recurrent Learning (RTRL) 1990年
Elman ネットワーク Backpropagation Through Time (BPTT) 1997年 ⻑‧短期記憶 (LSTM) 2001年 エコーステートネットワーク (ESN) 2002年 リキッドステートマシン (LSM) 2014年 ゲート付き回帰型ユニット (GRU) Recurrent Neural Network の歴史 11 リザバーコンピューティング|森北出版株式会社 , p.9 表1.1を参考に作成 Jaeger, GMD Report. 148, 34 (2001) Maass, et al. Neural Computation. 14, 11 (2002)
リザバーコンピューティングについて 深層学習 (Deep Neural Network) との違い 12 学習コスト 計算性能 リザバー
コンピューティング ESN、LSM リザバーコンピューティング|森北出版株式会社 , p.6 図 1.3 を参考に作成 線形学習器 線形回帰モデルなど ディープラーニングモ デル RNN、LSTM、GRU
エコーステートネットワーク概要 エコーステートネットワーク (ESN) 13 Introduction to Next Generation Reservoir Computing
https://www.youtube.com/watch?v=wbH4En-k5Gs
エコーステートネットワーク概要 Input Layer と Reservoir 14 入力層とリザバーの接続 ランダムで固定された 重みを持つ接続 リザバー内のニューロン
ランダムで固定された リカレント接続
エコーステートネットワーク概要 出力層 トレーニング可能な 出力重みを持つ Reservoir と Output Layer 15
エコーステートネットワーク概要 リッジ回帰の出⼒重みの導出過程 16 損失関数 損失関数を微分 Woutについて解く 正規化項 を加えた自己相関行列の逆行列を計算
エコーステートネットワーク概要 リードアウトのみ調整 ESNでは、リザバーから出力層への重みだけ調整される。その ため計算が速く、消費電力も少ない → エッジデバイスでの応用、環境に優しい など エコーステートネットワークの特徴 17
エコーステートネットワーク概要 医療: EEG, ECG, EMG, ⼼拍, 眼球運動など 画像: ⼿書き⽂字画像, 動画像
⾳声: 発話, ⾳響, ⾳楽 機械: モーター, ロボット その他にも応⽤例は沢⼭、物理リザバーもある リザバーコンピューティングの応⽤ 18
エコーステートネットワーク概要 サンプルプログラム 19 https://mantas.info/code/simple_esn/ Mackey-Glass 方程式 複雑で非線形な時間系列データをどの程度正確に予 測できるかをテスト
エコーステートネットワーク概要 サンプルプログラム 20
エコーステートネットワーク概要 resSizeでの⽐較 21 resSize = 50 resSize = 500
エコーステートネットワーク概要 resSize = 1000 22
エコーステートネットワーク概要 resSize = 10 23
エコーステートネットワーク概要 resSize = 10000 24 計算がおわりません! (発表に間に合わなさそうなので止めた)
エコーステートネットワーク概要 - ⾮線形系 - ⾮線形な振る舞いを⽰し、複雑なパターンや信号を処理 - エコーステート性 - リザバーの現在の状態は過去の入力に影響される -
時間が経つにつれ、その影響は消失 - ⾼次元 - より複雑なパターンの処理をおこなうため リザバーコンピューティングに求められる特性 25
まとめ • リザバーコンピューティングの概要 • エコーステートネットワークについて • リザバーコンピューティングの応⽤例について • サンプルプログラムを実⾏しての考察 まとめ
26
27 Thank you! We’re hiring!