ゼロからわかるリザバーコンピューティング

by Yuta Kurotaki

Slide 1

Slide 1 text

1 ゼロからわかるリザバーコンピューティング黒瀧悠太コードとカクテル：GMOペパボのAIナイト - LT⼤忘年会 - 2023.12.14

Slide 2

Slide 2 text

2 ⾃⼰紹介黒瀧悠太 Yuta Kurotaki ● SUZURI事業部シニアエンジニアリングリード ● GMOインターネットグループデベロッパーエキスパート ● リザバーコンピューティングに関する勉強や開発をしている ● SNS : @kurotaky ● ⾳楽が好き、ドラマーです。

Slide 3

Slide 3 text

SUZURI 3

Slide 4

Slide 4 text

SUZURI 4

Slide 5

Slide 5 text

SUZURI 5

Slide 6

Slide 6 text

6 https://jab.tokyo/

Slide 7

Slide 7 text

Slide 8

Slide 8 text

8 アジェンダ 1. リザバーコンピューティングについて 2. エコーステートネットワーク概要 3. まとめ

Slide 9

Slide 9 text

リザバーコンピューティングについて ● 時系列データの入力に対する複雑な動的応答を生成する計算手法 ● 波紋パターンは入力された時系列情報を表し、リザバーによる状態変化を分析することで、時系列データを認識し解析するリザバーコンピューティングとは？ 9 水面におはじきを投げ入れると、複雑な波紋が広がる知識の森リザバーコンピューティング , 電子情報通信学会 . 時系列の入力をリザバーに与えると、入力の大きさや順序に応じた動的な波紋のパターンが生じる

Slide 10

Slide 10 text

リザバーコンピューティングについて 10 ニューラルネットワークとリザバーコンピューティング

Slide 11

Slide 11 text

リザバーコンピューティングについて 1986年 Jordan ネットワーク 1989年 Real-Time Recurrent Learning (RTRL) 1990年 Elman ネットワーク Backpropagation Through Time (BPTT) 1997年⻑‧短期記憶 (LSTM) 2001年エコーステートネットワーク (ESN) 2002年リキッドステートマシン (LSM) 2014年ゲート付き回帰型ユニット (GRU) Recurrent Neural Network の歴史 11 リザバーコンピューティング｜森北出版株式会社 , p.9 表1.1を参考に作成 Jaeger, GMD Report. 148, 34 (2001) Maass, et al. Neural Computation. 14, 11 (2002)

Slide 12

Slide 12 text

リザバーコンピューティングについて深層学習 (Deep Neural Network) との違い 12 学習コスト計算性能リザバーコンピューティング ESN、LSM リザバーコンピューティング｜森北出版株式会社 , p.6 図 1.3 を参考に作成線形学習器線形回帰モデルなどディープラーニングモデル RNN、LSTM、GRU

Slide 13

Slide 13 text

エコーステートネットワーク概要エコーステートネットワーク (ESN) 13 Introduction to Next Generation Reservoir Computing https://www.youtube.com/watch?v=wbH4En-k5Gs

Slide 14

Slide 14 text

エコーステートネットワーク概要 Input Layer と Reservoir 14 入力層とリザバーの接続ランダムで固定された重みを持つ接続リザバー内のニューロンランダムで固定されたリカレント接続

Slide 15

Slide 15 text

エコーステートネットワーク概要出力層トレーニング可能な出力重みを持つ Reservoir と Output Layer 15

Slide 16

Slide 16 text

エコーステートネットワーク概要リッジ回帰の出⼒重みの導出過程 16 損失関数損失関数を微分 Woutについて解く正規化項を加えた自己相関行列の逆行列を計算

Slide 17

Slide 17 text

エコーステートネットワーク概要リードアウトのみ調整 ESNでは、リザバーから出力層への重みだけ調整される。そのため計算が速く、消費電力も少ない → エッジデバイスでの応用、環境に優しいなどエコーステートネットワークの特徴 17

Slide 18

Slide 18 text

エコーステートネットワーク概要医療: EEG, ECG, EMG, ⼼拍, 眼球運動など画像: ⼿書き⽂字画像, 動画像⾳声: 発話, ⾳響, ⾳楽機械: モーター, ロボットその他にも応⽤例は沢⼭、物理リザバーもあるリザバーコンピューティングの応⽤ 18

Slide 19

Slide 19 text

エコーステートネットワーク概要サンプルプログラム 19 https://mantas.info/code/simple_esn/ Mackey-Glass 方程式複雑で非線形な時間系列データをどの程度正確に予測できるかをテスト

Slide 20

Slide 20 text

エコーステートネットワーク概要サンプルプログラム 20

Slide 21

Slide 21 text

エコーステートネットワーク概要 resSizeでの⽐較 21 resSize = 50 resSize = 500

Slide 22

Slide 22 text

エコーステートネットワーク概要 resSize = 1000 22

Slide 23

Slide 23 text

エコーステートネットワーク概要 resSize = 10 23

Slide 24

Slide 24 text

エコーステートネットワーク概要 resSize = 10000 24 計算がおわりません！ (発表に間に合わなさそうなので止めた)

Slide 25

Slide 25 text

エコーステートネットワーク概要 - ⾮線形系 - ⾮線形な振る舞いを⽰し、複雑なパターンや信号を処理 - エコーステート性 - リザバーの現在の状態は過去の入力に影響される - 時間が経つにつれ、その影響は消失 - ⾼次元 - より複雑なパターンの処理をおこなうためリザバーコンピューティングに求められる特性 25

Slide 26

Slide 26 text

まとめ • リザバーコンピューティングの概要 • エコーステートネットワークについて • リザバーコンピューティングの応⽤例について • サンプルプログラムを実⾏しての考察まとめ 26

Slide 27

Slide 27 text

27 Thank you! We’re hiring!