Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ゼロからわかるリザバーコンピューティング

Yuta Kurotaki
December 14, 2023

 ゼロからわかるリザバーコンピューティング

コードとカクテル:GMOペパボのAIナイト - LT大忘年会 -
https://gmo.connpass.com/event/304045/

Yuta Kurotaki

December 14, 2023
Tweet

More Decks by Yuta Kurotaki

Other Decks in Research

Transcript

  1. 1
    ゼロからわかる
    リザバーコンピューティング
    黒瀧 悠太
    コードとカクテル:GMOペパボのAIナイト - LT⼤忘年会 -
    2023.12.14

    View full-size slide

  2. 2
    ⾃⼰紹介
    黒瀧 悠太 Yuta Kurotaki
    ● SUZURI事業部シニアエンジニアリングリード
    ● GMOインターネットグループ
    デベロッパーエキスパート
    ● リザバーコンピューティングに関する
    勉強や開発をしている
    ● SNS : @kurotaky
    ● ⾳楽が好き、ドラマーです。

    View full-size slide

  3. 6
    https://jab.tokyo/

    View full-size slide

  4. 8
    アジェンダ
    1. リザバーコンピューティングについて
    2. エコーステートネットワーク概要
    3. まとめ

    View full-size slide

  5. リザバーコンピューティングについて
    ● 時系列データの入力に対する
    複雑な動的応答を生成する計算手法
    ● 波紋パターンは入力された時系列
    情報を表し、リザバーによる状態変化
    を分析することで、時系列データを認識
    し解析する
    リザバーコンピューティングとは?
    9
    水面におはじきを投げ入れると、複雑な波紋が広がる 知
    識の森 リザバーコンピューティング , 電子情報通信学会 .
    時系列の入力をリザ
    バーに与えると、入力の
    大きさや順序に応じた動
    的な波紋のパターンが
    生じる

    View full-size slide

  6. リザバーコンピューティングについて
    10
    ニューラルネットワークとリザバーコンピューティング

    View full-size slide

  7. リザバーコンピューティングについて
    1986年 Jordan ネットワーク
    1989年 Real-Time Recurrent Learning (RTRL)
    1990年 Elman ネットワーク
    Backpropagation Through Time (BPTT)
    1997年 ⻑‧短期記憶 (LSTM)
    2001年 エコーステートネットワーク (ESN)
    2002年 リキッドステートマシン (LSM)
    2014年 ゲート付き回帰型ユニット (GRU)
    Recurrent Neural Network の歴史
    11
    リザバーコンピューティング|森北出版株式会社
    , p.9 表1.1を参考に作成
    Jaeger, GMD Report. 148, 34 (2001)
    Maass, et al. Neural Computation. 14, 11 (2002)

    View full-size slide

  8. リザバーコンピューティングについて
    深層学習 (Deep Neural Network) との違い
    12
    学習コスト
    計算性能
    リザバー
    コンピューティング
    ESN、LSM
    リザバーコンピューティング|森北出版株式会社
    , p.6 図 1.3 を参考に作成
    線形学習器
    線形回帰モデルなど
    ディープラーニングモ
    デル
    RNN、LSTM、GRU

    View full-size slide

  9. エコーステートネットワーク概要
    エコーステートネットワーク (ESN)
    13
    Introduction to Next Generation Reservoir Computing
    https://www.youtube.com/watch?v=wbH4En-k5Gs

    View full-size slide

  10. エコーステートネットワーク概要
    Input Layer と Reservoir
    14
    入力層とリザバーの接続
    ランダムで固定された
    重みを持つ接続
    リザバー内のニューロン
    ランダムで固定された
    リカレント接続

    View full-size slide

  11. エコーステートネットワーク概要
    出力層
    トレーニング可能な
    出力重みを持つ
    Reservoir と Output Layer
    15

    View full-size slide

  12. エコーステートネットワーク概要
    リッジ回帰の出⼒重みの導出過程
    16
    損失関数
    損失関数を微分
    Woutについて解く
    正規化項 を加えた自己相関行列の逆行列を計算

    View full-size slide

  13. エコーステートネットワーク概要
    リードアウトのみ調整
    ESNでは、リザバーから出力層への重みだけ調整される。その
    ため計算が速く、消費電力も少ない
    → エッジデバイスでの応用、環境に優しい など
    エコーステートネットワークの特徴
    17

    View full-size slide

  14. エコーステートネットワーク概要
    医療: EEG, ECG, EMG, ⼼拍, 眼球運動など
    画像: ⼿書き⽂字画像, 動画像
    ⾳声: 発話, ⾳響, ⾳楽
    機械: モーター, ロボット
    その他にも応⽤例は沢⼭、物理リザバーもある
    リザバーコンピューティングの応⽤
    18

    View full-size slide

  15. エコーステートネットワーク概要
    サンプルプログラム
    19
    https://mantas.info/code/simple_esn/
    Mackey-Glass 方程式
    複雑で非線形な時間系列データをどの程度正確に予
    測できるかをテスト

    View full-size slide

  16. エコーステートネットワーク概要
    サンプルプログラム
    20

    View full-size slide

  17. エコーステートネットワーク概要
    resSizeでの⽐較
    21
    resSize = 50 resSize = 500

    View full-size slide

  18. エコーステートネットワーク概要
    resSize = 1000
    22

    View full-size slide

  19. エコーステートネットワーク概要
    resSize = 10
    23

    View full-size slide

  20. エコーステートネットワーク概要
    resSize = 10000
    24
    計算がおわりません!
    (発表に間に合わなさそうなので止めた)

    View full-size slide

  21. エコーステートネットワーク概要
    - ⾮線形系
    - ⾮線形な振る舞いを⽰し、複雑なパターンや信号を処理
    - エコーステート性
    - リザバーの現在の状態は過去の入力に影響される
    - 時間が経つにつれ、その影響は消失
    - ⾼次元
    - より複雑なパターンの処理をおこなうため
    リザバーコンピューティングに求められる特性
    25

    View full-size slide

  22. まとめ
    • リザバーコンピューティングの概要
    • エコーステートネットワークについて
    • リザバーコンピューティングの応⽤例について
    • サンプルプログラムを実⾏しての考察
    まとめ
    26

    View full-size slide

  23. 27
    Thank you!
    We’re hiring!

    View full-size slide