[JSAI24] ECoG-Based Motor Imagery Classification Using Retentive Network

1. 長嶋 隼矢1, 兼田 寛大1, 飯田 紡1, 田口 美紗2, 平田 雅之2, 杉浦 孔明1 1慶應義塾大学 , 2大阪大学医学部 Retention機構に基づく 頭蓋内脳波の分類とBMIの構築
2. - 2 - 概要 ▪ 背景 発話障害を持つ患者に対し、脳波を⽤いた コミュニケーション⽀援のため脳波デコーディングの性能は重要 ▪ 提案 ▪ 脳波の局所・⼤域的な特徴を捉える ECoG Dual Context Networkを提案 ▪ Retention機構を組み込んだ Retentive Dual Context Moduleを提案 ▪ 結果 臨床データセットにおいて、 全ベースライン⼿法を分類精度で上回った
3. 背景︓ 発話障害者において⾮⾔語コミュニケーション⽀援は重要 - 3 - n 筋萎縮性側索硬化症(ALS)による発話障害 患者の社会⽣活や⽇常の活動に深刻な影響 頭蓋内脳波(ECoG)を⽤いた⾮⾔語のコミュニケーション⽀援は重要 本研究では n 完全⿇痺ALS患者向け侵襲型BMIを構築 n 希少なALS患者の臨床データを使⽤ Twitter投稿者: Lukas Ziegler (@lukas_m_ziegler) 投稿日時: 2024年5月18日 URL : https://x.com/lukas_m_ziegler/status/1790648380080722323?s=12
4. 問題設定︓ 上肢の運動想起時における頭蓋内脳波の多クラス分類タスク n ⼿の伸展等の動作を想起 脳波のみから想起した動作を分類 (例) “⼿の掌握”を想起時の脳波から正しく“⼿の掌握”と予測 - 4 - Model
5. 関連研究︓ 脳波において⻑期の依存関係を捕捉するのが困難 - 5 - 分野 ⼿法 概要 BMIシステム BSC-DWA [1] リハビリ⽤ロボットでBCIと⾃律移動を組み合わせた協調制御 [Cao+, JNER19] ⾮侵襲BCIと⾃動最適化共有制御によるロボットアーム操作 脳波 デコーディング EEGNet [2] 脳波デコーディングのための畳み込みネットワークを提案 SPCNN [3] EEG Conformer [4] CNN、Transformerにより脳波の局所・⼤域的特徴を捕捉 [1]:[Xu+, CSBJ23], [2]: [Lawhern+, J. Neural Eng.15], [3]:[Zhao+, Biomed. Signal Process. Control22], [4]:[Song+, IEEE Trans. Neural Syst. Rehabil. Eng.22] EEGNet EEG Conformer
6. 関連研究︓ 脳波の⻑期の依存関係を捕捉するのが困難 - 6 - 分野 ⼿法 概要 BMIシステム BSC-DWA [1] リハビリ⽤ロボットでBCIと⾃律ナビを組み合わせた協調制御 [Cao+, JNER19] ⾮侵襲BCIと⾃動最適化共有制御によるロボットアーム操作 脳波 デコーディング EEGNet [2] EEGデコーディングのための畳み込みネットワークを提案 SPCNN [3] EEG Conformer [4] CNN、TransformerによりEEGの局所・⼤域的特徴を捕捉 [1]:[Xu+, CSBJ23], [2]: [Lawhern+, J. Neural Eng.15], [3]:[Zhao+, Biomed. Signal Process. Control22], [4]:[Song+, IEEE Trans. Neural Syst. Rehabil. Eng.22] EEGNet EEG Conformer L ⻑系列を扱う際に⾼い計算コスト L 局所・⼤域特徴の両⽴
7. - 7 - 提案⼿法︓ECoG Dual Context Network ▪ Retentive Dual Context Module ▪ Retention機構を組み込み、 脳波の⻑期の依存関係を効率的に捕捉 ▪ 脳波の局所的・⼤域的な特徴を 並列に捉えるブランチ構造 ▪ Electrode-Aware Convolution Unit 電極数と同じカーネルサイズの 畳み込みを使⽤し、電極間の特徴を抽出 脳波デコーディングにRetention機構を初めて導⼊
8. Retentive Dual Context Module : 局所・⼤域特徴を並列に捕捉 - 8 - n Globalブランチ Retention機構 [Sun+, 23]を⽤い、 脳波の⻑期の依存関係を捕捉 n Localブランチ Gate機構を持ったConvolutionと MLPを組み合わせ、局所情報を捕捉 ⾳声認識分野で成功したE-Branchformer likeな構造
9. Retention機構 [Sun+, 23]: Attentionと再帰の中間的な処理 - 9 - Chunkwise Recurrent表現では系列⽅向にチャンク分割 効率的に脳波の⻑期的な依存関係を捕捉
10. Globalブランチ: チャンク分割により⻑い系列を効率的に学習・推論 - 10 - Chunkwise Recurrent表現では系列⽅向にチャンク分割 効率的に脳波の⻑期的な依存関係を捕捉 ※ [i]は i 番⽬のチャンク、 はある地点とそれ以前の関係をモデル化 チャンク内の計算 チャンク間の計算 係数
11. Globalブランチ: チャンク分割により⻑い系列を効率的に学習・推論 - 11 - Chunkwise Recurrent表現では系列⽅向にチャンク分割 効率的に脳波の⻑期的な依存関係を捕捉 𝑚 ※ [i]は i 番⽬のチャンク、 はある地点とそれ以前の関係をモデル化 チャンク内の計算 チャンク間の計算 係数
12. - 12 - ▪ 肘の伸展および屈曲、⼿の伸展および掌握の4種類の運動想起を含む ▪ 94電極×4秒 ×250Hz (系列⻑は1000) ▪ 8⽇×4クラス× 40試⾏ =1280試⾏ (train:960 / val:120 / test:120) ▪ k-fold交差検証(k=4) 実験設定 0秒直前で想起する可能性有り Rest Move 0 1 2 -1 -2 (sec.)
13. 定量的結果︓ 全ての評価尺度においてベースライン⼿法を上回る結果 - 13 - ⼿法 分類精度 [%] ↑ EEGNet [1] 45.3 ± 11.6 EEG Conformer [2] 68.9 ± 4.7 E-Branchformer [3] 68.8 ± 4.6 提案⼿法 (ECoG DCNet) 75.2±2.7 +29.9 [1] : [Lawhern+, J. Neural Eng.15], [2] : [Song+, IEEE Trans. Neural Syst. Rehabil. Eng.22], [3] : [Kim+, IEEE SLT23] J 提案⼿法は全てのベースライン⼿法に対して統計有意 (p < 0.05)
14. - 14 - Grad-CAM [Selvaraju+, ICCV17] による畳み込み層の可視化 定性的結果︓ 神経⽣理学的に重要な特徴の捕捉を⽰唆 (1/2) L ベースライン⼿法ではどの領域にも ⼤きな重要度を付与せず J 運動想起の前後の、神経⽣理学的に 重要な電極に⼤きな重要度 [提案⼿法 (Acc:75.2)] [EEG Conformer (Acc:68.9)] 電極 -1.0 0 1.0 時間 [s] 電極 0 40 60 20 80 0 40 60 20 80 時間 [s] -1.0 0 1.0
15. - 15 - 実験設定︓94個の硬膜下電極を使⽤ ▪ 肘の伸展および屈曲、⼿の伸展および 掌握の4種類の運動想起を含む 0秒直前で想起する可能性有り Rest Move 0 1 2 -1 -2
16. - 16 - 実験設定︓Hand Knob Area (9~25番) ▪ 肘の伸展および屈曲、⼿の伸展および 掌握の4種類の運動想起を含む 0秒直前で想起する可能性有り Rest Move 0 1 2 -1 -2 (sec.) n 中⼼前回外側で中⼼溝に接する部位 n 運動野付近に位置 n 運動想起分類に重要な電極 [Morris+, IEEE Trans. Biomed. Eng.14]
17. - 17 - 実験設定︓中⼼後回付近 (49~60番) ▪ 肘の伸展および屈曲、⼿の伸展および 掌握の4種類の運動想起を含む 0秒直前で想起する可能性有り Rest Move 0 1 2 -1 -2 (sec.) n ⼿⾜などの感覚を司る体性感覚野付近 n 運動想起分類に重要な電極 [Morris+, IEEE Trans. Biomed. Eng.14]
18. - 18 - Grad-CAM [Selvaraju+, ICCV17] による畳み込み層の可視化 定性的結果︓ 神経⽣理学的に重要な特徴の捕捉を⽰唆 (1/2) L ベースライン⼿法ではどの領域にも ⼤きな重要度を付与せず J 運動想起の前後の、神経⽣理学的に 重要な電極に⼤きな重要度 [提案⼿法 (Acc:75.2)] [EEG Conformer (Acc:68.9)] 電極 -1.0 0 1.0 時間 [s] 電極 0 40 60 20 80 0 40 60 20 80 時間 [s] -1.0 0 1.0
19. - 19 - [提案⼿法 (Acc:75.2)] [EEG Conformer (Acc:68.9)] 電極 -1.0 0 1.0 時間 [s] 電極 0 40 60 20 80 0 40 60 20 80 時間 [s] -1.0 0 1.0 L ベースライン⼿法では運動想起前後 の領域に重要度を付与 J 運動想起の前後の、神経⽣理学的に 重要な電極により⼤きな重要度 定性的結果︓ 神経⽣理学的に重要な特徴の捕捉を⽰唆 (2/2) Grad-CAM [Selvaraju+, ICCV17] による畳み込み層の可視化
20. - 20 - デモ︓LLMを使⽤して少ない試⾏数で会話を実現
21. - 21 - デモ︓LLMを使⽤して少ない試⾏数で会話を実現
22. - 22 - デモ︓LLMを使⽤して少ない試⾏数で会話を実現
23. - 23 - デモ︓LLMを使⽤して少ない試⾏数で会話を実現 f 8x 8x
24. - 24 - デモ︓LLMを使⽤して少ない試⾏数で会話を実現
25. - 25 - まとめ ▪ 背景 発話障害を持つ患者に対し、脳波を⽤いた コミュニケーション⽀援のため脳波デコーディングの性能は重要 ▪ 提案 ▪ 脳波の局所・⼤域的な特徴を捉える ECoG Dual Context Networkを提案 ▪ Retention機構を組み込んだ Retentive Dual Context Moduleを提案 ▪ 結果 臨床データセットにおいて、 全ベースライン⼿法を分類精度で上回った
26. n Electrode-Aware Convolution Unit (EACU) n 電極全てを含むカーネルによる畳み込み層を導⼊ 電極のindexに依存せずに電極間の関係を抽出 n 時系列⽅向の⻑さは圧縮しすぎないように処理 Appendix：Electrode-Aware Convolution Unit 電極間の関係を捕捉 - 26 -
27. Appendix : Localブランチ 局所特徴を捉えるブランチ構造 - 27 - n Localブランチ n Gate機構を持ったConvolutionと MLPを組みわせ脳波の局所特徴を捕捉 n 最終的にDepth-wise ConvとFFNを 組み合わせ、モデル出⼒ を取得
28. Ablation Study : EACUの導⼊が最も性能に寄与 - 28 - 手法 分類精度 [%] ↑ w/o EACU 53.3±3.0 w/o retention 72.8±2.2 提案手法 75.2±2.7 J 各新規性の有効性を確認 J 電極間の特徴を抽出するEACUの導入が最も性能に寄与
29. Appendix：混同⾏列 肘および⼿同⼠のクラスの分類性能が低い - 29 - n 右図は1fold目における混同行列 n 肘の伸展と肘の屈曲の判別が 難しい n 肘と手の分類性能は高い n 手の伸展単体での分類性能は 37/40 = 92.5 %
30. - 30 - n 1fold目におけるGrad-CAMの可視化の各labelごとの正解サンプルの平均 n 手の伸展のサンプル Appendix：定性的結果 複数試⾏の平均でも良い結果 L70番以降の電極に注目 J 0秒前後の電極50番台に着目 [提案手法 (Acc:75.2)] [EEG Conformer (Acc:68.9)]