論文輪読会 第15回 "EEG decoding for effects of visual joint attention training on ASD patients with interpretable and lightweight convolutional neural network"

AcademiX が開催した 第15回 論文輪読会　資料

日時：2023/06/24
発表者：Kobayashi Megruさん
論文タイトル：EEG decoding for effects of visual joint attention training on ASD patients with interpretable and lightweight convolutional neural network

＜概要＞
【背景】
視覚的な注意は，健康なヒトの社会的スキルや言語スキルの発達において重要な役割を果たす．しかしASD患者ではこの能力が異常に困難である．
【課題】 ASD患者に対してEEGNetを用いた研究は殆どないという課題がある．
【方法】 Tan, Jianlingらは，EEGNet を使用してトレーニングによって誘発された P300 をデコードし，saliendcy mapを使用して視覚的注意中のASD 患者の認知特性を視覚化した．
【結果】 共同注意訓練が，ASD患者の認知能力と社会的特性の反応性を改善できることがわかった．

Transcript

1. https://www.academix.jp/
   AcademiX 論⽂輪読会
   EEG decoding for effects of visual joint attention
   training on ASD patients with interpretable and
   lightweight convolutional neural network
   東京医科⻭科⼤学⼤学院
   Kobayashi Meguru
   2023/06/24
   

   View Slide

2. Introduction
   2
   ASDの概要
   • 神経発達障害．先進国で約1.5%の割合を占め患者数の多さは経済的・
   社会的影響が⼤きい．
   • ASDの主な症状として注意⽋陥
   • 病因の理解は不完全．
   • ASD患者に対する注意⼒トレーニングとその効果を，脳波（EEG）
   レベルで調査することは価値がある．
   

   View Slide

3. Introduction
   3
   共同注意とP300
   • 2 ⼈の⼈間が共同で同じ対象に焦点を合わせ，視線の⽅向やその他の
   社会的注意の⼿がかりから，他の⼈の意図を認識する能⼒[2]．
   • ASD患者が他者を⾒つめる際に，共同注意⼒の⽋陥を⽰していること
   が⽰されている．
   • 視覚的注意の認知特性を調査するために、研究者らは⼀般に、 P300
   を視覚的注意の研究に広く使⽤.
   

   View Slide

4. Introduction
   4
   EEGと深層学習
   EEG 信号をデコードするために，従来の機械学習は⼿動で特徴を抽出．
   →多くの識別情報が無視される可能性がある．
   EEGNetはDepthwise層とSeparable層からなり，分類結果と特徴量が神経
   ⽣理学的に解釈可能であった．
   トレーニングデータが限られていても，EEGNet は強⼒な汎化機能と
   パフォーマンスを⽰した．
   ASD患者の神経情報の解読，特に ASD の注意訓練における特徴の視覚化
   にEEGNet を適⽤した研究はほとんどない．
   

   View Slide

5. Introduction
   5
   本研究の⽬的
   1. ASD患者における，共同注意訓練の前後のEEGデコードにおける，
   EEGNetの有効性の検証
   2. ASD患者における，脳波の時空間的特徴と共同注意訓練の効果を
   視覚化
   Methodの概要
   1. Amaralによって提供されたASD患者の共同注意訓練データをEEGNet
   によって分類
   2. 分類時の特徴量の寄与を顕著性マップによって可視化
   

   View Slide

6. Method
   6
   被験者
   16歳から38歳までの平均年齢22.2歳のASDの⻘年および成⼈15⼈
   （全検査IQ（FSIQ）︓平均 = 102.53; SD = 11.64）
   ASD被験者の包含基準
   • ゴールドスタンダードに従って割り当てられた ASD の陽性診断
   • ⾃閉症の遺伝を確認するため親または介護者との⾯接
   • ⾃閉症診断観察検査（ADOS）による被験者の評価
   • DSM-5 ( 2013 年版) に従った ASD の陽性診断
   ASD被験者の除外基準
   • FSIQが80未満の知的障害
   • ASDサンプルにてんかん、神経⽪膚、その他の遺伝的に既知の症候群、
   またはその他の通常の併存疾患などの関連病状がある
   

   View Slide

7. Method
   7
   社会的シナリオ
   共同注意タスクが⾏われる可能状況．
   4つの仮想シナリオで構成．
   • カフェ
   • 教室
   • 薬局
   • 横断歩道
   BCIタスクにおいて，最初の2つは
   キャリブレーションとして使⽤され
   ているので⾮社会的シナリオで実施．
   3つ⽬は社会的シナリオで実施．
   [3] Figure 1 より引⽤
   

   View Slide

8. Method
   8
   実験の仮想シーン
   • 物体(ドア/窓/ランプ/サッカー/本/ラジオ/プリンター/ラップトッ
   プ) ・家具(ベッド/テーブル/椅⼦/棚/ドレッサー)を備えた寝室
   • 1体のアバター
   共同注意トレーニングのBCIタスク
   1. 参加者に対象物を直接通知
   →ASDの社会的注意⽋陥に関するエラーを排除するため
   2. アバターがアクションを⾏った後にどのオブジェクトを選択したか
   を参加者に質問
   →参加者が合図を正しく理解しているかを確認するため
   3. 実験中に注意を集中した後，アバターが刺激ターゲットで瞬きする
   様⼦を想像
   

   View Slide

9. Method
   9
   データセッション
   • 最初20回のトライアルはキャリ
   ブレーションとして使⽤
   • ターゲットが点滅した時に⽣成
   されるP300応答を含むEEGを記録
   • P300を識別するようにモデルを
   トレーニング
   • BCIは参加者にフィードバックを
   返す
   • 正しい共同注意︓対象オブ
   ジェクトは緑⾊に点灯
   • 不確かな共同注意︓対象オブ
   ジェクトは⾚⾊に点灯
   [3] Figure 4 より引⽤
   

   View Slide

10. Method
    10
    データセッション
    • すべての参加者が同じ共同注意訓練セッションを実施
    • 4か⽉間にわたって7回実施
    • 最初の4回は週単位
    • 最後の3回は⽉単位
    • セッション1︓共同注意訓練前
    • セッション7︓共同注意訓練後
    [1] Fig. 1 より引⽤
    

    View Slide

11. Method
    11
    データセッション
    • 各セッションには20ブロックが含まれる
    • 各ブロックは10回の実⾏で構成される
    • 各実⾏には仮想シーンで8つのトライアルが含まれる
    • 1ブロックで合計80回の試⾏
    • 実験中，⾮標的刺激または標的刺激を200msの⼀定間隔で1回点滅
    • 各フラッシュは 100 ミリ秒継続
    [1] Fig. 1 より引⽤
    

    View Slide

12. Method
    12
    データの取得と前処理
    P300ベースの仮想現実BCIパラダイムを使⽤し
    て実施．
    • Oculus Rift Development Kit 2 ヘッドセッ
    ト
    • 16電極ワイヤレス
    • 8 つの電極位置 (C3、Cz、C4、CPz、P3、
    Pz、P4、POz) から EEG データを記録
    サンプリングレートは250Hzに設定．
    EEG データの取得中に50 Hzトラップフィル
    ターを使⽤．
    取得したEEG データを2~30Hzのバンドパス
    フィルター処理．
    刺激開始の200ms前から刺激開始後の1200ms
    までをセグメント化．
    [3] Figure 3 より引⽤
    [4] より引⽤
    

    View Slide

13. Method
    13
    モデルアーキテクチャ
    ASD患者のEEGに含まれるP300信号を分類するためにEEGNetを使⽤．
    Convolutional Layer︓深さ⽅向に畳み込み空間特徴を学習
    Depthwise Layer︓EEG信号の深さ時間の特徴を学習
    Tensorflow, epoch=300, optimizer=Adam, batch size=128
    [1] Fig. 2 より引⽤
    

    View Slide

14. Results
    14
    ⾮社会的シナリオの
    デコード精度
    EEGNet
    訓練前︓ 86.3 ± 4.7%
    訓練後︓ 82.6 ± 4.6%
    ロジスティック回帰
    訓練前︓ 79.3 ± 1.3%
    訓練後︓77.6 ± 1.1%
    ロジスティック回帰（LR）は
    EEGNetとの⽐較するための
    ベンチマーク
    Subjects Session 1 Session 2 Session 3 Session 4 Session 5 Session 6 Session 7
    1 83.5 79.3 81.1 80.6 71.4 76.9 81.5
    2 88.8 85.2 91.2 86.4 88.2 86.3 89.3
    3 88.2 89.3 90.0 86.9 75.5 74.1 72.4
    4 87.4 87.6 76.9 84.2 84.4 83.2 83.1
    5 94.6 91.1 89.4 84.1 88.7 89.3 88.3
    6 86.9 85.8 82.7 85.7 90.5 84.9 86.3
    7 83.9 84.0 86.9 83.3 86.9 81.3 82.2
    8 81.7 92.4 85.2 92.9 91.1 80.9 82.3
    9 86.9 83.4 80.4 82.3 84.6 75.7 78.6
    10 93.4 92.3 90.4 77.7 97.6 87.5 87.5
    11 88.7 92.9 85.5 92.9 89.9 85.1 80.6
    12 79.6 73.4 88.7 81.7 83.9 80.1 84.6
    13 80.7 81.1 83.8 79.7 77.9 91.1 85.1
    14 79.8 77.2 78.2 82.0 78.1 75.7 75.7
    15 90.6 91.0 84.6 84.0 86.3 85.7 81.2
    Mean 86.3 85.7 85.0 84.3 85.0 82.5 82.6
    SD 4.7 6.0 4.5 4.3 6.8 5.3 4.6
    [1] Table 3 より引⽤
    

    View Slide

15. Results
    15
    社会的シナリオの
    平均デコード精度
    EEGNet
    訓練前︓ 86.9 ± 3.9%
    訓練後︓ 85.9 ± 4.3%
    ロジスティック回帰
    訓練前︓ 80.2 ± 0.9%
    訓練後︓78.5±0.4%
    Subjects Session 1 Session 2 Session 3 Session 4 Session 5 Session 6 Session 7
    1 81.5 85.7 77.4 80.8 79.3 81.5 84.0
    2 92.6 93.2 89.2 94.3 96.6 93.7 92.4
    3 87.3 79.4 83.5 84.6 81.9 83.1 78.2
    4 87.7 86.7 85.5 86.6 81.5 87.1 83.9
    5 91.1 88.9 87.5 82.6 86.2 92.8 82.7
    6 82.7 85.5 82.7 84.0 85.2 83.1 83.6
    7 83.9 82.1 87.4 84.2 84.2 85.7 86.5
    8 90.8 90.9 80.0 91.2 89.3 90.5 93.2
    9 82.6 81.5 80.7 76.3 93.6 95.4 81.8
    10 88.6 87.5 93.6 82.0 93.7 93.3 91.4
    11 87.8 88.6 94.3 89.1 86.1 90.6 85.1
    12 81.1 86.1 83.3 81.8 76.4 80.6 88.1
    13 86.2 83.3 93.8 79.1 82.0 83.7 86.4
    14 86.7 82.2 78.6 85.0 85.0 78.5 82.6
    15 92.4 88.9 90.0 91.6 90.8 91.8 89.3
    Mean 86.9 86.0 85.8 84.9 86.1 87.4 85.9
    SD 3.9 3.8 5.6 4.9 5.7 5.5 4.3
    [1] Table 4 より引⽤
    

    View Slide

16. Results
    16
    社会的・⾮社会的シナリオのデコード精度の結果から，
    • ASD患者の社会的課題における解読の平均精度 (86.2 ± 3.5%) は，⾮社
    会的課題 (84.5 ± 3.5) よりも⾼く，対応のある t 検定では，この現象
    が有意であることがわかった( t( 14 ) ) = 2.960, p = 0.01)．
    • ⾮社会的シナリオでは EEGNet の平均デコード精度 (84.5 ± 3.5%) が
    ロジスティック回帰 (78.5 ± 1.0%) よりも⼤幅に⾼いことが⽰された．
    (t (28) = 6.286 , p < 0.001)．
    • 社会シナリオでは，EEGNet の平均デコード精度 (86.2 ± 3.5%) も，ロ
    ジスティック回帰の平均デコード精度 (79.4 ± 0.4%) より有意に⾼
    かった ( t (28)  = 7.356, p  < 0.001)．
    

    View Slide

17. Results
    17
    ロジスティック回帰とEEGNetの分類結果と性能⽐較
    同じシナリオでは，EEGNet モデルの感度と特異度が LR よりも強いため，
    EEGNet のパフォーマンスがより顕著になった．
    →従来の LR 法よりもEEGNetは分類精度と安定性が優れていることが⽰
    され，ASD への適⽤において EEGNet が⼤きな効果を発揮することも証
    明された．
    Model method Scenarios Accuracy (%) Sensitivity (%) Specificity (%) p value
    LR Non-social 78.5 ± 1.0 82.7 77.8 –
    Social 79.4 ± 0.4 85.2 78.6 –
    EEGNet Non-social 84.5 ± 3.5 87.7 84.0 p < 0.001
    Social 86.2 ± 3.5 89.5 85.6 p < 0.001
    [1] Table 5 より引⽤
    

    View Slide

18. Results
    18
    EEGNetの顕著性マップ
    P3、Pz，P4、Cz 電極などの視
    覚刺激後 300 〜 500 ミリ秒で主
    に頭頂葉に集中している．
    →P300 コンポーネントの空間
    分布および時間サイクルと⼀致．
    それぞれの領域は，特定の注意
    によって調整された認知タスク
    に関連する脳内の神経プロセス
    を反映していると解釈できる．
    a 共同注意訓練前の⾮社会的シナリオにおける顕著性マップ
    b 共同注意訓練後の⾮社会的シナリオにおける顕著性マップ
    c 共同注意訓練前の社会的シナリオにおける顕著性マップ
    d 共同注意訓練後の社会的シナリオにおける顕著性マップ
    正の勾配が⾚，負の勾配が⻘ [1] Fig. 3 より引⽤
    

    View Slide

19. Results
    19
    時空間特性の可視化
    • デコードにおける Pz の
    寄与は，他の電極より
    も著しく⼤きかった．
    • 注意訓練の前後での勾
    配のピーク変化は別の
    シナリオの ASD 患者で
    異なった．
    →ASD患者は，複数の訓
    練セッションの後，社
    会的シナリオでより良
    いパフォーマンスを発
    揮したことを⽰唆．
    しかし，⾮社会的シナ
    リオでは効果なし．
    a デコード時の識別電極の空間分布
    b 2 つのシナリオにおける注意⼒訓練の
    前後の時間特性
    c 2 つのシナリオにおける Pz 電極の ERP
    [1] Fig. 4 より引⽤
    

    View Slide

20. Results
    20
    P300の潜伏期間
    P300 遅延の変動を調査するた
    め，EEGNet の勾配の最も変動
    する100msの振幅を計算．
    電極はPzを選択．
    ASD患者は⾮社会的シナリオ
    より社会的シナリオの⽅が早
    い潜時であり，有意差が⽰さ
    れた( t (14)  = 2.905、p  = 0.012)．
    社会的シアンリオでは100ms
    間隔が前⽅にシフトし，優位
    な相関関係が⾒られた（図d）．
    a ⾮社会的シナリオの100ms間隔
    b 社会的シナリオにおける100ms間隔
    c ⾮社会的シナリオにおける訓練時間とP300待ち時間の相関関係
    d 社会的シナリオにおける訓練時間とP300待ち時間の相関関係
    破線の領域は95%信頼区間
    [1] Fig. 5 より引⽤
    

    View Slide

21. Results
    21
    P300の潜伏期間
    訓練セッションを⾏うこ
    とで，P300潜伏期間が短
    くなり，ASD患者の反応
    速度が徐々に速くなった
    ことを⽰した．
    →社会的視覚注意訓練は，
    ASD患者の認知状態にプ
    ラスの効果をもたらした．
    a ⾮社会的シナリオの100ms間隔
    b 社会的シナリオにおける100ms秒間隔
    c ⾮社会的シナリオにおける訓練時間とP300待ち時間の相関関係
    d 社会的シナリオにおける訓練時間とP300待ち時間の相関関係
    破線の領域は95%信頼区間
    

    View Slide

22. Conclusion
    22
    1. EEGNetはASDのP300信号を効果的にデコードでき，EEGNetによって
    学習されたEEG特徴には認知特性が確認された．
    2. 時空間特性は，頭頂部領域および300~500ms期間で明らかにされ，
    Pzおよび300msは最⼤の寄与を⽰した．
    3. ASD患者は社会的特性を持つ刺激に対してより敏感であった．
    4. ASD患者はP300潜時が遅延していたが，これは共同注意訓練で改善
    できた．
    視覚的共同注意訓練は，ASD患者の社会的認知レベルと反応性
    を改善する可能性がある．
    ASD患者の脳波特徴を解釈可能に可視化し，臨床治療に理論的
    根拠も提供した．
    

    View Slide

23. References
    23
    1. Tan, J., Zhan, Y., Tang, Y., Bao, W., & Tian, Y. (2023). EEG decoding for effects of visual joint attention
    training on ASD patients with interpretable and lightweight convolutional neural network.
    Cognitive Neurodynamics. https://doi.org/10.1007/s11571-023-09947-x
    2. 板倉 昭⼆ 共同注意 脳科学辞典 DOI︓10.14931/bsd.4442（2013）
    3. Amaral, C., Mouga, S., Simões, M., Pereira, H. C., Bernardino, I., Quental, H., Playle, R., McNamara,
    R., Oliveira, G., & Castelo-Branco, M. (2018). A Feasibility Clinical Trial to Improve Social Attention
    in Autistic Spectrum Disorder (ASD) Using a Brain Computer Interface. Frontiers in Neuroscience,
    12. https://www.frontiersin.org/articles/10.3389/fnins.2018.00477
    4. G.Nautilus RESEARCH Wearable EEG Cap. (n.d.). G.Tec Medical Engineering GmbH. Retrieved June
    2, 2023, from https://www.gtec.at/product/gnautilus-research/
    

    View Slide

24. Appendix
    

    View Slide

25. EEGNetの詳細なパラメータ
    25
    Block Layer Number of filters Kernel Output dimension Activation function
    1 Input 8 × 201
    Reshape 1 × 8 × 201
    Convolution 8 1 × 64 8 × 1 × 201
    BatchNorm 8 × 1 × 201
    Depthwise
    Convolution
    16 8 × 1 16 × 1 × 201
    BatchNorm 16 × 1 × 201
    Activation 16 × 1 × 201 ELU
    Average Pool 1 × 4 16 × 1 × 50
    Dropout 16 × 1 × 50
    2 Separable
    Convolution
    16 1 × 16 16 × 1 × 50
    BatchNorm 16 × 1 × 50
    Activation 16 × 1 × 50 ELU
    Average Pool 1 × 8 16 × 1 × 6
    Dropout 16 × 1 × 6
    Flatten 96
    Dense 2 Softmax
    [1] Table 2 より引⽤
    

    View Slide

26. Materials and Methods
    26
    Conv2D︓時間軸⽅向について畳み込みを⾏い，周波数フィルタを学習．
    DepthwiseConv2D︓空間（チャンネル）軸⽅向について畳み込みを⾏い，周波数固有
    の空間（チャンネル）フィルタを学習．（学習パラメータ数の減少）
    SeparableConv2D︓空間（チャンネル）軸⽅向の畳み込みを組み合わせ，時間軸⽅向
    の特徴マップをまとめる．（学習パラメータ数の減少，特徴マップの分離）
    Figure 1 から引⽤
    

    View Slide