Graduation thesis Diffusion model and LVAD

1. ⾳響解析による左室補助⼈⼯⼼臓の異常検知 知能データ科学講座 櫻井研究室 岡本卓也 2024.2.13
2. 1. 研究の背景・⽬的 (1/3) 【社会的な背景】 重症⼼不全に対する植込み型左室補助⼈⼯⼼臓(LVAD)治療 ・⼼臓移植までの橋渡しの役割 ・Destination Therapy(DT)への適応拡⼤ ⽶国ではDTでの植え込みLVAD患者数が増加 ⽇本でも2021年に保険適応 LVADの⻑期在宅管理の必要性 © 2024 Sakurai & Matsubara Lab. @ Osaka U DT症例数 (Miller LW, NEJM 2007) (Pinney SP, JACC 2017)
3. 2. 研究の背景・⽬的 (2/3) 【⽬的】 LVADに起因する合併症をLVADの駆動⾳を⽤いて検知したい。 合併症の例︓ © 2024 Sakurai & Matsubara Lab. @ Osaka U ポンプ⾎栓 (Scandroglio AM, JACC 2016 ⼤動脈弁逆流 (Grinstein J, JACC 2016)
4. 3. 研究の背景・⽬的 (3/3) 【⽬的】 LVADに起因する合併症をLVADの駆動⾳を⽤いて検知したい。 ⽣活⾳が⼊る在宅環境下でこれらの異常を検知したい →LVAD駆動⾳を⼊⼒とした拡散確率モデルを⽤いた分類を提案する © 2024 Sakurai & Matsubara Lab. @ Osaka U LVAD駆動音 人の声 家電
5. 4. 前提知識 拡散確率モデルとは ・深層⽣成モデルの⼀種 ・データにノイズを徐々に加えていく拡散過程を逆向きに辿る逆拡散過程によって、 ⽣成モデルを定義する。 ・多くのタスクで⾼性能なデータを⽣成可能(e.g.画像、動画、⾳声) (Ho et al.2020) © 2024 Sakurai & Matsubara Lab. @ Osaka U
6. 6. 類似研究との差異 【電⼒消費での検知】 電⼒消費をモニタリングし，ポンプ⾎栓の検出 →重篤な症状に発展する軽微な症状の、早期検出に⼗分な感度・特異度ではない 電⼒消費のみでの検知には限界あり (Jorde UP. JACC.2015) (Grabska J. ASAIO J.2020) 【⾳響データでの検知】 LVAD駆動⾳を対象に、機械学習による⼤動脈弁逆流の検出 →良い性能の分類モデルが得られた ポンプ⾎栓を同様に分類した結果、分類性能は⼗分でなかった 特徴ベクトルを正しく選択しないと性能が出ない VAD駆動⾳と無関係なノイズが発⽣. (Yusuke Misumi. J Artif Organs. 2021) © 2024 Sakurai & Matsubara Lab. @ Osaka U 周波数 (Hz) 時間 (0.05sec) 強さ 正常時 周波数 (Hz) 時間 (0.05sec) 強さ ポンプ内⾎栓 あり VAD駆動⾳と無 関係なノイズが 出現
7. 7. 問題定義 Given 電⼦聴診器で録⾳した実際のLVAD駆動⾳(44.1kHzサンプリング、25.3 sec≦ len ≦ 79.5 sec ) ・正常クラスの波形データ108個 ・異常クラスの波形データ188個 Output 波形データのクラス分類 © 2024 Sakurai & Matsubara Lab. @ Osaka U
8. 8. 提案⼿法 1.拡散確率モデル(DDPM)の学習 正常クラスの波形データのみを⼊⼒とし、DDPMベースのニューラルモデルの学習 ・本研究では波形データを⼊⼒とするDiffWaveモデルを採⽤(Z.Kong et al.2021) ・学習⽤・テスト⽤に正常の波形データを8:2に分割 2.波形データのノイズ除去 テスト⽤波形データにノイズを載せ、モデルに⼊⼒しノイズ除去を⾏う。 ・正常テストデータと、同じ数の異常テストデータを⽤いる。 3.出⼒波形の評価 出⼒波形と、ノイズを載せる前の元の波形との絶対平均誤差をスコアとして分類を⾏う。 ⽐較⼿法として、Local Outliner Factor(LOF) と Isolation Forest(iForest)を採⽤した。 © 2024 Sakurai & Matsubara Lab. @ Osaka U
9. 9.アルゴリズムの概要(1) © 2023 Sakurai & Matsubara Lab. @ Osaka U ε DiffWave (拡散モデル) 学習 Recoveryの音声波形 ガウスノイズ メルスペクトログラム化 εθ 予測されたノイズ ∇! ε − ε! (𝑥" , 𝑡) # # 損失関数 パラメータ更新 𝑥!
10. 10.アルゴリズムの概要(2) © 2023 Sakurai & Matsubara Lab. @ Osaka U ε DiffWave (拡散モデル) 分類 分類したい音声波形 𝑥! ガウスノイズ メルスペクトログラム化 εθ 予測されたノイズ 𝑥" 𝑥!"# = # $! 𝑥! − %! #"$! ε&(𝑥!, 𝑡) +) β " #𝑧 ノイズ除去工程 ノイズ除去した波形 " 𝑥! MAE = # $ ∑%&# $ 𝑥'% − $ 𝑥'% 分類
11. 11. 実験結果 ・分類結果 LOFやiForestは極端な分類結果 提案⼿法では他の⼿法より⾼い精度 ・ROC曲線とAUC ROC曲線が左上に寄るほど AUCが⾼いほど良い分類 提案⼿法は、ランダムを含め他の⼿法よりも性能が良い →他の⼿法と⽐較して優位性がみられた。 © 2024 Sakurai & Matsubara Lab. @ Osaka U
12. 12. まとめ • LVAD駆動⾳を⼊⼒とする拡散確率モデルを⽤いた 異常検知⼿法の提案 • 実際の医療データを⽤いた実験による提案⼿法の評価 • 今後の課題 周波数成分を⽤いたモデルの学習・分類 分類スコアの⼯夫 © 2024 Sakurai & Matsubara Lab. @ Osaka U
13. 付録.DiffWave 構造 Input Conv1×1 = Conv1×1 Bi-DilConv-2$ = Bi-directional Dilated Conv (dilation = 2$) FC = Fully connected = Broadcast over length Conditioner ↔ = Element-wise addition + = Element-wise multiplication Diffusion-step embedding Residual layer ' = 0 Residual layer ' = 1 Residual layer ' = * − 1 ⋯ Skip connections Output ⋯ FC FC FC Conv1×1 Conv1×1 Conv1×1 Conv1×1 Conv1×1 Bi-DilConv-2- ./0 1 ↔ + + + + ⋅ ⋅ tanh 7 = Connect to next residual layer = Input of each residual layer Conv1×1 ReLU swish ReLU swish © 2023 Sakurai & Matsubara Lab. @ Osaka U 14