妊産婦の音声と転移学習による、精神疾患合併妊婦のスクリーニング

2023年6月17日・18日 に行われた日本メディカルAI学会第5回学術集会での発表資料です

Transcript

1. 妊産婦の音声と転移学習による、 精神疾患合併妊婦のスクリーニング 大羽 輝, 牧 尉太 岡山大学病院産科婦人科学教室
2. 第5回 メディカルAI学会学術講演会 利益相反状態の開示 筆頭演者氏名：大羽 輝 所 属： 岡山大学病院 産科婦人科 私の今回の演題に関連して、開示すべき利益相反状態はありません。
3. 序論 周産期精神疾患の評価指標と問題点
4. 周産期の気分障害や不安障害、重篤な精神疾患は、母親の重度な 疾患の罹患率や死亡率、分娩費用などの有害なアウトカムと関連 妊産婦の自殺はアメリカにおける産後女性の死因の第2位 McKee, K. et al. Perinatal mood and anxiety disorders, serious mental illness, and delivery-related health outcomes, United States, 2006-2015. BMC Womens. Health 20, 150 (2020). Admon, L. K. et al. Trends in Suicidality 1 Year Before and After Birth Among Commercially Insured Childbearing Individuals in the United States, 2006-2017. JAMA Psychiatry 78, 171–176 (2021). 周産期アウトカムを改善するうえで、妊婦の 精神疾患を特定・治療することが重要 Hamidia, A. et al. Screening of psychiatric disorders in women with high-risk pregnancy: Accuracy of three psychological tools. Health Sci Rep 5, e518 (2022). 4/49 序論
5. Edinburgh Postnatal Depression Scale (EPDS) Brief Symptom Inventory (BSI-53) BSI-18 →主観的なアンケート形式で、閾値設定の妥当性が不十分なものが多い 周産期の精神疾患スクリーニングツールは いくつかある Hamidia, A. et al. Screening of psychiatric disorders in women with high-risk pregnancy: Accuracy of three psychological tools. Health Sci Rep 5, e518 (2022). 5/49 Bowling, A. Mode of questionnaire administration can have serious effects on data quality. J. Public Health 27, 281–291 (2005). 序論
6. 感情の識別に音響統計的特徴を用いる取組みは1980年代から存在 音響特性を抑うつ障害や自殺リスクの指標として利用することができ、 音声を利用してうつ病患者の感情変化を追跡しうる →対象がほとんど抑うつ障害であり、妊婦を対象とした研究は殆どない Bezooijen, R., ,et al. J. Cross Cult. Psychol. 1983; 14, 387–406. Tolkmitt, F., and Scherer, K. J. Exp. Psychol. 1986; 12, 302–313. France, D. ,et al. IEEE Trans. Biomed. Eng. 2000; 47, 829–837. 音声を精神医学に応用する取り組み 6/49 序論
7. 健やか親子21によれば、平成13年～平成25年の間に産後うつが 疑われた褥婦の割合は9.0～13.4％ 一般的に、精神疾患を合併する妊婦は全体の中では少数派 厚生労働省「健やか親子２１」最終評価参考資料集 精神疾患合併妊娠は一種の不均衡データ 7/49 序論
8. 一般的な抑うつ障害患者を対象とした研究が多く、 妊産婦の精神疾患を対象とした研究がほとんどない 不均衡データであることを考慮した研究が少ない
9. 方法 1．データ収集・前処理 2．モデル作成
10. 2022年9月から2023年3月までに当施設で出産し1か月健診を受診した 妊産婦のうち、文書による同意が得られた方 対象者のリクルート 10/49 方法 ① 不備なく音声録音と情報収集が可能であった女性 n=111 ノイズ除去 学習用データ n=62 (55.8%) 検証用データ n=21 (18.9%) テスト用データ n=28 (25.2%) 精神疾患あり n=15 (13.5%) 精神疾患なし n=96 (86.5%)
11. 各音声を5秒ごとに分割し、すべての音声セグメントに 対して短時間フーリエ変換(STFT) を行い、 メルスペクトログラムを作成した 11/49 方法 ① shift
12. 異なる周波数領域および時間領域を有する 3つのメルスペクトログラムを統合し、 3チャネル画像に変換した Szep, J. & Hariri, S. Paralinguistic classification of mask wearing by image classifiers and fusion. in Interspeech 2020 (ISCA, 2020). 12/49 方法 ① window length=(256,512,1024) 3 channel melspectroglam 量子化数：128 -1～1の範囲で正規化 224 x 224にリサイズ 1 channel melspectroglam window length 256 window length 512 window length 1024 Time frequency 周波数領域と時間領域の解像度は トレードオフの関係
13. Color jitter （輝度変化） Frequency masking （マスキング） Time masking （マスキング） Time masking ＋ Frequency masking （マスキング） Original （オーグメンテーションなし） データオーグメンテーション Atmaja, B. T. & Sasou, A. Effects of Data Augmentations on Speech Emotion Recognition. Sensors 22, (2022). 13/49 方法 ①
14. Audio data Audio segments After data augmentation Train data 97 5190 25950 Validation data 32 338 338 Test data 43 549 549 Number of segments after data augmentation 32/92 Method ②
15. Context-rich Minority Oversampling：CMO Park, S., Hong, Y., Heo, B., Yun, S. & Choi, J. Y. The Majority Can Help The Minority: Context-rich Minority Oversampling for Long-tailed Classification. arXiv [cs.CV] (2021). 14/49 方法 ① Foreground image 𝑥𝑥 𝑖𝑖 𝑓𝑓 , 𝑦𝑦 𝑖𝑖 𝑓𝑓 Background image 𝑥𝑥 𝑖𝑖 𝑏𝑏 , 𝑦𝑦 𝑖𝑖 𝑏𝑏 Cutmix � 𝐷𝐷𝑖𝑖=1 𝑁𝑁 𝐷𝐷𝑖𝑖=1 𝑁𝑁 𝑞𝑞 𝑘𝑘 = ⁄ 1 𝑛𝑛𝑘𝑘 𝑟𝑟 ∑ 𝑘𝑘′=1 𝑐𝑐 ⁄ 1 𝑛𝑛𝑘𝑘′ 𝑟𝑟 𝑞𝑞 𝑘𝑘 = 1 � 𝑘𝑘′=1 𝑐𝑐 𝑛𝑛𝑘𝑘′ 𝑟𝑟 k ：Number of classes 𝑛𝑛𝑘𝑘 ：Number of samples in class k � 𝐷𝐷𝑖𝑖=1 𝑁𝑁 ：Data set with oversampling 𝐷𝐷𝑖𝑖=1 𝑁𝑁 ：Data set without oversampling
16. 方法 1．データ収集・前処理 2．モデル学習
17. モデルアーキテクチャ：ImageNetで事前学習したResNextモデル 損失関数：Focal loss オプティマイザー：AdaBelief＋Sharpness aware minimization ハイパーパラメータチューニング：Optuna 深層学習モデル Xie, S., Girshick, R., Dollár, P., Tu, Z. & He, K. Aggregated Residual Transformations for Deep Neural Networks. arXiv [cs.CV] (2016). 16/49 方法 ② Foret, P., Kleiner, A., Mobahi, H. & Neyshabur, B. Sharpness-Aware Minimization for Efficiently Improving Generalization. arXiv [cs.LG] (2020). Zhuang, J. et al. AdaBelief Optimizer: Adapting Stepsizes by the Belief in Observed Gradients. arXiv [cs.LG] (2020). Takuya A, Shotaro S, Toshihiko Y, Takeru O,and Masanori K. 2019. Optuna: A Next-generation Hyperparameter Optimization Framework. In KDD. Xie, S., Girshick, R., Dollár, P., Tu, Z. & He, K. Aggregated Residual Transformations for Deep Neural Networks. arXiv [cs.CV] (2016). Lin, T.-Y., Goyal, P., Girshick, R., He, K. & Dollar, P. Focal Loss for Dense Object Detection. IEEE Trans. Pattern Anal. Mach. Intell. 42, 318–327 (2020).
18. 各音声ごとに予測値をすべて多数決し、最終的な 予測の結果とした 17/49 方法 ② 転移学習 ResNext 101_32x8d Normal Abnormal Fully Connected Layer(1280,2) Normal Abnormal Normal Normal Normal Normal ensemble Abnormal
19. 全体のフロー 18/49 方法 ②
20. 結果 1．分類結果 2．可視化 3．画像別の比較
21. Accuracy Recall Precision F1 score ROC-AUC G-mean 0.61 0.56 0.53 0.52 0.56 0.56 音声セグメントの分類結果 20/49 結果 ①
22. Accuracy Recall Precision F1 score ROC-AUC G-mean 0.75 0.71 0.60 0.60 0.71 0.71 音声アンサンブル後の結果 21/49 結果 ①
23. メルスペクトログラム EPDS エジンバラうつ病評価スケールとの比較 22/49 結果 ①
24. 結果 1．分類結果 2．可視化 3．画像別の比較
25. Original XGradCAM LayerCAM EigenGradCAM Original XGradCAM LayerCAM EigenGradCAM ラベル1と予測したものは、6750Hz付近を注視する 傾向がある 24/49 結果 ②
26. 結果 1．分類結果 2．可視化 3．画像別の比較
27. メルスペクトログラム スペクトログラム メル周波数ケプストラム係数 （MFCC） Per-Channel Energy Normalization（PCEN） 画像別の比較では、メルスペクトログラムの 分類精度が1番高かった 26/49 結果 ③
28. 考察 1．感情認識に対するメルスペクトログラムの優位性 2．不均衡データへの対処 3．本研究の利点とリミテーション
29. 発声に問題を有する患者の32％がBSI18でうつ病、不安、身体的懸念に 関する厳格な症例基準を満たしていた 抑うつ症状が存在すると、過去 1 年間に発声の問題を報告する可能性が 約2 倍に増加 オッズ比：1.89、95% 信頼区間：1.21 - 2.96 Marmor, S., Horvath, K. J., Lim, K. O. & Misono, S. Voice problems and depression among adults in the United States. Laryngoscope 126, 1859–1864 (2016). Misono, S. et al. Psychosocial distress in patients presenting with voice concerns. J. Voice 28, 753–761 (2014). 精神障害と発声障害 74/88 考察 ②
30. 日本音響学学会 音響学入門ペディア (http://abcpedia.acoustics.jp/) 人間の耳が聞く周波数の感覚を模倣しているため、 メルスペクトログラムは人間の知覚に近い表現が可能 28/49 考察 ① Wang, Y. et al. Tacotron: Towards End-to-End Speech Synthesis. arXiv [cs.CL] (2017).
31. 音声データに含まれるノイズの多くは高周波数帯で発生する メルスペクトログラムは高周波数の分解能を低く保つため、音声信号の重要な 情報を保持しながら次元削減をすることができ、情報損失を最小限に抑えられる ノイズ メルスペクトログラムはノイズ耐性が高い 29/49 考察 ① Piczak, K. J. ESC: Dataset for Environmental Sound Classification. in Proceedings of the 23rd ACM international conference on Multimedia 1015–1018 (Association for Computing Machinery, 2015). doi:10.1145/2733373.2806390.
32. 音声以外の画像セットで事前学習したモデルであっても、 スペクトログラムの転移学習が可能 30/49 考察 ② Szep, J. & Hariri, S. Paralinguistic classification of mask wearing by image classifiers and fusion. in Interspeech 2020 (ISCA, 2020).
33. 考察 1．感情認識に対するメルスペクトログラムの優位性 2．不均衡データへの対処 3．本研究の利点とリミテーション
34. アンダーサンプリング オーバーサンプリング SMOTE 不均衡データの均衡戦略は二つに大別できる 32/49 考察 ②
35. 多数派データ 少数派データ Context-rich Minority Oversampling（CMO） Park, S., Hong, Y., Heo, B., Yun, S. & Choi, J. Y. The Majority Can Help The Minority: Context-rich Minority Oversampling for Long-tailed Classification. arXiv [cs.CV] (2021). 34/49 考察 ② Cutmix ＋ 少数派クラスのオーバーサンプリング ＋ 多数派クラスのアンダーサンプリング
36. majority class minority class 下記のような不均衡2値クラス分類問題を考える 35/49 考察 ② Wallace, B. C., Small, K., Brodley, C. E. & Trikalinos, T. A. Class Imbalance, Redux. in 2011 IEEE 11th International Conference on Data Mining (IEEE, 2011). doi:10.1109/icdm.2011.33.
37. majority class minority class 真の分類決定境界𝑤𝑤を推定したい 36/49 考察 ② Wallace, B. C., Small, K., Brodley, C. E. & Trikalinos, T. A. Class Imbalance, Redux. in 2011 IEEE 11th International Conference on Data Mining (IEEE, 2011). doi:10.1109/icdm.2011.33. 𝒘𝒘
38. majority class minority class 実際は多数派クラスを多く学習してしまうため、 予測された決定境界� 𝒘𝒘は少数派クラスに寄ってしまう 37/49 考察 ② Wallace, B. C., Small, K., Brodley, C. E. & Trikalinos, T. A. Class Imbalance, Redux. in 2011 IEEE 11th International Conference on Data Mining (IEEE, 2011). doi:10.1109/icdm.2011.33. 𝒘𝒘 � 𝒘𝒘 Bias
39. majority class minority class 予測された決定境界� 𝒘𝒘を、真の分類決定境界𝒘𝒘に 近づけたい 38/49 考察 ② Wallace, B. C., Small, K., Brodley, C. E. & Trikalinos, T. A. Class Imbalance, Redux. in 2011 IEEE 11th International Conference on Data Mining (IEEE, 2011). doi:10.1109/icdm.2011.33. 𝒘𝒘 � 𝒘𝒘
40. majority class minority class � 𝒘𝒘 𝒘𝒘 Bias 簡単のため、下記のような1次元空間を考える。 39/49 考察 ②
41. majority class minority class � 𝒘𝒘 𝒘𝒘 1回アンダーサンプリングを行うと、1つ決定境界を 引くことができる。 40/49 考察 ② � 𝒘𝒘𝟏𝟏
42. majority class minority class � 𝒘𝒘 𝒘𝒘 重複を許して何回もアンダーサンプリングする （Bootstrap ） 43/49 考察 ② � 𝒘𝒘𝒏𝒏 Bias↓ Variance↑
43. majority class minority class � 𝒘𝒘 𝒘𝒘 得られた決定境界をアンサンブルする （ Aggregating ） 44/49 考察 ② � 𝒘𝒘’ Variance↓
44. majority class minority class � 𝒘𝒘 𝒘𝒘 アンダーサンプリングされたデータセットから導かれた 分類境界� 𝒘𝒘𝒘は、バイアスが少なくなる 45/49 考察 ② � 𝒘𝒘’
45. ブートストラップ：Bias↓ 全体としては少数クラスのオーバーサンプリング 𝑞𝑞 𝑘𝑘 = ⁄ 1 𝑛𝑛𝑘𝑘 𝑟𝑟 ∑ 𝑘𝑘′=1 𝑐𝑐 ⁄ 1 𝑛𝑛𝑘𝑘′ 𝑟𝑟 前景画像において、多数派クラスはミニバッチ内で アンダーサンプリングされる。 46/49 考察 ②
46. 並行トレーニング アグリゲーティング: バリアンス↓ Prediction Model ミニバッチ学習によって、バギングのような効果が 得られる 47/49 考察 ②
47. Cutmixはそれ自体が正則化効果を持つ 前景と背景の異なる分布からサンプリングすることで、様々な情報を含める ことができる Cutmixはサンプルの役割を区別するため、画像のコンテキストやパッチの情報が 制限されることがない 「pの確率で前景データ」「(1-p)の確率で背景データ」 Mixupはサンプルの役割が区別されない →スペクトログラムと相性がいい？ Cutmix Mixup なぜCutmixではなくCMOなのか 48/49 考察 ② Park, S., Hong, Y., Heo, B., Yun, S. & Choi, J. Y. The Majority Can Help The Minority: Context-rich Minority Oversampling for Long-tailed Classification. arXiv [cs.CV] (2021).
48. 考察 1．感情認識に対するメルスペクトログラムの優位性 2．不均衡データへの対処 3．本研究の利点とリミテーション
49. 一般的なComputer Visionアーキテクチャを応用したモデル 今後出現する新しいCNNやViT、MLP-Mixerなどのモデルも応用できる。 音声波形以外の波形解析や画像にも応用できる 心電図、Non Stress Testの解析など 「画像の」フーリエ変換 本研究の利点 83/88 考察 ③
50. ResNextは精度は高いがモデルサイズも大きい Transformerは大規模なデータセットでは高精度だが、パラメータが多く過学習しやすいため、 小規模データセットだと精度確保が難しい →現在はモデルアーキテクチャも探索対象（EfficientNetやConvNextなど） 時系列性をモデルに入れていない バッチ作成時に時系列性の維持も試してみたが、むしろ精度が悪くなった タスクによっては、あまり時系列性は重要ではないかもしれない Dosovitskiy, A. et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. arXiv [cs.CV] (2020). Saeed, A., Grangier, D. & Zeghidour, N. Contrastive Learning of General-Purpose Audio Representations. arXiv [cs.SD] (2020). 本研究のリミテーション 87/88 考察 ④
51. 結論 音声という客観的な評価でも、主観的な評価と 同程度のスクリーニング精度が得られる可能性が 示された。
52. Reference
53. collect EPDS, Background data audio 対象者から見えない位置に 録音機を設置 Target Doctor PC
54. 2022年9月から2023年3月までに当施設で出産し1か月健診を受診した 妊産婦のうち、文書による同意が得られた方 データ不備がある方を除外し、最終的に111人がリクルートされた このうち妊娠中に何らかの精神疾患を有していた女性は15人（13.5％） 対象者のリクルート 7/48 方法 ①
55. Demucs (Deep Extractive Music Composition Source Separation) 、 Audition CC 2022(Ver.23.1) を用いて、ノイズ除去を行った 処理した111人の音声のうち62人（55.8％）が学習セット、 21人（18.9％）が検証セット、28人（25.2％）がテストセットに なるように、層別にランダム分割した データの分割 8/48 方法 ①
56. Demucsは音源分離に特化した深層学習ベースの モデル U-Net構造に基づくアーキテクチャ Bidirectional LSTM (Long Short-Term Memory) ： 音声の前後のコンテキストをLSTMで同時に考慮 するため、より良い音源分離性能を発揮する Demucs (Deep Extractive Music Composition Source Separation) ライブラリを用いて、環境音などの ノイズ除去を行った。 Rouard, S., Massa, F. & Défossez, A. Hybrid Transformers for Music Source Separation. arXiv [eess.AS] (2022). 19/88 方法 ② その後、Adobe社の音声ソフトAudition CC 2022(Ver.23.1) を用いて、残存ノイズ、 同伴者、インタビュアーなどの人物の音声信号を除去した。
57. 音声の教師なし学習などでは、同じオーディオクリップからサンプリングされた 音声セグメントは似た性質を持つと仮定できる Saeed, A., Grangier, D. & Zeghidour, N. Contrastive Learning of General-Purpose Audio Representations. arXiv [cs.SD] (2020). 各音声を5秒ごとに分割し、すべての音声セグメントに 対してShort-time Fourier transform(STFT) を行い、 メルスペクトログラムを作成した 22/88 方法 ② shift
58. 基本構造はResNetと同じようにベースとなるブロックを積み重ねていくが、 入力をいくつかに分岐させている点が異なる モデルアーキテクチャ： ImageNetで事前学習したResNextモデル Xie, S., Girshick, R., Dollár, P., Tu, Z. & He, K. Aggregated Residual Transformations for Deep Neural Networks. arXiv [cs.CV] (2016). 32/88 方法 ③
59. F L 𝑝𝑝t = −α 1 − 𝑝𝑝t 𝛾𝛾log(𝑝𝑝t ) 正しいクラスに対する信頼度が高まるにつれスケーリングファクターが0に減衰 学習中に簡単な例の寄与を自動的に減少させ、難しいサンプルにモデルを迅速に 集中させることができる →分類が困難なサンプルに集中して学習 損失関数：Focal loss Lin, T.-Y., Goyal, P., Girshick, R., He, K. & Dollar, P. Focal Loss for Dense Object Detection. IEEE Trans. Pattern Anal. Mach. Intell. 42, 318–327 (2020). 33/88 方法 ③
60. AdaBelief： 現在の勾配方向への信念に基づきステップサイズを調整するオプティマイザー 勾配が予測値と大きくずれていればstep sizeが小さくなるように、同じであれば step sizeが大きくなるように調整 オプティマイザー： AdaBelief＋Sharpness aware minimization Zhuang, J. et al. AdaBelief Optimizer: Adapting Stepsizes by the Belief in Observed Gradients. arXiv [cs.LG] (2020). 34/88 方法 ③
61. Sharpness aware minimization： 損失が最小かつその周辺が平坦なパラメータを目指す パラメータ周辺での最大の損失を求め、それが下がる方向でパラメータを更新 →汎化性能を向上 ① ② ③ オプティマイザー： AdaBelief＋Sharpness aware minimization Foret, P., Kleiner, A., Mobahi, H. & Neyshabur, B. Sharpness-Aware Minimization for Efficiently Improving Generalization. arXiv [cs.LG] (2020). 35/88 方法 ③
62. https://tech.preferred.jp/ja/blog/an-introduction-to-hyperparameter-optimization-with-optuna-ieice/ Batch size＝64 epochs = 50 lr = 0.0015 𝜷𝜷𝟏𝟏 = 0.90 γ = 2 α = 0.40 Optuna： Bayes最適化を用いたTree-structured Parzen Estimator (TPE) アルゴリズムと ランダムサーチを組み合わせたハイパーパラメータ最適化フレームワーク チューニング対象は学習率lr、AdaBeliefのβ1 、 Focal Lossのγとα ハイパーパラメータチューニング：Optuna Takuya A, Shotaro S, Toshihiko Y, Takeru O,and Masanori K. 2019. Optuna: A Next-generation Hyperparameter Optimization Framework. In KDD. 36/88 方法 ③
63. window length (256,512,1024) 3 channel ResNext 101_32x8d Normal Abnormal 転移学習 Fully Connected Layer (1280,2) データ拡張 Frequency masking Time masking Color jitter original Time masking + Frequency masking window length=256 1 channel window length=512 1 channel window length=1024 1 channel audio segments メルスペクトログラム作成 Context-rich Minority Oversampling Ensemble
64. accuracy = 𝑇𝑇𝑇𝑇 + 𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇 + 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 + 𝐹𝐹𝐹𝐹 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 = 𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 = 𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 𝐹𝐹1 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 = 2 ⋅ 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 ⋅ 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 + 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 FN TN TP FP TP：真陽性 TN：真陰性 FP：偽陽性 FN：偽陰性 真のラベル 予測ラベル 評価指標 40/88 結果 ①
65. 𝑇𝑇𝑇𝑇𝑇𝑇𝑇𝑇 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 𝑇𝑇𝑇𝑇𝑇𝑇 = 𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 𝐹𝐹𝐹𝐹𝐹𝐹𝐹𝐹𝐹𝐹 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 𝐹𝐹𝐹𝐹𝐹𝐹 = 𝐹𝐹𝐹𝐹 𝐹𝐹𝐹𝐹 + 𝑇𝑇𝑇𝑇 𝐺𝐺 − 𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚 = 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃・𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 FN TN TP FP TP：真陽性 TN：真陰性 FP：偽陽性 FN：偽陰性 真のラベル 予測ラベル 評価指標 41/88 結果 ①
66. ドイツ語、イタリア語、イギリス英語などの音声データの感情分析 Data augmentationは高さのシフト、ズーム、Horizontal Flip 音声感情分類タスクにおいて、メルスペクトログラムは MFCCよりも精度が高い。 78/88 考察 ② Dossou, B. F. P. & Gbenou, Y. K. S. FSER: Deep Convolutional Neural Networks for Speech Emotion Recognition. in Proceedings of the IEEE/CVF International Conference on Computer Vision 3533–3538 (openaccess.thecvf.com, 2021)
67. Sample A Sample B Sample X … Classifier A Classifier B Classifier X Ensemble Classifier バギング (ブートストラップ＋アグリゲーティング) Voting Original data Sample A Sample B Sample X … Classifier A Classifier B Classifier X Ensemble Classifier ブースティング Original data Sample A Sample B Sample X … Classifier A Classifier B Classifier X Ensemble Classifier スタッキング Training Original data … … … … … … アンサンブル学習： 個々に学習した複数モデルの統合 31/48 考察 ②
68. Sample A Sample B Sample X … Classifier A Classifier B Classifier X Ensemble Classifier バギング (ブートストラップ＋アグリゲーティング) Voting Original data Sample A Sample B Sample X … Classifier A Classifier B Classifier X Ensemble Classifier ブースティング Original data Sample A Sample B Sample X … Classifier A Classifier B Classifier X Ensemble Classifier スタッキング Training Original data … … … … … … アンサンブル学習： 個々に学習した複数モデルの統合 33/49 考察 ②
69. 多数派データ 少数派データ Context-rich Minority Oversampling（CMO） Park, S., Hong, Y., Heo, B., Yun, S. & Choi, J. Y. The Majority Can Help The Minority: Context-rich Minority Oversampling for Long-tailed Classification. arXiv [cs.CV] (2021). 55/88 考察 ①
70. 多数派データ 少数派データ Context-rich Minority Oversampling（CMO） Park, S., Hong, Y., Heo, B., Yun, S. & Choi, J. Y. The Majority Can Help The Minority: Context-rich Minority Oversampling for Long-tailed Classification. arXiv [cs.CV] (2021). 56/88 考察 ①
71. 考察 1．不均衡データへの対処 2．感情認識に対するメルスペクトログラムの優位性 3．本研究の利点 4．リミテーション
72. 妊産婦の音声でもある程度精神疾患の有無を判別しうることを示した 妊産婦の精神障害に対して音声による判別を試みた初の研究 日本人が主な対象 対象を拡大し同じモデルが使用できる可能性 いずれスマホなどを使用したアプリ開発などに応用したい 疾患有無の不均衡性をモデルの考慮に入れている 実際の臨床現場により即したモデル化 同様の不均衡性を考慮すべき疾患もモデル化できる 本研究の利点 82/88 考察 ③
73. 考察 1．不均衡データへの対処 2．感情認識に対するメルスペクトログラムの優位性 3．本研究の利点 4．リミテーション
74. Demucsライブラリを用いてノイズ除去を行った 高周波帯を注視していたことを考えると、ノイズ除去で一部の特徴を失った可能性は考慮すべき なるべくノイズが入らない環境での集音が望ましいが、診察室環境で対象者の自然な声を集音する ハードルが高い （音声の録音そのものが緊張を生み出す） 検出しているのは発声障害？ 可能性はあるが、教師ラベルに使用したのはすでに確定した精神疾患の有無 発声障害の有病率がそもそも稀 産後すぐに発生したマタニティーブルーなどは今回対象にしていない 本研究のリミテーション 85/88 考察 ④
75. 比較対象がEPDS 本来産後うつのスクリーニング指標であり、周産期における精神疾患全般のスクリーニングに 用いるものではない リクルートできた対象者数が少ない 数が増えることで精度の向上ができる可能性がある 本研究のリミテーション 86/88 考察 ④
76. メルスペクトログラム EPDS データオーグメンテーション： Time masking 、Frequency masking、 Time masking + Frequency masking、 Color jitter、CMO モデルアーキテクチャ：MobileNetV3 損失関数：Focal Loss オプティマイザー：AdaBelief＋SAM →エジンバラ産後うつ病評価尺度と ほぼ変わらない精度を維持
77. majority class minority class � 𝒘𝒘 𝒘𝒘 重複を許して何回もアンダーサンプリングする （Bootstrap ） 41/49 考察 ② � 𝒘𝒘𝟏𝟏 � 𝒘𝒘𝟐𝟐
78. majority class minority class � 𝒘𝒘 𝒘𝒘 重複を許して何回もアンダーサンプリングする （Bootstrap ） 42/49 考察 ② � 𝒘𝒘𝟏𝟏 � 𝒘𝒘𝟐𝟐 � 𝒘𝒘𝟑𝟑