G54_距離学習を用いた妊娠12-14週期の胎児心スクリーニング画像分類

2024年6月21日(金)・22日(土)に名古屋市公会堂で開催された第6回日本メディカルAI学会学術集会の発表資料です

Transcript

1. 日本超音波医学会第97回学術集会 奨励賞（産婦人科） 距離学習を用いた 妊娠12-14週期の 胎児心スクリーニング画像分類 Fetal Heart Screening Image Classification at 12-14 Weeks of Pregnancy Using Metric Learning 大羽 輝、牧 尉太 岡山大学病院産科婦人科学教室
2. 第6回日本メディカルAI学会学術集会 利益相反状態の開示 筆頭演者氏名：大羽 輝 所 属： 岡山大学病院産科婦人科学教室 私の今回の演題に関連して、開示すべき利益相反状態はありません。
3. 02 方法 使用データセット 損失関数 オプティマイザー 事前学習モデル その他の条件 01 序論 胎児心エコー画像分類と 機械学習 従来のラベルあり学習と 深層距離学習 本研究の目的 03 結果 結果① 結果② 結果③ 04 考察 オプティマイザーによる 影響 事前学習モデルによる 影響 推定されるメカニズム 05 結論
4. 02 方法 使用データセット 損失関数 オプティマイザー 事前学習モデル その他の条件 01 序論 胎児心エコー画像分類と 機械学習 従来のラベルあり学習と 深層距離学習 本研究の目的 03 結果 結果① 結果② 結果③ 04 考察 オプティマイザーによる 影響 事前学習モデルによる 影響 推定されるメカニズム 05 結論
5. 胎児心エコー画像分類と機械学習 5/33 胎児心エコーの診断手法は専門家の技術と経験に大きく依存しており、 診断の一貫性と効率に課題がある 診断の質は専門家の能力に大きく左右される 妊娠初期の心エコー診断は特に高度な技術が要求される 検査精度均質化のため、機械学習によるアプローチが提案されている McBrien A, Hornberger LK. Birth Defects Res [Internet]. 2019 May 1;111(8):370–9 Chen R, Tao X, Wu X, Sun L, Ma M, Zhao B. Int J Gynaecol Obstet [Internet]. 2023 Jan;160(1):136–44. Stoean C, Stoean R, Hotoleanu M, Iliescu D, Patru C, Nagy R. In: 2021 25th International Conference on System Theory, Control and Computing (ICSTCC) [Internet]. IEEE; 2021. p. 242–8. Zhang J, Xiao S, Zhu Y, Zhang Z, Cao H, Xie M, et al. J Am Soc Echocardiogr [Internet]. 2024 Jan 9;
6. 従来のラベルあり学習と深層距離学習 6/33 ラベルを用いた従来の機械学習は、ラベルの間違いに対して脆弱 現実のデータは研究用データほどきれいにラベル付けされていない リアルワールドにおける精度低下の原因の一つ Wang Y, Liu W, Ma X, Bailey J, Zha H, Song L, et al. In: 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition [Internet]. IEEE; 2018. p. 8688–96. Dahdouh S, Angelini ED, Grangé G, Bloch I. Med Image Anal [Internet]. 2015 Aug;24(1):255–68. Deng J, Guo J, Xue N, Zafeiriou SIn: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) [Internet]. IEEE; 2019. p. 4685–94. https://www.irasutoya.com/ Cat Orange
7. https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhq7-zu9hR7yTy0pWk8SCF-3-h1j- bUGVjE79pd4IzWIdqqBwKszs4x1tOplaL1BjrXv99h8bjfUsMMBa5JhOvq06IG8A7gT3yxIVogoHuUx41MSiF- bOvBH-QpNvVn-UNsyaRScHFWoPUR/s360/animal_dog_top.png 従来のラベルあり学習と深層距離学習 7/33 ラベルを直接学習に使用しない深層距離学習は、従来のラベルあり 学習アプローチの限界を克服する可能性がある 特徴の類似度（距離）に基づく 顔認識などで頑健な結果 Wang Y, Liu W, Ma X, Bailey J, Zha H, Song L, et al. In: 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition [Internet]. IEEE; 2018. p. 8688–96. Dahdouh S, Angelini ED, Grangé G, Bloch I. Med Image Anal [Internet]. 2015 Aug;24(1):255–68. Deng J, Guo J, Xue N, Zafeiriou SIn: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) [Internet]. IEEE; 2019. p. 4685–94. https://www.irasutoya.com/
8. 本研究の目的 8/33 P： ラベル間違いを含む、正常な妊娠初期の 胎児心臓超音波画像の自動分類において、 I ： 深層距離学習は、 C： 従来のラベルあり学習に比べて O： 高い分類精度を出せるのか
9. 02 方法 使用データセット 損失関数 オプティマイザー 事前学習モデル その他の条件 01 序論 胎児心エコー画像分類と 機械学習 従来のラベルあり学習と 深層距離学習 本研究の目的 03 結果 結果① 結果② 結果③ 04 考察 オプティマイザーによる 影響 事前学習モデルによる 影響 推定されるメカニズム 05 結論
10. 使用データセット 10/33 Stoean R, et al. Advances in Computational Intelligence. Springer International Publishing; 2021. p. 3–14. ルーマニア在住 12-14週の妊婦 326例 胎児心臓超音波 スキャン画像 6720枚 超音波検査士が 検査を実施 産婦人科専門医が ラベル付け 50：25：25に データセットを 分割 Learning deep architectures for the Interpretation of Fetal Echocardiography （LIFE）
11. 画像ラベル 11/33 Stoean R, et al. Advances in Computational Intelligence. Springer International Publishing; 2021. p. 3–14. Flows 4-chamber viewの 房室流 Aorta 左室流出路 X sign 右室流出路付近の 大血管交差 V sign 3VTVの大動脈弓と 動脈管の合流部 Others 左記以外の 雑多なビュー （特定ラベルなし） 一部にラベル ミスあり
12. データセット 12/33 妊娠初期の画像ゆえに、どちらのクラスにも属しそうな画像や 明らかにラベルミスと思われる画像が各セットに混在 テストセットのみ産婦人科専門医2名で再検討したデータを作成 (学習用、検証用はそのまま使用) Aorta? Others?
13. 学習フロー 13/33 従来のラベルあり学習 最適化器 (オプティマイザー) 特徴抽出器 (事前学習モデル) 損失関数 Cross entropy loss Focal lossなど 損失関数 深層距離学習 分類ヘッド Arcface lossなど 入力画像 正規化, データ拡張 （30度以内の回転, TrivialAugment） サンプリング 埋め込み表現
14. 従来のラベルあり学習 16/39 比較対象：Cross entropy loss, Focal loss 予測確度に基づく損失 予測確率が正解ラベルに近づく（確度が上がる）ほど損失が小さくなる ２つは従来よく使われている de Boer P-T, Kroese DP, Mannor S, Rubinstein RY. Ann Oper Res [Internet]. 2005 Feb 1;134(1):19–67. [12] Lin T-Y, Goyal P, Girshick R, He K, Dollar P. IEEE Trans Pattern Anal Mach Intell [Internet]. 2020 Feb;42(2):318–27. https://www.irasutoya.com/ Dog 90％ APPLE 60％
15. 深層距離学習：Arcface loss 15/33 Chopra S, Hadsell R, LeCun Y. In: 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05) [Internet]. IEEE; 2005. p. 539–46 vol. 1. Deng J, Guo J, Xue N, Zafeiriou S. In: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) [Internet]. IEEE; 2019. p. 4685–94. https://www.irasutoya.com/ コサイン類似度(角度距離)に基づく損失 同じクラスの特徴が近くに、別クラスの特徴が遠くになるほど損失が小さくなる
16. オプティマイザー 16/33 ベースオプティマイザー：Lion (EvoLved Sign Momentum) パラメータの符号（正か負か）に基づいて更新量を調整 調整すべきハイパーパラメータが少ない https://www.ruder.io/optimizing-gradient-descent/ https://www.kaggle.com/general/396367
17. 事前学習モデル 17/33 ベースモデル：ConvNextV2 ViTの特徴を取り入れたCNNモデル ＋ マスクオートエンコーダ He K, Chen X, Xie S, Li Y, Dollár P, Girshick R. arXiv [csCV] 2021 Nov 11; Available from: https://arxiv.org/abs/2111.06377 Woo S, Debnath S, Hu R, Chen X, Liu Z, Kweon IS, et al. In: 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) [Internet]. IEEE; 2023. p. 16133–42. マスクされた 画像 復元された 画像 元画像
18. マスクオートエンコーダ 18/33 途中まで完成したジグソーパズルのように、マスクされた部分を 推測できる特徴を周辺情報から学習する仕組み He K, Chen X, Xie S, Li Y, Dollár P, Girshick R. arXiv [csCV] 2021 Nov 11; Available from: https://arxiv.org/abs/2111.06377 Woo S, Debnath S, Hu R, Chen X, Liu Z, Kweon IS, et al. In: 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) [Internet]. IEEE; 2023. p. 16133–42. 吾輩 は である 猫 吾輩 は である マスクオートエンコーダー [MASK] マスクオートエンコーダー
19. 学習方法 19/33 ファインチューニング 様々な画像からなる大規模な画像セット（ImageNet）で画像の読み方を学習したモデル （事前学習モデル）に、超音波画像の特徴を追加で学習させる方法 事前学習 ConvNextV2
20. その他の条件 20/33 Chen X, Liang C, Huang D, Real E, Wang K, Liu Y, et al. arXiv [cs.LG]. 2023. Akiba T, Sano S, Yanase T, Ohta T, Koyama M. In: Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York, NY, USA: Association for Computing Machinery; 2019 . p. 2623–31. (KDD ’19). 学習セットをランダムに5組に分割 4組を組み換えながら学習し、その結果を平均 (層化5分割交差検証) 学習セットは各クラスから同数をランダムにサンプリング Optunaでハイパーパラメーターを最適化 10エポック / 1トライアルを各5トライアル Python version 3.8.16, PyTorch version 2.0.0, CUDA version 11.8
21. 評価指標 21/33 指標（macro） Accuracy （正解率） 全体の予測において正しく分類された割合 全体的な分類性能 F1 score （F1スコア） 各クラスの適合率と再現率の調和平均 ROC-AUC （ROC-エリア下面積） ROCの曲線下面積 G-mean （幾何平均） 感度と特異度の相乗平均 クラスがアンバランスなデータに おける分類性能 MCC （マシューズ相関係数） 予測結果と実際のクラスの相関係数
22. 02 方法 使用データセット 損失関数 最適化器 特徴抽出器 その他の条件 01 序論 胎児心エコー画像分類と 機械学習 従来の教師あり学習と 深層距離学習 本研究の目的 03 結果 結果① 結果② 結果③ 04 考察 オプティマイザーによる 影響 事前学習モデルによる 影響 推定されるメカニズム 05 結論
23. 結果① 23/33 Arcface loss Focal loss Cross entropy loss 深層距離学習が最も誤答が少なく、 きれいに分離した特徴が得られた
24. 結果② 24/33 元データセット Accuracy Macro F1 score Macro ROC-AUC Macro G-mean Macro MCC Arcface loss + ConvNextV2 + Lion 0.847 0.856 0.957 0.882 0.800 Focal loss + ConvNextV2 + Lion 0.701 0.722 0.887 0.705 0.612 Cross entropy loss + ConvNextV2 + Lion 0.793 0.814 0.948 0.763 0.762 全ての指標で深層距離学習を組み合わせた場合の精度が最も高い 再検討したデータセットで全ての指標が改善 再検討データセット Accuracy Macro F1 score Macro ROC-AUC Macro G-mean Macro MCC Arcface loss + ConvNextV2 + Lion 0.880 0.884 0.966 0.886 0.839 Focal loss + ConvNextV2 + Lion 0.712 0.724 0.901 0.703 0.623 Cross entropy loss + ConvNextV2 + Lion 0.801 0.802 0.965 0.773 0.734
25. 結果③ 25/33 Arcface lossはカラードップラー部分を より注視して分類している →各クラスの特徴を捉えられている Arcface loss Cross entropy loss Focal loss
26. 02 方法 使用データセット 損失関数 最適化器 特徴抽出器 その他の条件 01 序論 胎児心エコー画像分類と 機械学習 従来の教師あり学習と 深層距離学習 本研究の目的 03 結果 結果① 結果② 結果③ 04 考察 オプティマイザーによる 影響 事前学習モデルによる 影響 推定されるメカニズム 05 結論
27. 学習フロー 27/33 従来のラベルあり学習 最適化器 (オプティマイザー) 特徴抽出器 (事前学習モデル) 損失関数 Cross entropy loss Focal lossなど 損失関数 深層距離学習 分類ヘッド Arcface lossなど 入力画像 正規化,データ拡張 （回転, TrivialAugment）
28. オプティマイザーによる影響 28/33 Accuracy Macro F1 score Macro ROC-AUC G-mean MCC Arcface loss + ConvNextV2 + Lion 0.84 0.84 0.96 0.80 0.78 Focal loss + ConvNextV2 + Lion 0.70 0.72 0.89 0.71 0.61 Cross entropy loss + ConvNextV2 + Lion 0.79 0.81 0.95 0.76 0.76 Arcface loss+ ConvNextV2 + SGD 0.53 0.54 0.84 0.42 0.36 Focal loss+ ConvNextV2 + SGD 0.31 0.29 0.68 0.0 0.12 Cross entropy loss + ConvNextV2 + SGD 0.43 0.42 0.74 0.29 0.18 Arcface loss + ConvNextV2 + Adam 0.69 0.72 0.93 0.70 0.63 Focal loss + ConvNextV2 + Adam 0.53 0.53 0.75 0.51 0.38 Cross entropy loss + ConvNextV2 + Adam 0.57 0.57 0.83 0.51 0.42 オプティマイザーをStochastic Gradient Descent(SGD)、 Adaptive Moment Estimation(Adam)へ変更しても Arcface lossの精度が高い傾向 ↓ オプティマイザーの種類は影響しない Robbins H, Monro S. A Stochastic Approximation Method. Ann Math Stat [Internet]. 1951;22(3):400–7. Kingma DP, Ba J. Adam: A Method for Stochastic Optimization. arXiv [csLG] [Internet]. 2014 Dec 22
29. 事前学習モデルによる影響 29/33 Accuracy Macro F1 score Macro ROC-AUC G-mean MCC Arcface loss + ConvNextV2 + Lion 0.84 0.84 0.96 0.80 0.78 Focal loss + ConvNextV2 + Lion 0.70 0.72 0.89 0.71 0.61 Cross entropy loss + ConvNextV2 + Lion 0.79 0.81 0.95 0.76 0.76 Arcface loss+ EfficientNetV2 + Lion 0.34 0.19 0.66 0.0 0.31 Focal loss+ EfficientNetV2 + Lion 0.06 0.01 0.50 0.0 0.0 Cross entropy loss + EfficientNetV2 + Lion 0.53 0.41 0.80 0.0 0.30 Arcface loss + Swin Transformer + Lion 0.35 0.21 0.65 0.0 0.36 Focal loss + Swin Transformer + Lion 0.05 0.01 0.50 0.0 0.0 Cross entropy loss + Swin Transformer + Lion 0.70 0.69 0.87 0.43 0.63 Tan M, Le QV. arXiv [cs.CV]. 2021. Liu Z, Lin Y, Cao Y, Hu H, Wei Y, Zhang Z, et al. arXiv [cs.CV]. 2021. Available from: http://arxiv.org/abs/2103.14030 EfficientNetV2（マスクオートエンコーダのないCNN）、 Swin Transformer（マスクオートエンコーダのないViT ）へ モデルを変更すると、深層距離学習の精度が落ちる
30. 事前学習モデルによる影響 30/33 Accuracy Macro F1 score Macro ROC-AUC G-mean MCC Arcface loss + ConvNextV2 + Lion 0.84 0.84 0.96 0.80 0.78 Focal loss + ConvNextV2 + Lion 0.70 0.72 0.89 0.71 0.61 Cross entropy loss + ConvNextV2 + Lion 0.79 0.81 0.95 0.76 0.76 Arcface loss + ConvNextV1 + Lion 0.50 0.33 0.57 0.0 0.0 Focal loss + ConvNextV1 + Lion 0.05 0.01 0.50 0.0 -0.05 Cross entropy loss + ConvNextV1 + Lion 0.46 0.49 0.55 0.0 0.43 Arcface loss + BEiT + Lion 0.82 0.82 0.94 0.87 0.77 Focal loss + BEiT + Lion 0.06 0.01 0.50 0.0 -0.03 Cross entropy loss + BEiT + Lion 0.13 0.11 0.52 0.0 0.21 Tan M, Le QV. arXiv [cs.CV]. 2021. Liu Z, Lin Y, Cao Y, Hu H, Wei Y, Zhang Z, et al. arXiv [cs.CV]. 2021. Available from: http://arxiv.org/abs/2103.14030 ConvNext（マスクオートエンコーダのないCNN＋ViT）に 変更しても深層距離学習の精度は落ちる BEiT（マスクオートエンコーダを有するViT ）へ変更すると、 深層距離学習の精度が高いままとなる ↓ マスクオートエンコーダと深層距離学習の相性が良い
31. 推定されるメカニズム 31/33 ②深層距離学習でクラスの 画像特徴を近づけ、別クラスの 特徴を遠ざけるように最適化 ①マスクオートエンコーダで 入力画像を再構成できる 特徴を学習 マスクオート エンコーダ ③分類に有利な特徴を獲得 Huang Z, Jin X, Lu C, Hou Q, Cheng M-M, Fu D, et al. IEEE Trans Pattern Anal Mach Intell. 2024 Apr;46(4):2506–17.
32. 02 方法 使用データセット 損失関数 最適化器 特徴抽出器 その他の条件 01 序論 胎児心エコー画像分類と 機械学習 従来の教師あり学習と 深層距離学習 本研究の目的 03 結果 結果① 結果② 結果③ 04 考察 オプティマイザーによる 影響 事前学習モデルによる 影響 推定されるメカニズム 05 結論
33. 結論 39/39 深層距離学習は、ラベル間違いのある初期の胎児心臓超音波 画像分類において、分類精度が高く、効率の良い方法である マスクオートエンコーダの組み合わせが精度向上に有効