SSII2023 医療支援における画像処理研究の動向と展望

第29回画像センシングシンポジウム(SSII2023)
オーガナイズドセッション「OS2: 安全・安心のための実用CV技術」
において発表したスライド+α

Transcript

1. 医療支援における 画像処理研究の動向と展望 2023.6.15 小田 昌宏（名古屋大学） 1
2. 自己紹介 • 医用画像処理に関する研究に従事 CT像 セグメンテーション結果 セグメン テーション 所見推定 ：正常 ：異常陰影 COVID-19 画像所見 推定結果 COVID-19診断支援 眼科診断支援 大腸内視鏡ナビ 小田昌宏 准教授 名古屋大学 情報連携推進本部情報戦略室，大学院情報学研究科 大腸ポリープ診断支援 • 著書 標準 医用画像のための ディープラーニング－実践編－ 6,7,8章執筆 放射線治療AIと 外科治療AI Ⅲ．3章執筆 内視鏡画像AI 19章執筆 2
3. 医療支援における画像処理 • 医用画像から診断や治療に貢献する情報を抽出し提示 医用画像 患者 病変の位置，サイズ情報など 診断 治療 治療の円滑実施のための情報 医師への提示 画像処理による情報抽出 診断支援システム 手術支援システム ：正常領域 ：異常陰影領域 3
4. CT像を使った大腸診断支援システム[1] CT像 [1] M Oda, et al., Development of a Navigation-Based CAD System for Colon, MICCAI 2005, Part I, LNCS 3749, 2005 4
5. 大腸内視鏡の診断支援システム • EndoBRAIN-EYE（オリンパス） 5
6. 前眼部の診断支援 • 疾患の種類によって治療法が大きく異なり判別が必要 • 前眼部画像から疾患の種類を自動判別する手法開発[2] • 物体検出ベースの手法により約88%の分類精度達成 – 医師による分類より高い精度 感染性疾患例 非感染性疾患例 正常 [2] M Oda, et al., Automated eye disease classification method from anterior eye image using anatomical structure focused image classification technique, SPIE Medical Imaging, 11314, 2020 6
7. 手術支援システム Optical tracking system Laparoscope with reflective makers Navigation monitor Laparoscope monitor 7
8. 手術支援システム 8
9. 医用画像処理を用いた医療支援 • 画像処理技術の発展と共に医療支援手法の性能向上 – 深層学習ベースの手法が増加 – 研究開発と商用化が短期間化 • 診断支援システムの例 大腸内視鏡検査の支援システム EndoBRAIN-EYE（オリンパス）[3] [3] Olympus, https://www.olympus.co.jp/news/2020/nr01577.html CT像 セグメンテーション結果 セグメン テーション 所見推定 ：正常 ：異常陰影 COVID-19 画像所見 推定結果 COVID-19診断支援システム 9
10. なぜコンピュータによる医療支援が必要か • 医師の責任のもと診断と治療を実施 • 現在の医療の課題 – 医療の質の医師個人依存性 • 医療の経済・地域格差を誘発 – 医師の負担増加 • 高齢化による患者増加，業務の重労働化，訴訟リスク増加による医師不足[4] • 医用画像処理技術を活用した医療支援の導入による効果 – 医療の質の均てん化と医師の負担軽減を目指す 10 [4] 厚生労働省 必要医師数実態調査（2010年）, https://www.mhlw.go.jp/stf/seisakunitsuite/bunya/kenkou_iryou/iryou/hitsuyouishisuu/index.html
11. 医用画像処理の難しさ • 深層学習を使ったデータドリブンな手法が主流に • 難しさ – データ収集が困難 • データが多数の医療機関に散在 • 公開データセットは数々あるが メジャーな疾患， メジャーな画像種（モダリティ）， メジャーな術式のみ対象 – アノテーション付与に 専門知識や経験が必要 眼底画像[5] 血管領域の アノテーション[5] ? [5] STARE dataset, https://cecas.clemson.edu/~ahoover/stare/ 11
12. 医用画像の公開データセット • 公開データセットの問題 – 対象によってデータセットの 充実度に大きな差 – ほとんどが海外で作られ おり日本人の傾向と異なる 部分あり 画像種 データセット名 画像枚数 大腸内視鏡画像 SUN Colonoscopy Video Database[DS1] 画像158,690枚 Colonoscopy polyp detection and classification dataset[DS2] 画像37,899枚 LDPolypVideo[DS3] 動画160本 眼底画像 STARE[DS4] 画像20枚 DRIVE[DS5] 画像40枚 胸部X線画像 NIH Chest radiograph dataset[DS6] 画像112,120枚 腹部CT像 NIH Annotated pancreas CT data[DS6] 82ボリューム [DS1] http://amed8k.sundatabase.org/ [DS2] https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/FCBUOR [DS3] https://github.com/dashishi/LDPolypVideo-Benchmark [DS4] https://cecas.clemson.edu/~ahoover/stare/ [DS5] https://drive.grand-challenge.org/ [DS6] https://www.cc.nih.gov/drd/summers.html 12
13. 医用画像処理の難しさに取り組むアプローチ – 大量データ収集が困難 – アノテーション付与に 専門知識や経験が必要 • 医療ビッグデータクラウド基盤 • 不確実性解析により データ不足による AI判断のばらつきを明確化 • シミュレーションによる データ生成の利用 難しさ アプローチ 13
14. 国立情報学研究所（NII）医療ビッグデータ研究センター • 全国規模で収集される大量の医療画像データの受入・解析が可 能な 医療画像ビッグデータクラウド基盤 を整備するとともに 機械学習を用いた画像解析技術（＝AI画像解析技術）を開発 14 ◼ ネットワーク，セキュリティ，クラウ ド，画像解析技術を融合した安全・高 性能クラウド基盤を整備 ◼ 医療画像に関連の深い学術団体と密接 に連携しながら、全国規模で収集され た医療画像データを受入・解析 ◼ 学術団体の医療画像解析に対する ニーズを調査 ◼ 収集されたデータを用いた学習により AIプロトタイプを開発 ◼ AIプロトタイプの学術団体における 利用可能性について検証 クラウド基盤の整備 AI画像解析技術開発
15. NII医療ビッグデータ研究センターの研究体制 15 国立情報学研究所 ⚫ 医療ビッグデータ利活用を促進する クラウド基盤構築と整備 ⚫ AI画像解析戦略策定と技術検討 AI画像解析 日本病理学会 ※ 日本医学放射線学会 医療画像提供等 東京大学 名古屋大学 九州大学 奈良先端科学技術大学院大学 クラウド基盤整備・AI画像解析 ⚫ クラウド基盤へ画像提供 ⚫ AI画像解析研究連携 ⚫ 自然言語処理解析 ⚫ 研究連携 中京大学 日本心療内科学会 日本消化器内視鏡学会 日本皮膚科学会 日本眼科学会 日本超音波医学会 静岡大学 理化学研究所 東京農工大学 ⚫ AI画像解析研究連携 ⚫ 自然言語処理解析 名古屋工業大学 名城大学 岡山大学 ※病理学会は2022年度からタスクごとに医学系の代表機関が 中心になって研究を推進している。 山梨大学 大分大学 名古屋大学 東京農工大学 名古屋工業大学 名城大学 日本医学放射線学会 COVID-19肺炎の 解析チーム 国立情報学研究所 ⚫ 医療ビッグデータ利活用を促進する クラウド基盤構築と整備 ⚫ AI画像解析戦略策定と技術検討 センター長 森 健策（名大） 副センター長 原田 達也（東大） 合田 憲人（NII） 佐藤 真一 （NII）
16. NIIが構築した医療画像ビッグデータクラウド基盤 大量の医療画像データの収集・蓄積・解析 医療画像ビッグデータクラウド基盤 (NII MIDB) storage DB 画像 附帯 情報 医療画像 データ (匿名化) 画像解析研究者 (情報／医療) GPU 分野（学会）毎・対象疾患毎のデータ形式やファイル構 成の違いを吸収 研究者が統一的なインタフェースで医療画像データへ アクセスすることを実現 安全かつ高速なデータ収集 高速なDeep Learning 結果確認 画像検索 前処理 機械学習 （深層学習） 画像検索 前処理 機械学習 （深層学習） これまでの画像提供機関 日本医学放射線学会 日本消化器内視鏡学会 日本病理学会 日本眼科学会 日本皮膚科学会 日本超音波医学会 日本心療内科学会 2017年にSINETを活用した画像収集クラウド基盤を構築 様々な種類の医用画像を 4億枚以上蓄積 16
17. CT像からのCOVID-19診断支援AI • CT像からCOVID-19典型度に関する画像所見推定 • 新型疾患に対する医師の判断を支援 CT像 セグメンテーション結果 セグメンテーション FCN[cov1,cov2] 所見推定CNN [cov3-cov5] ：正常 ：異常陰影 COVID-19画像所見 推定結果 [cov1] M Oda, et al., Lung infection and normal region segmentation from CT volumes of COVID-19 cases, SPIE Medical Imaging, 2021 [cov2] M Oda, et al., COVID-19 Infection Segmentation from Chest CT Images Based on Scale Uncertainty, CLIP2021, LNCS 12969, pp.88-97, 2021 [cov3] M Oda, et al., Automated classification method of COVID-19 cases from chest CT volumes using 2D and 3D hybrid CNN for anisotropic volumes, SPIE Medical Imaging, 2022 [cov4] M Oda, et al., Classification of COVID-19 cases from chest CT volumes using hybrid model of 3D CNN and 3D MLP-mixer, SPIE Medical Imaging, 2023 [cov5] R Toda, et al., Improved method for COVID-19 classification of complex-architecture CNN from chest CT volumes using orthogonal ensemble networks, SPIE Medical Imaging, 2023 約85%の分類精度達成 17
18. COVID-19診断支援AI開発のタイムライン • 2017年11月 医療ビッグデータ研究センター設置 • 2019年11月頃 COVID-19発生 • 2020年4月 クラウド基盤でCOVID-19症例受信 • 2020年6月 COVID-19診断支援AIプロトタイプ完成 • 2020年9月 COVID-19診断支援AIプレスリリース • 2021年7月 COVID-19サーベイランスプロトタイプ実現・稼働開始 • 2022年11月 サーベイランスシステム プレスリリース NHK東海，2020年10月5日 日経新聞朝刊，2020年10月5日 中日新聞朝刊，2020年9月29日 18
19. COVID-19サーベイランス[6] • クラウド基盤とAIを用いた感染動向サーベイランス – クラウド基盤に蓄積されたCT像を解析し日々の感染動向を集計 – 過去から現在までデータに基づく解析が可能 • 将来の未知の新興感染症発生においても 本枠組みの知見を活用可能 [6] COVID-19肺炎CT画像によるサーベイランスシステムを開発, NII, https://www.nii.ac.jp/news/release/2022/1101.html 19
20. 医用画像処理の難しさに取り組むアプローチ – 大量データ収集が困難 – アノテーション付与に 専門知識や経験が必要 • 医療ビッグデータクラウド基盤 • 不確実性解析により データ不足による AI判断のばらつきを明確化 • シミュレーションによる データ生成の利用 難しさ アプローチ 20
21. 信頼されるAIを実現するための要素 • 医療応用では信頼性が重要 • 説明可能AI（Explainable AI） – AIの判断理由を人が理解可能とする – Grad-CAM，LIMEなど • 不確実性（Uncertainty）解析 – AIによる判断の確実／不確実さを明確化 • 学習不十分なパターン出現などによる AIの判断の揺らぎを示す – AIの「判断に自信がない」ケースが分かる X線画像分類モデルの判断に貢献する 領域のGrad-CAM可視化[7] [7] S Rajaraman, et al. Iteratively Pruned Deep Learning Ensembles for COVID-19 Detection in Chest X-rays. IEEE Access, 8, 115041-115050, 2020 臓器領域セグメンテーションでの 不確実性マップ 不確実性が高い領域 21
22. 不確実性解析の利用 • 不確実性マップ – 特殊な形の臓器がありAIが迷った領域を ヒートマップの形で可視化 • AIが分からないとき医師に任せる などが可能 胃領域セグメンテーションでの結果[8] 不確実性マップ 正解領域 セグメンテーション結果 不確実性高 → 十分学習していない 形状パターンが出現 セグメンテーション結果 ？ [8] Z Zheng, et al., Taking full advantage of uncertainty estimation: an uncertainty-assisted two-stage pipeline for multi-organ segmentation, SPIE Medical Imaging, 2022 22
23. 医用画像処理の難しさに取り組むアプローチ – 大量データ収集が困難 – アノテーション付与に 専門知識や経験が必要 • 医療ビッグデータクラウド基盤 • 不確実性解析により データ不足による AI判断のばらつきを明確化 • シミュレーションによる データ生成の利用 難しさ アプローチ 23
24. 医用画像のデータ生成 • 医用画像データセットが含むバリエーション – 患者個人差や疾患の進行度など 多様なバリエーションが存在 • 画像生成AI – VAE，GAN，diffusion modelなど – 医用画像データセットに必要な バリエーションを十分作り出せない • 人体の解剖構造や疾患の性質を考慮した シミュレーションによるデータ生成が必要 臓器位置・形状 個人差 年齢差 疾患の種類 疾患の進行度 臓器アピアランス カメラ動き 24
25. Sim-to-Real：シミュレーションを利用したAI構築 • 基本的な考え方 – 実データ収集が高コストまたは時間を要するとき利用 – AI構築にシミュレータ生成データ＋実データを使用 • 膨大な生成データでAI学習→少数の実データでAIをfine tuning • ロボット制御AI開発などで利用 • 生体に関するシミュレーションは 難しいが，近年新たな手法が登場 J. Tan, et al, Sim-to-Real: Learning Agile Locomotion For Quadruped Robots. RSS 2018. 25
26. Sim-to-Realに利用可能な仮想人体モデル • 4D eXtended CArdiac-Torso (XCAT)ファントム[9] – 年齢，性別，体格，臓器構造，動きなどのバリエーションを含む 仮想人体モデル – モデルから仮想的な医用画像を生成可能 XCATファントム（仮想人体モデル）[9] 実CT像とモデルから生成した仮想CT像 [9] [9] WP Segars, et al. Application of the 4D XCAT Phantoms in Biomedical Imaging and Beyond. IEEE Trans Med Imag, 37(3), 680-692, 2017 26
27. 医用画像処理におけるSim-to-Real • 眼底のOCT angiography画像からの血管セグメンテーション[10] – アノテーション付きデータは少数 – 生体内での血管発生を考慮した血管生成シミュレータ構築 – 生成データ＋実データを用いて 高精度セグメンテーションモデル構築 3D血管発生シミュレーション シミュレーションに基づくOCTA生成画像 [10] MJ Menten, et al. Physiology-based simulation of the retinal vasculature enables annotation-free segmentation of OCT angiographs. MICCAI, 13438, 330-340, 2022 セグメンテーション結果 27
28. むすび • 医療支援における医用画像処理の活用 • 医用画像処理の難しさ – 大量データ収集，アノテーション付与が困難 • 難しさを解決するアプローチ – 医療ビッグデータクラウド基盤の構築 – 不確実性解析によりデータ不足によるAI判断ばらつきを明確化 – シミュレーションによるデータ生成の利用 • 限られたデータを活用して 信頼できる医療支援AIの構築を目指す 28