東大放射線科医用画像処理解析研究室

Naoto HAYASHI & Shouhei HANAOKA labo

Transcript

1. 東大病院放射線科 イメージラボ紹介 2022年度 花岡 昇平
2. イメージラボ (病院放射線科の下部組織)
3. メンバー • 林 直人 (MD, PhD) • 吉川 健啓 (MD, PhD) • 花岡 昇平 (MD, PhD, PhD) • 三木 総一郎 (MD, PhD) • 中尾 貴祐 (MD, PhD) • 竹永 智美 (PhD, RT) • 柴田 寿一 (PhD) • Alam Ashraful (PhD) • 秋山雅哉 • 菊地 智博 (MD, PhD) • 越野 沙織 (MD, PhD) • 中村 優太 (MD, PhD candidate) • 佐藤 大介 (MD, PhD candidate) • 藤田 翔平 (MD, PhD candidate) • 鈴木 雄介 (MD, PhD candidate) • 田中 雄也 (MD, PhD candidate) • 守田 裕一 (MD, PhD candidate) • 野村 行弘 (PhD, RT) @ 千葉大 • DGX-A100
4. 共同principal Investigator紹介 • 花岡 昇平、44歳、専 任講師 • 放射線科診断専門医、 博士（医学） • 元・東京農工大工学 部 清水昭伸研博士課 程、博士（工学） • 専門: 医用画像処理
5. パイプライン (1) Flow-based generative modelによる画像生成、画像変換、病変強調 医用画像AIプラットフォームCIRCUSの開発 プライバシー保護技術を応用した医用AI開発、運用 差分プライバシーによるセキュアな医用データベース 検診画像を用いた臓器からの画像特徴量抽出、未来予測 腹部各臓器(PETCT)、甲状腺 (PETCT) 脳(MRI、PETCT) 乳腺 (マンモグラフィ)
6. パイプライン (2) (教師なし~弱教師あり) 医用画像AIの作成 (教師あり) 医用画像AIの作成 自然言語処理(NLP)による読影レポートデータの解析 胸部PETCTにおける異常検知 (bayesian NN) 胸部単純写真、頭部CTにおける異常検知 (Glow) 肝EOB造影MRIにおけるレポート自動作成 架空人工画像のみを用いた胸単からの結節検出AI 要注意レポートの自動検出 レポートの自動要約、類似度判定
7. パイプライン (3) レジストレーションによる医用画像の汎用前回比較システム 時系列CT画像における乳腺結節検出
8. 各研究紹介
9. 胸部PETCTにおける異常検知 (bayesian NN) パイプライン (教師なし~弱教師あり) 医用画像AIの作成 (教師あり) 医用画像AIの作成 自然言語処理(NLP)による読影レポートデータの解析 胸部単純写真、頭部CTにおける異常検知 (Glow) 肝EOB造影MRIにおけるレポート自動作成 架空人工画像のみを用いた胸単からの結節検出AI 要注意レポートの自動検出 レポートの自動要約、類似度判定
10. JRS Game Arcade Spot Lung Nodules Better Than AI! Soichiro Miki 1 Shouhei Hanaoka 1 Yukihiro Nomura 2 Takahiro Nakao 3 Saori Koshino 3 Takeharu Yoshikawa 3 Naoto Hayashi 3 Osamu Abe 4 1 Department of Radiology, The University of Tokyo Hospital 2 Center for Frontier Medical Engineering, Chiba University 3 Department of Computational Diagnostic Radiology and Preventive Medicine, The University of Tokyo 4 Graduate School of Medicine, The University of Tokyo
11. LUPIN-AI • Developed at University of Tokyo Hospital • Trained only using virtually created X-ray images (thus, the training dataset is free from privacy concerns) LUPIN-AI Learned Using Purely Imaginary Nodules Here’s Our AI (= Your Rival)
12. LUPIN-AI Gallery: Fake Lesions with Different Interpolation Levels Normal Subtle Obvious
13. Home Screen
14. Conclusion We have developed a game to familiarize radiologists of how good current AI for CXR is today. https://jrs2022.vercel.app/ Try Now!👉
15. パイプライン Flow-based generative modelによる画像生成、画像変換、病変強調 医用画像AIプラットフォームCIRCUSの開発 プライバシー保護技術を応用した医用AI開発、運用 差分プライバシーによるセキュアな医用データベース 検診画像を用いた臓器からの画像特徴量抽出、未来予測 腹部各臓器(PETCT)、甲状腺 (PETCT) 脳(MRI、PETCT) 乳腺 (マンモグラフィ)
16. What is wrong? An X-ray image of non-existent human generated by our deep generative model
17. What is wrong? An X-ray image of non-existent human generated by our deep generative model
18. Types of deep generative models https://lilianweng.github.io/lil-log/2018/10/13/flow-based-deep-generative-models.html
19. Normalizing flow https://lilianweng.github.io/lil-log/2018/10/13/flow-based-deep-generative-models.html
20. Normalized flow-based generative model • A normalized flow-based generative model • can estimate probability density function (PDF) of the given datasets (e.g., human chest X-ray images) • can provide a latent vector expression of a given sample (e.g., an X-ray image) • is not a method for dimension reduction; the length of the latent vector is the same as the input vector (image) • can be used to interpolate two different images (and more) https://openai.com/blog/glow/
21. Chest X-ray images • Frequently used for screening of various lung / heart diseases • pneumonia, lung cancer, heart failure, etc… • Computer-assisted diagnosis of chest X- ray images has to handle a wide range of diseases
22. Emphasizing abnormalities in a given X-ray image • 1st step: Estimate the PDF of normal human chest X-ray images • 2nd step: Calculate the “normal sample” hyperplane • 3rd step: Calculate the latent vector expression of a given abnormal image • 4th step: Move the given abnormal image so that the point will go away from the original point – “abnormality emphasized image” “normal sample” hyperplane (in the latent vector space)
23. Emphasizing abnormalities in a given X-ray image given abnormal image “normal sample” hyperplane (in the latent vector space) • 1st step: Estimate the PDF of normal human chest X-ray images • 2nd step: Calculate the “normal sample” hyperplane • 3rd step: Calculate the latent vector expression of a given abnormal image • 4th step: Move the given abnormal image so that the point will go away from the original point – “abnormality emphasized image”
24. Emphasizing abnormalities in a given X-ray image “abnormality emphasized” image given abnormal image “normal sample” hyperplane (in the latent vector space) • 1st step: Estimate the PDF of normal human chest X-ray images • 2nd step: Calculate the “normal sample” hyperplane • 3rd step: Calculate the latent vector expression of a given abnormal image • 4th step: Move the given abnormal image so that the point will move away from the normal hyperplane – “abnormality emphasized” image
25. Result gallery
30. case 219 original
31. case 219 emphasized
32. case 75 original
33. case 75 emphasized
50. Conclusion • A novel method for emphasizing abnormalities in the given X-ray image is presented. • It can emphasize arbitrary types of abnormalities, thus we expect that it can be used in daily routine X-ray image diagnosis tasks.
51. パイプライン Flow-based generative modelによる画像生成、画像変換、病変強調 医用画像AIプラットフォームCIRCUSの開発 プライバシー保護技術を応用した医用AI開発、運用 差分プライバシーによるセキュアな医用データベース 検診画像を用いた臓器からの画像特徴量抽出、未来予測 腹部各臓器(PETCT)、甲状腺 (PETCT) 脳(MRI、PETCT) 乳腺 (マンモグラフィ)
52. A 15-years Serial Longitudinal Study of Brain Volume Changes in Normal Aging 目的 1: 時系列データを用いて加齢性による脳形態変化の特徴を記述する 目的 2: 時系列データを用いて脳萎縮の進行における生活習慣（X, Y, and Z）の影響を明らかにする Fotenos et al. JAMA Neurology 2008 Driscoll et al. Neurology 2009 McEvoy et al. Radiology 2011 既報は • Cross-sectional dataが主体 • Longitudinal dataといっても2-3点の計測がほとんど わかったようでわからないことがたくさんある • 加齢による萎縮進行に個人毎のパターンはあるのか？ • 萎縮は線形？加速度的？階段状？ • 特定の部位が先行して萎縮する？ 概要 Scahill et al. JAMA Neurology 2003 最大15年の時系列データを用いて解明する
53. A 15-years Serial Longitudinal Study of Brain Volume Changes in Normal Aging 概要
54. A 15-years Serial Longitudinal Study of Brain Volume Changes in Normal Aging 概要
55. パイプライン (2) (教師なし~弱教師あり) 医用画像AIの作成 (教師あり) 医用画像AIの作成 自然言語処理(NLP)による読影レポートデータの解析 胸部PETCTにおける異常検知 (bayesian NN) 胸部単純写真、頭部CTにおける異常検知 (Glow) 肝EOB造影MRIにおけるレポート自動作成 架空人工画像のみを用いた胸単からの結節検出AI 要注意レポートの自動検出 レポートの自動要約、類似度判定
56. ベイズ深層学習を用いた 胸部FDG-PET/CTにおける異常 検知 NAKAO Takahiro, HANAOKA Shouhei, NOMURA Yukihiro, HAYASHI Naoto, ABE Osamu The University of Tokyo Hospital
57. 本研究の目的 •本研究では、FDG-PET/CTの 教師なし異常検知CADについて検討する。 •つまり、正常PET/CT画像から 「生理的集積」について学び、生理的でない 集積を異常として検出する。 •手法として深層学習、 とくにベイズ深層学習*を用いる。 *Kendall, A. & Gal, Y. What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? in Advances in Neural Information Processing Systems 30 (eds. Guyon, I. et al.) 5574–5584 (Curran Associates, Inc., 2017).
58. 手法: 概要 (学習)
59. 手法: 概要 (検出)
60. 結果: 検出例 (1/3) 提案手法 (Z > 3) PET元画像
61. 結果: 検出例 (2/3) 提案手法 (Z > 3) PET元画像
62. 結果: 検出例 (3/3) 提案手法 PET元画像
63. 結果: 検出性能
64. 考察 •提案した(教師なし) 異常検知手法が、 PET/CTの異常集積を正しく検出できる ことを見た。 •異常検知による以下のようなメリット •正常画像さえあれば学習でき、 学習データセットの作成が容易 •さまざまな部位の異常を 同様に検出可能
65. パイプライン (2) (教師なし~弱教師あり) 医用画像AIの作成 (教師あり) 医用画像AIの作成 自然言語処理(NLP)による読影レポートデータの解析 胸部PETCTにおける異常検知 (bayesian NN) 胸部単純写真、頭部CTにおける異常検知 (Glow) 肝EOB造影MRIにおけるレポート自動作成 架空人工画像のみを用いた胸単からの結節検出AI 要注意レポートの自動検出 レポートの自動要約、類似度判定
66. • EOB-DTPA 造影MR画像で肝区域抽出 • 抽出法 • 術後を含む10症例でテストした結果: ②・③ の平均Dice係数 = 0.59 自動読影レポート生成を目指して ① Landmark(LM) basedな手法 -------------------------------------------------- ------ Doan Cong Leらの手法の修正版。 S1: axialに底面が平行な楕円柱 S2-8: 13のLMより決定した5平面で分 割 LM入力者: 竹永 ② Deep learning basedな手法 ------------------------------------------------- ------- ①の手法で決定した肝区域を正解とし FC-ResNetで肝区域を決定 使用症例: meta|HCCのあるEOB-MR 画像 (術後を含む) train: 40症例 validation: 10症例 ③ 放射線科医による手入力 --------------------------------------------------- ------ S1: voxel単位で手塗り S2-S8: 平面を構成する3点を入 力×5 入力者: 林先生の入力を花岡先生が確 認 test: 10 症例 ∟術後を含む10症例 ①の妥当性を示すために追加 領域 S1 S2 S3 Dice係数 0.43±0.18 0.56±0.24 0.52±0.27 領域 S4 S5 S6 Dice係数 0.51±0.26 0.67±0.20 0.64±0.11 領域 S7 S8 average Dice係数 0.74±0.13 0.66±0.15 0.59±0.22 GS: gold stand ard
67. • EOB-DTPA 造影MR画像で肝区域抽出 • 抽出法 • 術後を含む10症例でテストした結果: ②・③ の平均Dice係数 = 0.59 → 十分な結果なのか、正常に近い症例を追加し検討 * 正常に近い10症例 収集条件: 2021/04/01-2021/10/31 の初回EOB-MR検査 除外症例: レポート中に”RFA後”、“術後”、“切除後”などがある B型肝炎・C型肝炎 5 cm以上の病変があるもしくは、2個以上の多発症例 体動によるアーチファクト 撮像領域内に肝臓がすべて含まれていない アルブミン < 4.1 g/dL 血小板 < 15.8 万/μL 自動読影レポート生成を目指して ① Landmark(LM) basedな手法 -------------------------------------------------- ------ Doan Cong Leらの手法の修正版。 S1: axialに底面が平行な楕円柱 S2-8: 13のLMより決定した5平面で分 割 LM入力者: 竹永 ② Deep learning basedな手法 ------------------------------------------------- ------- ①の手法で決定した肝区域を正解とし FC-ResNetで肝区域を決定 使用症例: meta|HCCのあるEOB-MR 画像 (術後を含む) train: 40症例 validation: 10症例 ③ 放射線科医による手入力 --------------------------------------------------- ------ S1: voxel単位で手塗り S2-S8: 平面を構成する3点を入 力×5 入力者: 林先生の入力を花岡先生が確 認 test: 20 症例 ∟術後を含む10症例 ∟正常に近い10症例 *New ①の妥当性を示すために追加 GS: gold stand ard
68. * 正常に近い10症例 領域 S1 S2 S3 S4 S5 S6 S7 S8 average Dice係数 0.54±0.06 0.67±0.18 0.69±0.18 0.70±0.15 0.70±0.14 0.56±0.22 0.73±0.15 0.79±0.06 0.67±0.17 正常っぽいtest用10症例における ①LM basedな手法 vs. ③GS(手入力) 領域 S1 S2 S3 S4 S5 S6 S7 S8 average Dice係数 0.48±0.09 0.69±0.13 0.68±0.13 0.64±0.24 0.62±0.13 0.65±0.18 0.71±0.14 0.68±0.10 0.64±0.16 正常っぽいtest用10症例における ②FC-ResNet出力 vs. ③GS(手入力) 領域 S1 S2 S3 S4 S5 S6 S7 S8 average Dice係数 0.72±0.14 0.66±0.21 0.62±0.16 0.70±0.18 0.62±0.13 0.54±0.16 0.70±0.09 0.71±0.09 0.66±0.16 正常っぽいtest用10症例における ①LM basedな手法 vs. ②FC-ResNet出力
69. 領域 S1 S2 S3 S4 S5 S6 S7 S8 average±SD (1) ①LM vs. ③GS 0.522 0.520 0.529 0.865 0.854 0.862 0.906 0.855 0.739±0.168 (2) ②FC-ResNet vs. ③GS 0.559 0.732 0.825 0.811 0.736 0.687 0.784 0.765 0.737±0.079 (3) ②FC-ResNet vs. ①LM 0.693 0.703 0.667 0.869 0.829 0.759 0.836 0.869 0.778±0.077 axial coronal (1) LM▪ vs. GS▪ (2) FC-ResNet▪ vs. GS▪ (3) FC-ResNet▪ vs. LM▪ FC-ResNet出力と GSのDice係数の 平均が最も高かっ た症例 TP FP∧FN
70. 領域 S1 S2 S3 S4 S5 S6 S7 S8 average±SD (1) ①LM vs. ③GS 0.438 0.732 0.293 0.574 0.834 0.239 0.469 0.729 0.539±0.202 (2) ②FC-ResNet vs. ③GS 0.344 0.524 0.585 0.112 0.524 0.391 0.613 0.471 0.446±0.152 (3) ②FC-ResNet vs. ①LM 0.367 0.535 0.318 0.369 0.532 0.549 0.729 0.624 0.503±0.133 axial coronal (1) LM▪ vs. GS▪ (2) FC-ResNet▪ vs. GS▪ (3) FC-ResNet▪ vs. LM▪ FC-ResNet出力と GSのDice係数の 平均が最も低かっ た症例 TP FP∧FN
71. パイプライン (1) Flow-based generative modelによる画像生成、画像変換、病変強調 医用画像AIプラットフォームCIRCUSの開発 プライバシー保護技術を応用した医用AI開発、運用 差分プライバシーによるセキュアな医用データベース 検診画像を用いた臓器からの画像特徴量抽出、未来予測 腹部各臓器(PETCT)、甲状腺 (PETCT) 脳(MRI、PETCT) 乳腺 (マンモグラフィ)
72. 1.セキュアな医用AIの学習 （差分プライバシーで対応） （野村研で実施） 連合学習 差分プライバシー 臨床的有用性 ✓公開検証環境 ✓ 今回三木先生のJRS発表でも使っ た胸単結節データセットを使う ✓非同期学習 ✓半教師あり学習
73. 2.セキュアな医用AIの実臨床 （暗号化で対応）（塙Gと実施） MDX supercomputer Secure FS Intel SGX 病院・医院 暗号化 復号化 暗号化 復号化 医用AI
74. 3.セキュアな医用データベース （田浦Gと実施） • 医用画像と付帯情報のデータベースをセキュア化 • 医用画像と付帯情報の同時確率分布を学習 • 差分プライバシーを満たす情報のみ出力 • 平均画像 • サンプリング画像 • 疾患の特徴は保持される • 現在の成果(柴田先生、花岡): • Local differential privacyで画像を扱うためのDP-Glow技術 とその理論的バックグラウンドを整備
75. DP-Image (Liu+ 2021) • 局所差分プライバシーを画像に適用
76. 提案｜DP-GLOW • 局所差分プライバシー • フローベース深層生成モデル 正常例 左右反転例 ε=6.25×105 ε=3.125×105 元画像
77. 田浦Gとの協同 – 汎用医用画像 データベース with global DP 非公開 付帯 情報 [画像+付帯情報] データベース ク エ リ （ 平 均 画 像 ） ク エ リ （ ラ ン ダ ム サ ン プ リ ン グ ） 指定された付帯 情報(ex.疾患)を もつ症例の画像 を収集 ↓ Glow潜在ベクト ルの分布からラ ンダムサンプル 画像の Glow モデル 指定された付帯 情報(ex.疾患)を もつ症例の画像 を収集 ↓ Glow潜在表現 ベクトルの平均 を出力 Glow 逆 変 換 平均画像 サンプル 画像群 公開 公開 ラ プ ラ ス ノ イ ズ 付 加
78. パイプライン Flow-based generative modelによる画像生成、画像変換、病変強調 医用画像AIプラットフォームCIRCUSの開発 プライバシー保護技術を応用した医用AI開発、運用 差分プライバシーによるセキュアな医用データベース 検診画像を用いた臓器からの画像特徴量抽出、未来予測 腹部各臓器(PETCT)、甲状腺 (PETCT) 脳(MRI、PETCT) 乳腺 (マンモグラフィ)
79. 菊地 智博 18F-FDG-PET/CT を用いての甲状腺解析
80. • 甲状腺の機能異常とPETやCT所見について，以下のようなことが報告されています． • “CT値とTSH値異常が相関する” • “慢性甲状腺炎によってFDGのdiffuse uptakeが起こる” • 一方で，CT値の経時的な変化についての十分な検討はなく，また，diffuse uptakeのSUV値と慢性甲状腺炎の重症度が一致しない等の報告もあり，画像所見 と甲状腺機能の関係については未だにわかっていないことが多く存在します． 甲状腺と18F-FDG-PET/CT （Pandey V. J Comput Assist Tomogr. 2016;40:316–9.） （Kim YH. J Clin Med. 2019;8:443.）
81. Aims 18F-FDG-PET/CTを用いての甲状腺解析 • コンピュータ画像診断学/予防医学講座の持つ2006年～2017年の検診データ （18F-FDG-PET/CT含む）を用いて，画像所見と甲状腺機能についてより詳細な 検討を行います． • 特に，画像所見と甲状腺機能の関連について， • 画像情報のみから甲状腺機能異常を指摘する • 甲状腺の加齢による変化を明らかにする • SUVびまん性集積の臨床的意義についてより詳細な検討を行う • 画像情報と採血情報とを併せ，個人の甲状腺機能の予後予測を行う という視点で研究を進めています. • 研究には，多数のPET/CT画像から甲状腺領域を正確に抽出（segmentation） することが必要であり，機械学習を用いてこの課題を解決することで研究テーマの 実現に近づくと考えています．
82. 進行中 現在，“臨床データの基礎的な解析” から， 年齢と採血値の関連 横軸：年齢，縦軸：採血値（TSH:uIU/mL, fT4:ng/dL, fT3:pg/mL） “通常の採血項目”からFDG diffuse uptakeが予見できるか ： AUC = 0.8 3D-Unetを用いたSegmentationを進めています．
83. パイプライン Flow-based generative modelによる画像生成、画像変換、病変強調 医用画像AIプラットフォームCIRCUSの開発 プライバシー保護技術を応用した医用AI開発、運用 差分プライバシーによるセキュアな医用データベース 検診画像を用いた臓器からの画像特徴量抽出、未来予測 腹部各臓器(PETCT)、甲状腺 (PETCT) 脳(MRI、PETCT) 乳腺 (マンモグラフィ)
84. マンモグラフィのRadiomics 特徴量と臨床データとの相関について マンモグラフィ画像 乳房領域 乳腺領域 Radiomics 特徴量を抽出 臨床データ ・身体データ ・問診データ ・血液検査データ ・他の画像検査（CT, MRI, PET） 相関のあるデータを抽出 マンモグラフィ画像から臨床データを 予測できるように・・・ RQ. マンモグラフィに表現型として 現れる臨床データはあるか？ 内臓脂肪皮下脂肪比 (偶数症例で学習し奇数症例で予 測) 実 測 値 内臓脂肪皮下脂肪比 (偶数症例で学習し偶数症例で予 測) 実 測 値 予測値
85. マンモグラフィのRadiomics 特徴量と乳癌発症の関係 乳癌発症例の対側乳房 マンモグラフィ画像 Radiomics 特徴量を抽出 2群のRadiomics 特徴量で差異を評価する 乳癌非発症例の乳房 マンモグラフィ画像 RQ. マンモグラフィのRadiomics特徴量から乳がんのリスクは予測できるか？ マンモグラフィ画像に現れる表現型から乳がん発生の リスクを予測できるようになる
86. パイプライン (2) (教師なし~弱教師あり) 医用画像AIの作成 (教師あり) 医用画像AIの作成 自然言語処理(NLP)による読影レポートデータの解析 胸部PETCTにおける異常検知 (bayesian NN) 胸部単純写真、頭部CTにおける異常検知 (Glow) 肝EOB造影MRIにおけるレポート自動作成 架空人工画像のみを用いた胸単からの結節検出AI 要注意レポートの自動検出 レポートの自動要約、類似度判定
87. 「要注意」読影レポート自動要約 打撲箇所に骨折はありません。 打撲箇所に骨折はありません。 乳房結節あり，精査が必要です。 研究テーマ: 「要注意」読影レポート検出 東大病院では，放置すべきでない偶発所見をCTなどに認めた場合に 放射線科医が読影レポートに「要注意」フラグを付与する 打撲箇所に骨折はありません。 乳房結節あり，精査が必要です。 自然言語処理AI「BERT」を用いて， 「要注意」フラグが付いたCT読影レポートを自動検出，AUC 0.95 を達成
88. 「要注意」読影レポート自動要約 研究テーマ: 「要注意」読影レポート検出 直接的に「要注意」「要精査」などと 書かれていなくても検出可能 依頼状 (検査目的) も入力に含めると 性能が上昇 偶発所見の部分に高い注目度スコアを 割り当てられている Nakamura et al. BMC Med Inform Decis Mak 2021;21:262.