AI×医用画像の現状と可能性_2022年版/AI×medical_imaging_in_japan_2022

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 20221228 @tdys13 このまとめは轟が2018年から毎年年末*1 に趣味*2 でまとめているスライドの第6弾です。年末公開のスライドは5年⽬に突⼊し、2022年は多くの場⾯でフェーズが変わったと感じた年でもありました。引き続き市場や環境が整備され、進展することを願いつつ、定点観測として今年の動きをご紹介出来たらと思います説明などに⾄らぬ点もあるかと思いますが、その際は⾃⾝も勉強させていただきますのでご鞭撻の程、何卒よろしくお願いします 2022 1228 轟佳⼤ 2 *1:2020年のみ上半期/下半期があります。 *2:販売⽬的を伴う製品紹介は⼀切⾏っていません。趣味でプレスリリースから情報をまとめております。

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 20221228 @tdys13 -所属- p ヘルスケア企業(2022年6⽉より現職) - 医療領域のAIリサーチャー p 東京⼤学附属病院バイオデザイン部⾨ - 外部研究員 -好きなもの- p ヘルスケアや最新技術の情報収集 p ワイン、アイス、サッカー、ボードゲーム、⿇雀、料理 -その他- p 講演活動や趣味でリサーチした情報をまとめたりしてます。 p 連絡先 [email protected]またはツイッターDM 5 轟佳⼤ (ﾄﾄﾞﾛｷﾖｼﾋﾛ) ：@Tdys13

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 20221228 @tdys13 9 中でも機械学習技術の⼀⼿法である『深層学習技術』は⼈⼯知能の根幹技術である⼈⼯知能とは？引⽤：・NVIDIA ブログ⼈⼯知能、機械学習、ディープラーニングの違いとは https://blogs.nvidia.co.jp/2016/08/09/ whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© 20221228 @tdys13 16 深層学習モデル対照学習(※self supervised learningの⼀種) ラベルなしデータから独⾃のラベルを⽣成し学習させる学習⽅法とは？(ex :画像分類タスク) ペア①は似てるペア②は似てない →ペア②の負例は類似度を下げよう対照学習＝ラベルなしデータからアンカー画像を選択し、アンカー画像と近しい画像(正例)とアンカー画像と異なる画像(負例)の類似度を学習/分類をするアンカーアンカー正例負例ペア① ペア②

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

© 20221228 @tdys13 27 ⽇常で使われ始めたAI技術・画像⽣成 Stable DiffusionやMidJourneyなど・⾔語対話 OpenAI社のChatGPT 国境の⻑いトンネルを抜けるとそこは雪国だった The cat taking a bath テキストを⼊⼒し、画像を⽣成するAIが⼤流⾏した。それに伴う著作権等の考え⽅も再確認された。テキストを⼊⼒するとそれに合う返答を返してくれるAI。コーディング等の質問も返してくれるが、専⾨的な質問はまだまだ発展の余地あり。引⽤・MidJourney https://midjourney.com/home/?callbackUrl=%2Fapp%2F ・Stable Diffusion Online https://stablediffusionweb.com/ 引⽤・OpenAI.inc ChatGPT https://openai.com/blog/chatgpt/

Slide 28

Slide 28 text

© 20221228 @tdys13 28 ⽇常で使われ始めたAI技術・⾃動⽂字起こし OpenAI社のWhisper ・セキュリティクレジットカードの不正利⽤検知多くの⾔語の会話を⾃動的に認識し、⽂字起こししてくれるAI。⽇本語も対応。 ECサイトやクレカ会社等、様々な企業が不正利⽤検知AIを開発・導⼊している。引⽤・Whisper https://openai.com/blog/whisper/ 引⽤ SBペイメントサービス株式会社 https://www.sbpayment.jp/solution/security/ai_fraud_detection/ セカンドサイトアナリティカ株式会社 https://www.sxi.co.jp/aiproduct/red/husei

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

© 20221228 @tdys13 34 個⼈的に考えた2022年の深層学習×医⽤画像処理の研究トレンド • Domain Generalization研究の新提案 - 学習時/推論時で異なるベンダーで撮像された画像データに対応 - 学習時/推論時で異なるモダリティに対応① - 学習時/推論時で異なるモダリティに対応② • 連合学習の新提案 - 各クライアントデータにローカルキャリブレートをした学習⼿法提案 - 未アノテーションデータに対する連合対照学習 • マルチモーダルデータの利⽤ - 医⽤画像と遺伝⼦データの意味対応を利⽤した対照学習 • 画像処理×⾃然⾔語処理技術を⽤いた表現学習 - 診断レポートからより効率的に画像の表現を学習 - 放射画像と診断レポートの意味対応を利⽤した表現学習

Slide 35

Slide 35 text

© 20221228 @tdys13 35 個⼈的に考えた2022年の深層学習×医⽤画像処理の研究トレンド • 他領域で流⾏した技術を医⽤画像の課題に応⽤ - テキストプロンプトからの医⽤画像⽣成研究① - テキストプロンプトからの医⽤画像⽣成研究② - NeRF技術を応⽤した画像3D再構成 • 今後医療領域へ転⽤が期待される技術 - Embodied AI技術 - Privacy対策 • オープンデータセットやコンペティションの動向 - 今年も多くの医⽤画像オープンデータセットが公表された - 今年も多くの医⽤画像コンペティションが開催された

Slide 36

Slide 36 text

© 20221228 @tdys13 36 Domain generalization研究の新提案・論⽂引⽤ Chen, Yujui, Tse-Wei Lin, and Chiou-Ting Hsu. "Source-Guided Adversarial Learning and Data Augmentation for Domain Generalization." SN Computer Science 1.6 (2020): 1-12. Zhou, Kaiyang, et al. "Domain generalization: A survey." IEEE Transactions on Pattern Analysis and Machine Intelligence (2022). ü そもそもDomain Generalizationとは学習に利⽤ Source domains 推論に利⽤ Target domains 『学習時/推論時のデータ傾向が異なることで推論精度が劣ってしまう問題』に対して未知データにも最低限対応できるように汎化性能を上げる⼿法 Sketch画⾵の画像は学習に使⽤されていないこれらにも対応するには？？

Slide 37

Slide 37 text

© 20221228 @tdys13 37 Domain generalization研究の新提案学習時と推論時でベンダーが異なるMRIに対して汎化性能を劣化させずに対応させる研究。結論：ベンダー間の違いに対しても頑健性が⾼いモデルを提案し、他の研究より⾼いセグメンテーション精度を実現した。 *1:M&Ms dataset https://www.ub.edu/mnms/ ・論⽂引⽤ Yao, Huifeng, Xiaowei Hu, and Xiaomeng Li. "Enhancing Pseudo Label Quality for Semi-Supervised Domain-Generalized Medical Image Segmentation." arXiv preprint arXiv:2201.08657 (2022). 国際学会 AAAI2022 採択 ü 学習時/推論時で異なるベンダーで撮像された画像データに対応実験例 6クリニックで撮像された 4種類のMRI(Siemens製, Philips製, GE製, Canon製)*1を使⽤

Slide 38

Slide 38 text

© 20221228 @tdys13 38 Domain generalization研究の新提案 *1:M&Ms dataset https://www.ub.edu/mnms/ ・論⽂引⽤ Yao, Huifeng, Xiaowei Hu, and Xiaomeng Li. "Enhancing Pseudo Label Quality for Semi-Supervised Domain-Generalized Medical Image Segmentation." arXiv preprint arXiv:2201.08657 (2022). ü 学習時/推論時で異なるベンダーで撮像された画像データに対応【概要】半教師ありセグメンテーション研究 (学習データと推論データが明らかに異なると判明しているケース) 【データ】メーカーごとに撮像されたMRI画像 →A- Siemens製, B-Philips製, C-GE製, D-Canon製学習に3種(ex : B,C,D)、推論に1種(ex : A)を使⽤【提案技術】 ①未知画像へ対応するためデータ⽔増しのFDA(⻘部)と ②Pseudo Labelの質向上のため Confidence-Aware Cross Pseudo Supervision(緑部)の応⽤

Slide 39

Slide 39 text

© 20221228 @tdys13 39 Domain generalization研究の新提案・論⽂引⽤ Yao, Huifeng, Xiaowei Hu, and Xiaomeng Li. "Enhancing Pseudo Label Quality for Semi-Supervised Domain-Generalized Medical Image Segmentation." arXiv preprint arXiv:2201.08657 (2022). ü 学習時/推論時で異なるベンダーで撮像された画像データに対応 ①未知画像へ対応するためデータ⽔増しのFDA(⻘部) X:学習画像 / X!:補強画像 / 𝜆:位相情報より⽣成したパラメータ 1. SourceDomainよりランダムに選択したX及びX!画像に対してFDA適⽤ 2. FDA適⽤したX及びX!画像と𝜆を⽤いて掛け合わせ 3. X画像より⽣成されたPhase画像と2で⽣成された画像を逆フーリエ変換・論⽂引⽤ Issar, Arnesh Kumar, et al. ”[RE] FDA: Fourier Domain Adaptation for Semantic Segmentation." (2021).

Slide 40

Slide 40 text

© 20221228 @tdys13 40 Domain generalization研究の新提案・論⽂引⽤ Yao, Huifeng, Xiaowei Hu, and Xiaomeng Li. "Enhancing Pseudo Label Quality for Semi-Supervised Domain-Generalized Medical Image Segmentation." arXiv preprint arXiv:2201.08657 (2022). ü 学習時/推論時で異なるベンダーで撮像された画像データに対応 ②Pseudo Labelの質向上のための Confidence-Aware Cross Pseudo Supervision(緑部)の応⽤ ※Cross Pseudo Supervisionを応⽤した技術(下段) ⼊⼒画像：①より⽣成されたFDA適⽤画像(Z)、⼊⼒画像(X) f θ" , f θ# ：初期値が異なる同⼀モデル DeepLab3+(ResNet50) / 事前学習:ImageNet 1. 2種類の⼊⼒画像を⽤いて2種類のモデル学習 2. 各⼊⼒画像から出⼒された各予測画像を合算(𝑃$ #, 𝑃$ %部) 3. 各予測画像の分散をKL-ダイバージェンスより算出(𝑉#, 𝑉% 部) 4. 2と3の結果をかけ合わせ、もう⽚⽅のラベルとして利⽤(𝑌#, 𝑌% 部) 国際学会 CVPR2021 採択左で提⽰する研究の概要 2種類のモデルを⽤いて、⽚⽅の学習結果をもう⽚⽅の疑似ラベルとして利⽤する研究・論⽂引⽤ Chen, Xiaokang, et al. "Semi-supervised semantic segmentation with cross pseudo supervision." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

Slide 41

Slide 41 text

© 20221228 @tdys13 41 Domain generalization研究の新提案新提案の画像変換⼿法を⽤いて学習時/推論時でモダリティが異なる画像でも頑健に読影⽀援できることを⽬指した研究。結論：「ベジェ曲線を⽤いた画像変換」と「推論時の特徴量選択」により、モダリティ差に頑健性が⾼いモデルを提案した。・論⽂引⽤ Zhou, Ziqi, et al. "Generalizable Cross-modality Medical Image Segmentation via Style Augmentation and Dual Normalization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. 国際学会 CVPR2022 採択 ü 学習時/推論時で異なるモダリティに対応① 実験例学習-MRI T2画像推論-MRI Flair画像, T1画像 , T1強調画像

Slide 42

Slide 42 text

© 20221228 @tdys13 42 Domain generalization研究の新提案・論⽂引⽤ Zhou, Ziqi, et al. "Generalizable Cross-modality Medical Image Segmentation via Style Augmentation and Dual Normalization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. ü 学習時/推論時で異なるモダリティに対応① 【概要】教師ありセグメンテーション研究 (学習データと推論データが異なると推測されるケース) 【データ】 BraTS image datasets等 →学習に頭部MRI T2画像、推論に頭部MRI Flair画像, T1画像 , T1強調画像【提案技術】 ①Style Augmentation Module ベジェ曲線を応⽤した画像変換を⾏う。(左下画像) ②Dual-Normalization based Network 2種類の異なるBatchNormalizationを組み込んだ同⼀モデル(UNet)にて学習。 ③推論画像に対して学習時と最も近い統計特徴量を選択し汎化性能を劣化させずに推論する。左から 1枚⽬:元画像、2~7枚⽬:ベジェ曲線の変化を⽤いて変換した画像 UNet

Slide 43

Slide 43 text

© 20221228 @tdys13 43 Domain generalization研究の新提案 Adversarial Trainを⽤いた学習時/推論時でモダリティが異なる画像でも頑健に読影⽀援できることを⽬指した研究。結論：新提案であるAdversarial Domain Synthesizerを⽤いて、撮像⼿法が異なる画像に対するドメイン汎化を実現した。・論⽂引⽤ Xu, Yanwu, et al. "Adversarial Consistency for Single Domain Generalization in Medical Image Segmentation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2022. 国際学会 MICCAI2022 採択 ü 学習時/推論時で異なるモダリティに対応② 実験例学習-⼼臓bSSFP撮像法推論-⼼臓LGE(遅延造影)撮像法

Slide 44

Slide 44 text

© 20221228 @tdys13 44 Domain generalization研究の新提案 *1:Multi-Atlas Labeling Beyond the Cranial Vault - Workshop and Challenge https://www.synapse.org/#!Synapse:syn3193805/wiki/89480 *2:CHAOS Challenge https://www.sciencedirect.com/science/article/abs/pii/S1361841520303145 *3:MS-CMRSeg 2019 http://www.sdspeople.fudan.edu.cn/zhuangxiahai/0/mscmrseg/ *4 A Multi-site Dataset for Prostate MRI Segmentation https://liuquande.github.io/SAML/ ü 学習時/推論時で異なるモダリティに対応② 【概要】教師ありセグメンテーション研究 (学習データと推論データが異なると推測されるケース) 【データ】 Abdominal CT-MRI*1,2 / Cardiac bSSFP-LGE*3 / Prostate Cross-Centers*4 【提案技術】 ① 2種類のAdversarial Domain Synthesizerに対して⼊⼒画像𝑋とランダムノイズ𝑍を⽤いて⽣成を実施。 (⾚部/⻘部) ② ①により出⼒された画像 . 𝑋と⼊⼒画像𝑋を⽤いて相関を最⼤化させ、モデルの更新に使⽤。 (⻩⾊部) ③ 各UNetに出⼒画像 . 𝑋を⼊⼒、セグメンテーションし、各モデルの予測値をKL-ダイバージェンスを⽤いて合算。・論⽂引⽤ Xu, Yanwu, et al. "Adversarial Consistency for Single Domain Generalization in Medical Image Segmentation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2022. 提案⼿法の詳細 (a) 全体の流れ (b) Adversarial Domain Synthesizerの詳細

Slide 45

Slide 45 text

© 20221228 @tdys13 45 連合学習研究の新提案・論⽂引⽤ Rauniyar, Ashish, et al. "Federated Learning for Medical Applications: A Taxonomy, Current Trends, Challenges, and Future Research Directions." arXiv preprint arXiv:2208.03392 (2022). ü そもそも連合学習とはおおまかな流れ ① ⼤元のサーバーにて学習されたモデルパラメータを各クライアントへ配布 ② モデルパラメータをクライアントのローカルデータを⽤いてモデルアップデート ③ アップデートされたモデルパラメータの更新差分を⼤元のサーバーへ戻す ④ 各クライアントにてアップデートされたモデルパラメータを統合して①に戻る良い点・院内データ等を病院外へ持ち出す必要がない。・パラメータの差分のみを病院外へ出すため、個⼈情報等の対応が要らなくなる懸念点・クライアント間(各医療機関)の保有するデータの不均衡性にどう対応するか・同⼀患者が複数医療機関を受診している場合、統合が難しい

Slide 46

Slide 46 text

© 20221228 @tdys13 46 連合学習研究の新提案各クライアント(以下C)で若⼲異なるデータ特徴を利⽤してローカルC*1 の特徴量とリモートC*2 の予測結果を合わせて、ローカルCにてキャリブレーションする連合学習⼿法の提案。結論：クライアント間のデータ不均衡を応⽤し、注⽬ポイントとすることで精度向上を実現した。・論⽂引⽤ Wang, Jiacheng, Yueming Jin, and Liansheng Wang. "Personalizing Federated Medical Image Segmentation via Local Calibration." European Conference on Computer Vision. Springer, Cham, 2022. 国際学会 ECCV2022 採択 ü 各クライアントデータにローカルキャリブレートをした学習提案 *1.2 : ローカル/リモートクライアント →前ページ、連合学習の画像より。クライアントA視点の場合はローカル＝クライアントA リモート＝クライアントA以外の各クライアント

Slide 47

Slide 47 text

© 20221228 @tdys13 47 連合学習研究の新提案・論⽂引⽤ Wang, Jiacheng, Yueming Jin, and Liansheng Wang. "Personalizing Federated Medical Image Segmentation via Local Calibration." European Conference on Computer Vision. Springer, Cham, 2022. ü 各クライアントデータにローカルキャリブレートをした学習提案【概要】クライアント間での予測結果不⼀致を利⽤してローカルキャリブレーション(較正)を⾏うパーソナライズド連合学習【データ】 Prostate MR*1,2 / Endoscopic polyp*3 / Retinal Fundus*4 【提案技術】 ① Personalized Channel Selection(PCS) 各クライアントに対してsite embeddingを⾏ったものと、ローカルクライアントからencodingを⾏ったものを⽤いてチャンネル選択マップを算出し特徴量の較正を⾏う。 ② Hard Calibration(HC) 全クライアントの予測値を集め、ローカルクライアントの予測値との不⼀致を測定し較正を⾏う。 *1:NCI-ISBI 2013 Challenge - Automated Segmentation of Prostate Structures https://wiki.cancerimagingarchive.net/display/Public/NCI-ISBI+2013+Challenge+-+Automated+Segmentation+of+Prostate+Structures *2:Initiative for Collaborative Computer Vision Benchmarking https://i2cvb.github.io/ *3:Polyp-PVT https://github.com/DengPingFan/Polyp-PVT *4 DoFE: Domain-oriented Feature Embeddingfor Generalizable Fundus Image Segmentationon Unseen Datasets https://github.com/emma-sjwang/Dofe Hard calibrationの詳細提案⼿法の詳細

Slide 48

Slide 48 text

© 20221228 @tdys13 48 連合学習研究の新提案・論⽂引⽤ Wu, Yawen, et al. "Distributed contrastive learning for medical image segmentation." Medical Image Analysis 81 (2022): 102564. ジャーナル誌 Medical Image Analysis 採択 ü 対照学習を⽤いた未アノテーションなローカルデータの学習各クライアントの保有する未アノテーションデータから特徴ベクトルを抽出し共有し合い、対照学習を実施、その後アノテーション済みデータを⽤いて転移学習を⾏う連合学習×対照学習×転移学習の新提案。結論：アノテーションがされていないデータに対する連合学習でのセグメンテーション精度と汎化性能を⼤幅に向上させた。

Slide 49

Slide 49 text

© 20221228 @tdys13 49 連合学習研究の新提案 *1:Automated Cardiac Diagnosis Challenge (ACDC) https://www.creatis.insa-lyon.fr/Challenge/acdc/miccai_results.html *2:HVSMR 2016: MICCAI Workshop on Whole-Heart and Great Vessel http://segchd.csail.mit.edu/ ü 対照学習を⽤いた未アノテーションなローカルデータの学習【概要】未アノテーション画像から抽出したクライアント間の特徴ベクトルを⽤いて対照学習し、その後転移学習にて精度安定化。【データ】 3D Cardiac MRI images*1,2 【提案技術】 ① 各クライアントの未アノテーション画像から特徴抽出 ② ローカルクライアント(ex : 施設1)及びリモートクライアント(ex : 施設1以外)にて特徴量を交換し対照学習を実施。(コサイン類似度により算出されたリモートpositive＊3 は特徴空間学習に使⽤し、リモートnegative*4 はローカルデータの多様性向上に使⽤) ③ 対照学習後、アノテーション済み画像で転移学習を⾏い精度安定・論⽂引⽤ Wu, Yawen, et al. "Distributed contrastive learning for medical image segmentation." Medical Image Analysis 81 (2022): 102564. アーキテクチャローカル/リモートデータより抽出した特徴量は類似度によりpositive/negativeに分けられる。 *3.4 : ローカル(リモート)positive/negative →各クライアントの特徴量を抽出し、ローカルのアンカーとする特徴量とどの程度類似しているかによりリモートクライアントから抽出した特徴量に対して、リモートpositive/negativeを振り分ける。

Slide 50

Slide 50 text

© 20221228 @tdys13 50 マルチモーダルデータの利⽤ラベルなしの医⽤画像/遺伝⼦データを⽤いて、対照学習の有効性を検証した研究。結論：他の画像-遺伝⼦データを対象に対照学習を⽤いた研究よりも⾼い予測精度を達成。・論⽂引⽤ Taleb, Aiham, et al. "ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. 国際学会 CVPR2022 採択 ü 医⽤画像と遺伝⼦データの意味対応を利⽤した対照学習

Slide 51

Slide 51 text

© 20221228 @tdys13 51 マルチモーダルデータの利⽤・論⽂引⽤ Taleb, Aiham, et al. "ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. ü 医⽤画像と遺伝⼦データの意味対応を利⽤した対照学習【概要】遺伝⼦データはMLP、医⽤画像はCNNを⽤いて特徴ベクトルの抽出(embedding)を⾏い、出⼒された特徴ベクトルで対照学習を実施。【データ】遺伝⼦データセット&眼底画像データセット*1 眼底画像データセット*2,3,4 【提案技術】 ① 遺伝⼦データよりSNP(single nucleotide polymorphism), PGS(polygenic risk scores), Burden scoreをembedding処理。 ② 1.により変換された遺伝⼦データをMLPで特徴ベクトル化。 ③ 眼底画像をCNNより特徴ベクトル化(モデルはResNet50) ④ 2. 3.より出⼒された特徴ベクトルより画像-遺伝⼦データによる対照学習を⾏う。(lossにはNTXentLossを使⽤) *1:UK Biobank https://www.ukbiobank.ac.uk/ *2: APTOS 2019 Blindness Detection https://www.kaggle.com/c/aptos2019-blindness-detection *3:RETINAL FUNDUS MULTI-DISEASE IMAGE DATASET (RFMID) https://ieee-dataport.org/open-access/retinal-fundus-multi-disease-image-dataset-rfmid *4:PALM: PATHOLOGIC MYOPIA CHALLENGE https://ieee-dataport.org/documents/palm-pathologic-myopia-challenge 注釈 MLP：Multi Layer Processing CNN：Convolutional Neural Network

Slide 52

Slide 52 text

© 20221228 @tdys13 52 画像処理×⾃然⾔語処理技術を⽤いた表現学習ラベル付き胸部X線画像(1000枚程度)と診断レポートを⽤いたデータ効率の⾼い表現学習⽅法を提案。結論：提案した学習⽅法を経たモデルは診断レポートも出⼒でき、医師のデータに近い⽂章が⽣成される。・論⽂引⽤ Quigley, Keegan, et al. "RadTex: Learning Efficient Radiograph Representations from Text Reports." MICCAI Workshop on Resource-Efficient Medical Image Analysis. Springer, Cham, 2022. 国際学会 MICCAI2022 採択 ü 診断レポートからより効率的に画像の表現を学習

Slide 53

Slide 53 text

© 20221228 @tdys13 53 画像処理×⾃然⾔語処理技術を⽤いた表現学習 ü 診断レポートからより効率的に画像の表現を学習【概要】放射線レポートと放射線画像より効率的な表現学習を⽬指す【データ】胸部X線&放射線レポートデータセット*1 【提案技術】 ① 画像解析側はResnet50, embeddingした後に projection layerを⽤いて平坦化する。 ② ⾃然⾔語処理側はSci-BERT(事前学習:Scientific Report)を使⽤。正規化した後、位置埋め込みを⾏いマスクされたトークン予測を⾏う。 ③ 1.により出⼒された視覚的特徴と、2.により出⼒された⾃然⾔語的トークン予測を⽤いて学習を⾏う。 ☆ Sci-BERTにより⾃然⾔語による事前学習を⾏うことで、画像側は「1000枚の場合」と「全画像使⽤した場合」でほぼ精度が変わらないことがわかった。 *1:MIMIC-CXR Database v2.0 https://physionet.org/content/mimic-cxr/2.0.0/ ・論⽂引⽤ Quigley, Keegan, et al. "RadTex: Learning Efficient Radiograph Representations from Text Reports." MICCAI Workshop on Resource-Efficient Medical Image Analysis. Springer, Cham, 2022.

Slide 54

Slide 54 text

© 20221228 @tdys13 54 画像処理×⾃然⾔語処理技術を⽤いた表現学習通常記述された診断レポートから医⽤画像のラベルとなるワードを学習することで病理領域レベル・インスタンスレベル・疾患レベルの三段階で疾患候補部と疾患に関する診断レポートを出⼒する研究。結論：三段階での疾患予測/診断レポート出⼒を初めて実現した。・論⽂引⽤ Wang, Fuying, et al. "Multi-Granularity Cross-modal Alignment for Generalized Medical Visual Representation Learning." arXiv preprint arXiv:2210.06044 (2022). 国際学会 NeurIPS2022 採択 ü 放射画像と診断レポートの意味対応を利⽤した研究

Slide 55

Slide 55 text

© 20221228 @tdys13 55 画像処理×⾃然⾔語処理技術を⽤いた表現学習・論⽂引⽤ Wang, Fuying, et al. "Multi-Granularity Cross-modal Alignment for Generalized Medical Visual Representation Learning." arXiv preprint arXiv:2210.06044 (2022). ü 放射画像と診断レポートの意味対応を利⽤した研究【概要】放射線レポートから放射線画像に適した表現を学習し病理領域レベル・インスタンスレベル・疾患レベルの三段階で出⼒。【データ】胸部X線&放射線レポートデータセット*1 胸部X線データセット*2,3,4,5 【提案技術】 ① ITA-インスタンス単位で正しいテキスト-画像ペアとランダムなテキスト-画像ペアの⼀致度をコサイン類似度にて最⼤化させる。 ② CTA-テキストと画像に存在する局所表現をマッチさせるため視覚トークンとテキストトークンをCross-Attention機構を応⽤してアライメントする。 ③ CPA-画像表現とレポート表現からそれぞれ Sinkhorn-Knoppクラスタリングアルゴリズムを⽤いて分類し各クラスタリング結果をPseudo-Labelとして⼊れ替え cross-entropy lossを最適化していく。 *1:MIMIC-CXR Database v2.0 https://physionet.org/content/mimic-cxr/2.0.0/ *2:CheXpert https://stanfordmlgroup.github.io/competitions/chexpert/ *3:RSNA Pneumonia Detection Challenge https://www.kaggle.com/c/rsna-pneumonia-detection-challenge *4:CovidX https://www.covidx.eu/ *5:ObjectCXR https://academictorrents.com/details/fdc91f11d7010f7259a05403fc9d00079a09f5d5 *6:SIIM-ACR Pneumothorax Segmentation https://www.kaggle.com/competitions/siim-acr-pneumothorax-segmentation/overview

Slide 56

Slide 56 text

© 20221228 @tdys13 56 他領域で流⾏した技術を医⽤画像の課題に応⽤・論⽂引⽤ Independent evaluation of 12 artificial intelligence solutions for the detection of tuberculosis https://www.nature.com/articles/s41598-021-03265-0 ü 拡散モデルとは国際学会NeurIPS2020 採択拡散モデル/Diffusion ModelはGANやVAEと同じく学習した画像に近しい画像を⽣成するモデル。ガウシアンノイズからノイズを除去するプロセスを深層学習にてモデル化する。実験により⽣成された画像復元した際の誤差をなるべく⼩さくする

Slide 57

Slide 57 text

© 20221228 @tdys13 57 他領域で流⾏した技術を医⽤画像の課題に応⽤・論⽂引⽤ arXiv On the Opportunities and Risks of Foundation Models https://arxiv.org/abs/2108.07258 ü 基盤モデルとは基盤モデル/Foundation Modelは⼤量かつ様々なデータ(⾔語、画像、⾳声、等) で学習し、各ジャンルのタスクに適応可能なモデル。 ChatGPT(⾔語→⾔語), StableDiffusion(⾔語→画像), whisper(⾳声→⾔語), CLIP(⾔語→ベクトル)などがある。 arXiv 2021

Slide 58

Slide 58 text

© 20221228 @tdys13 58 他領域で流⾏した技術を医⽤画像の課題に応⽤・引⽤【ソニー社内講演】拡散モデルと基盤モデル nnabla ディープラーニングチャンネルより https://youtu.be/HfTD5__gZX4 ü 今流⾏りのStable Diffusionとは従来の拡散モデルは学習した画像に近しい画像を⽣成できるが、⽣成過程をコントロール出来なかった。 Stable Diffusionは拡散モデルをcontrollableにするためにCLIPを使⽤し、テキスト(=prompt)を⼊⼒することで⽣成画像をコントロールする。 CLIP等を使⽤ Stable Diffusionは拡散モデルと⾃然⾔語領域に強い基盤モデル(CLIP等)を掛け合わせることでテキストを⼊⼒してテキストに沿った画像を⽣成するモデルを実現した。

Slide 59

Slide 59 text

© 20221228 @tdys13 59 他領域で流⾏した技術を医⽤画像の課題に応⽤・論⽂引⽤ Rombach, Robin, et al. "High-resolution image synthesis with latent diffusion models." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. ü Stable Diffusionの原論⽂国際学会 CVPR2022 採択 Stable Diffusionの構成・Text Encoder部(主にCLIPやT5) ・Denoising Auto Encoder部(主にUnet ‒ Denoisingを⽬的) ・AutoEncoderのDecoder部(主にVAE ‒ 潜在空間から画像へ戻す⽬的) ⼊⼒：プロンプト(呪⽂)とランダムノイズ出⼒：プロンプトと関連した画像

Slide 60

Slide 60 text

Slide 61

Slide 61 text

© 20221228 @tdys13 61 他領域で流⾏した技術を医⽤画像の課題に応⽤ Stable Diffusionを医⽤画像・胸部X線画像の⾃動⽣成をするために転移学習させた研究。結論：⽣成された胸部X線画像が本物の胸部X線画像とどの程度類似しているか検証するために MIMIC-CXR(胸部X線データセット)で学習したモデルにテストデータとして⼊⼒しても、⾼い精度を観測した。・論⽂引⽤ Chambon, Pierre, et al. "Adapting pretrained vision-language foundational models to medical imaging domains." arXiv preprint arXiv:2210.04133 (2022). arXiv ü テキストプロンプトからの医⽤画像⽣成研究①

Slide 62

Slide 62 text

© 20221228 @tdys13 62 他領域で流⾏した技術を医⽤画像の課題に応⽤・論⽂引⽤ Chambon, Pierre, et al. "Adapting pretrained vision-language foundational models to medical imaging domains." arXiv preprint arXiv:2210.04133 (2022). ü テキストプロンプトからの医⽤画像⽣成研究① 【概要】 Stable Diffusionを放射線レポートに使われる⾔葉で転移学習し、胸部X線画像⽣成モデルへ改良する。【データ】胸部X線&放射線レポートデータセット*1,2 【提案技術】 ①Stable-Diffusionをフリーズさせた上でText Encoder部に新規トークンを埋め込みを⾏う。新規トークンはデータセットに含まれる医師の病変読影時の所⾒⽂章から抽出されたワード。 (性別/年齢/体重等の患者レベルの特徴、⾝体部位、モダリティ情報、「所⾒なし」「胸⽔あり」などの異常レベルの特徴) ②⽣成画像の画⾵を実物の胸部X線画像に近づけるため、 DreamBooth*3 (SDに画⾵を追加学習させる⼿法)を⽤いて Unetの転移学習を実施し、胸部X線画像のような画⾵を⽣成。 ③⽣成された画像をMIMIC-CXRで学習させたDenceNet121に推論画像として⼊⼒した結果、実物と精度が変わらなかった。 *1:MIMIC-CXR Database v2.0 https://physionet.org/content/mimic-cxr/2.0.0/ *2:CheXpert https://stanfordmlgroup.github.io/competitions/chexpert/ *3:DreamBooth https://dreambooth.github.io/

Slide 63

Slide 63 text

© 20221228 @tdys13 63 他領域で流⾏した技術を医⽤画像の課題に応⽤ Stable Diffusionに放射線科医が使⽤する医学⽤語を学習させ、⾼精度な画像⽣成を実現した研究。結論：前研究(2ページ前)よりも、より多様な胸部疾患を⾃動⽣成できることに成功したが、医⽤画像⽣成に特化しているため⼀般画像⽣成プロンプトを⼊⼒しても医⽤画像が⽣成されてしまう。・論⽂引⽤ Chambon, Pierre, et al. "RoentGen: Vision-Language Foundation Model for Chest X-ray Generation." arXiv preprint arXiv:2211.12737 (2022). arXiv ü テキストプロンプトからの医⽤画像⽣成研究②

Slide 64

Slide 64 text

© 20221228 @tdys13 64 他領域で流⾏した技術を医⽤画像の課題に応⽤ ü テキストプロンプトからの医⽤画像⽣成研究② 【概要】 Stable Diffusionを専⾨⽤語で転移学習し、様々な病変特徴を⽣成出来る胸部X線画像⽣成モデルへ改良する。【データ】胸部X線&放射線レポートデータセット*1 【提案技術】 ① 前研究(1つ前に紹介)から、より多様な疾患症例を⽣成するため胸部X線画像と対応する様々な形式の放射線レポートでの Text Encoder部とU-Net部事前学習⽅法を模索。 ② その結果フリーズさせたCLIPのTextEncoderを初期値として使いながら Text Encoder部とU-Net部を追加学習して、同時に微調整することが最も精度が出ることが判明した。 ③ 医学的に適する構造を学習しているため、⾮現実的な⽣成画像は出⼒されなくなった。 *1:MIMIC-CXR Database v2.0 https://physionet.org/content/mimic-cxr/2.0.0/ ・論⽂引⽤ Chambon, Pierre, et al. "RoentGen: Vision-Language Foundation Model for Chest X-ray Generation." arXiv preprint arXiv:2211.12737 (2022).

Slide 65

Slide 65 text

© 20221228 @tdys13 65 他領域で流⾏した技術を医⽤画像の課題に応⽤ DaVinciを⽤いた腹腔鏡⼿術時に撮影された2次元ステレオ動画像から NeRFを応⽤して3次元再構成を⼿術シーンで実現した初めての研究。結論：提案⼿法は動画像内から処置具を消した上での病変部3次元再構成を実現した。・論⽂引⽤ Wang, Yuehao, et al. "Neural rendering for stereo 3d reconstruction of deformable tissues in robotic surgery." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2022. 国際学会 MICCAI2022 採択 Best Student Paper受賞 ü NeRF技術を応⽤した画像3D再構成処置具に注⽬

Slide 66

Slide 66 text

© 20221228 @tdys13 66 他領域で流⾏した技術を医⽤画像の課題に応⽤・論⽂引⽤ Wang, Yuehao, et al. "Neural rendering for stereo 3d reconstruction of deformable tissues in robotic surgery." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2022. ü NeRF技術を応⽤した画像3D再構成【概要】 NeRF技術を応⽤し単視点のステレオ画像から処置具にマスクをしつつ、対象疾患部のみ3D再構成を⾏う研究。【データ】 in-house DaVinci robotic prostatectomy data(⾮公開) 【提案技術】 ① 動的な⼿術シーンをdynamic neural radiance field methodを⽤いて作成する。 ② 作成したシーンから処置具をマスクするため重要度マップを作成する。 ③ 作成した重要度マップよりStereo Depth画像を⽣成し3D再構成を実現。アーキテクチャ上段：⼊⼒画像、下段：結果画像結果画像からは処置具が消え、対象疾患部を中⼼に3D再構成が施された。

Slide 67

Slide 67 text

© 20221228 @tdys13 67 今後医療領域に応⽤が期待される技術・論⽂引⽤ Singh, Kunal Pratap, et al. "Ask4Help: Learning to Leverage an Expert for Embodied Tasks." arXiv preprint arXiv:2211.09960 (2022). Li, Yong-Lu, et al. "Beyond Object Recognition: A New Benchmark towards Object Concept Learning.” arXiv preprint arXiv:2212.02710 (2022). 国際学会 NeurIPS2022 採択 ü Embodied AI系国際学会 CVPR2022 採択⾝体性機能を有するAIでロボット技術、深層学習技術、画像認識、⾔語解釈など様々な技術を複合したもの。院内管理や、⼿術⽀援等で出てくるかも？

Slide 68

Slide 68 text

© 20221228 @tdys13 68 今後医療領域に応⽤が期待される技術連合学習においてあるクライアントから、他のクライアント内またはメインサーバー内で独⾃に保有する医⽤画像を意図的に盗み出す⼿法の提案とその⼿法からデータを守る⽅法の提案なども⾏われた。・論⽂引⽤ Li, Huiyu, Nicholas Ayache, and Hervé Delingette. "Data Stealing Attack on Medical Images: Is it Safe to Export Networks from Data Lakes?." arXiv preprint arXiv:2206.03391 (2022). 国際学会 MICCAI2022 採択 ü Privacy対策

Slide 69

Slide 69 text

© 20221228 @tdys13 69 オープンデータセットやコンペティションの動向・引⽤ Ji, Yuanfeng, et al. "Amos: A large-scale abdominal multi-organ benchmark for versatile medical image segmentation." arXiv preprint arXiv:2206.08023 (2022). Mei, Xueyan, et al. "RadImageNet: An open radiologic deep learning research dataset for effective transfer learning." Radiology: Artificial Intelligence 4.5 (2022): e210315. 腹部多臓器のデータセット ”AMOS” 15種の臓器をボクセルアノテーションしている 500症例の3DCT画像, 100症例の3DMR画像データセット国際学会 MICCAI2022にてコンペティション開催国際学会 NeurIPS2022にて論⽂採択 ü 今年も多くの医⽤画像オープンデータセットが公表された放射線画像/エコー画像のデータセット “RadImageNet” 165種の疾患ラベリングが施された135万枚の医⽤画像北⽶放射線学会 RSNA2022採択

Slide 70

Slide 70 text

© 20221228 @tdys13 70 オープンデータセットやコンペティションの動向 ü 今年も多くの医⽤画像オープンデータセットが公表された National Institute for Health Researchが医⽤画像系オープンデータセットを集約して公開。モダリティのみならず、permissionsで検索もできる・引⽤ NIHR A collection of open source imaging data sets. https://nhsx.github.io/open-source-imaging-data-sets/ NIH CANCER IMAGING ARCHIVE https://www.cancerimagingarchive.net/ National Institute for Healthが腫瘍関連の医⽤画像系オープンデータセットを集約して公開。⾃分でデータを投稿もでき、多くの研究者がお世話になっている

Slide 71

Slide 71 text

© 20221228 @tdys13 71 オープンデータセットやコンペティションの動向 ü 今年も多くの医⽤画像コンペティションが開催された・引⽤ RSNA 2022 Cervical Spine Fracture Detection https://www.kaggle.com/competitions/rsna-2022-cervical-spine-fracture-detection Mayo Clinic - STRIP AI https://www.kaggle.com/competitions/mayo-clinic-strip-ai Kaggleでは今年も多くの医⽤画像コンペティションが開催され、コンペ終了後に解法は様々な場⾯で活⽤された。 CT画像から脊椎⾻折を検出するコンペ病理画像から虚⾎性脳卒中における⾎栓の分類するコンペ病理画像から 5 つの臓器の機能組織単位 (FTU) を特定してセグメンテーションするコンペ MRI画像から消化器官をセグメンテーションするコンペ・引⽤ HuBMAP + HPA - Hacking the Human Body https://www.kaggle.com/competitions/hubmap-organ-segmentation UW-Madison GI Tract Image Segmentation https://www.kaggle.com/competitions/uw-madison-gi-tract-image-segmentation

Slide 72

Slide 72 text

© 20221228 @tdys13 72 オープンデータセットやコンペティションの動向 ü 今年も多くの医⽤画像コンペティションが開催された・引⽤ GrandChallenge https://grand-challenge.org/challenges/all-challenges/ GrandChallengeでは18種の医⽤画像コンペティションが開催され、データセットの有⽤性などがコンペを通して検証された。

Slide 73

Slide 73 text

© 20221228 @tdys13 73 スライド内で紹介したオープンデータセット① ＜頭部＞・ BraTS image datasets https://www.med.upenn.edu/cbica/brats2020/data.html ＜眼底＞・ DoFE: Domain-oriented Feature Embeddingfor Generalizable Fundus Image Segmentationon Unseen Datasets https://github.com/emma-sjwang/Dofe ・ APTOS 2019 Blindness Detection https://www.kaggle.com/c/aptos2019-blindness-detection ・RETINAL FUNDUS MULTI-DISEASE IMAGE DATASET (RFMID) https://ieee-dataport.org/open-access/retinal-fundus-multi-disease-image-dataset-rfmid ・PALM: PATHOLOGIC MYOPIA CHALLENGE https://ieee-dataport.org/documents/palm-pathologic-myopia-challenge ＜⼼臓＞・M&Ms dataset https://www.ub.edu/mnms/ ・MS-CMRSeg 2019 http://www.sdspeople.fudan.edu.cn/zhuangxiahai/0/mscmrseg/ ・Automated Cardiac Diagnosis Challenge (ACDC) https://www.creatis.insa-lyon.fr/Challenge/acdc/miccai_results.html ・HVSMR 2016: MICCAI Workshop on Whole-Heart and Great Vessel http://segchd.csail.mit.edu/

Slide 74

Slide 74 text

© 20221228 @tdys13 74 スライド内で紹介したオープンデータセット② ＜胸部＞・MIMIC-CXR Database v2.0 https://physionet.org/content/mimic-cxr/2.0.0/ ・CheXpert https://stanfordmlgroup.github.io/competitions/chexpert/ ・RSNA Pneumonia Detection Challenge https://www.kaggle.com/c/rsna-pneumonia-detection-challenge ・CovidX https://www.covidx.eu/ ＜多臓器＞・Multi-Atlas Labeling Beyond the Cranial Vault - Workshop and Challenge https://www.synapse.org/#!Synapse:syn3193805/wiki/89480 ＜腹部＞・CHAOS Challenge https://www.sciencedirect.com/science/article/abs/pii/S1361841520303145 ＜消化器＞・Polyp-PVT https://github.com/DengPingFan/Polyp-PVT ＜遺伝⼦＞・UK Biobank https://www.ukbiobank.ac.uk/

Slide 75

Slide 75 text

© 20221228 @tdys13 75 スライド内で紹介したオープンデータセット③ ・AMOS Multi-Modality Abdominal Multi-Organ Segmentation Challenge 2022 https://amos22.grand-challenge.org/ ・RadImageNet https://www.radimagenet.com/copy-of-home ・NIHR A collection of open source imaging data sets. https://nhsx.github.io/open-source-imaging-data-sets ・NIH CANCER IMAGING ARCHIVE https://www.cancerimagingarchive.net/

Slide 76

Slide 76 text

Slide 77

Slide 77 text

Slide 78

Slide 78 text

© 20221228 @tdys13 78 今後の医療AI領域の⾏く末は？？様々な調査機関・企業がヘルスケアにおけるAI市場予測を⽴てている。『全世界で1641億ドルにまで市場成⻑する』と⾒込む予測も出てきたりしている。・引⽤株式会社グローバルインフォメーション医療分野における⼈⼯知能（AI）の市場規模、2022年から2030年にかけてCAGR38.4%で拡⼤予測 https://prtimes.jp/main/html/rd/p/000002815.000071640.html Fortune Business Insight With 42.4 % CAGR, Artificial Intelligence in Healthcare Market Size worth USD 164.10 billion by 2029 https://www.globenewswire.com/news-release/2022/09/12/2513880/0/en/With-42-4-CAGR-Artificial-Intelligence-in-Healthcare-Market-Size-worth-USD-164-10-billion-by-2029.html ・引⽤株式外社⽮野経済研究所診断・診療⽀援AIシステム市場に関する調査を実施（2022年） https://www.yano.co.jp/press-release/show/press_id/2950

Slide 79

Slide 79 text

Slide 80

Slide 80 text

Slide 81

Slide 81 text

Slide 82

Slide 82 text

Slide 83

Slide 83 text

Slide 84

Slide 84 text

Slide 85

Slide 85 text

Slide 86

Slide 86 text

Slide 87

Slide 87 text

Slide 88

Slide 88 text

Slide 89

Slide 89 text

© 20221228 @tdys13 89 2022年の⽇本における医療AI(脳部) 引⽤株式会社Splink ブレインヘルスケアのSplink、東京都健康⻑寿医療センター研究所と共同研究の成果による「脳画像解析プログラム BRAINEER® Model A」が薬事認可を取得 https://prtimes.jp/main/html/rd/p/000000015.000060865.html p メモ - アルツハイマー病を起因とする認知症の判定に使⽤可能な技術。 - アミロイドPET読影医を対象としたアミロイドPET画像の視覚読影⽀援ツールとして、アミロイドβ集積の画像診断をサポートする医療機器プログラム。 [株式会社Splink×東京都健康⻑寿医療センター研究所] 共同研究の成果による脳画像解析プログラム BRAINEER® Model Aが薬事認証取得

Slide 90

Slide 90 text

© 20221228 @tdys13 90 2022年の⽇本における医療AI(脳部) 引⽤富⼠フイルム株式会社 AI技術を⽤いて軽度認知障害患者のアルツハイマー病への進⾏を最⼤88%の精度で予測 https://www.fujifilm.com/jp/ja/news/list/7926 p メモ - 軽度認知障害(MCI)患者がアルツハイマー(AD)へ進⾏するかを予測した研究。 - 学習時は北⽶データ、推論時は北⽶データ＆⽇本データを⽤いて検証。 - 最終的に正答率(その患者がADになるか否か)は88%となった。 [富⼠フイルム株式会社×国⽴研究開発法⼈国⽴精神・神経医療研究センター] AI技術を⽤いて軽度認知障害患者のアルツハイマー病への進⾏を最⼤88％の精度で予測次のページにて論⽂紹介

Slide 91

Slide 91 text

© 20221228 @tdys13 91 2022年の⽇本における医療AI(脳部) *1:North-America Alzheimerʼs Disease Neuroimaging Initiative https://adni.loni.usc.edu/ *2:Japanese Alzheimerʼs Disease Neuroimaging Initiative http://www.j-adni.org/ Japanese Alzheimerʼs disease neuroimaging initiative: present status and future. https://alz-journals.onlinelibrary.wiley.com/doi/epdf/10.1016/j.jalz.2010.03.011 p 技術メモ - データ：NA-ADNI*1 ＆JA-ADNI*2 →画像データと臨床データ学習にNA, 推論にNA&JAを使⽤ - モデル：CNN(DenceNet121)、 Decoder(Auto Encoder)、SVM - 評価⽅法：Accuracy, AUC ジャーナル誌 npj Digital Medicine 掲載引⽤富⼠フイルム株式会社 AI技術を⽤いて軽度認知障害患者のアルツハイマー病への進⾏を最⼤88%の精度で予測 https://www.fujifilm.com/jp/ja/news/list/7926 p メモ - 脳MRI画像から海⾺&前頭側葉部を特定。 - 深層学習にてAD進⾏に関わるような微⼩な萎縮パターンの特徴量をCNNで抽出。 - 臨床データと画像由来の特徴量を⽤いて進⾏度合いをSVMにて予測。 - 正解率はNA-88%/JA-84% AUCはNA-0.95/JA-0.91 論⽂引⽤ Wang, Caihua, et al. "A high-generalizability machine learning framework for predicting the progression of Alzheimerʼs disease using limited data.” NPJ digital medicine 5.1 (2022): 1-10.

Slide 92

Slide 92 text

© 20221228 @tdys13 92 2022年の⽇本における医療AI(脳部) 引⽤株式会社iMed Technologies 「医⽤画像解析ソフトウェア Neuro-Vascular Assist ®」が脳⾎管内⼿術をディープラーニングで⽀援するソフトウェアとして薬事認可を取得 https://prtimes.jp/main/html/rd/p/000000012.000046244.html p メモ - ニューロバースキュラー (脳⾎管疾患に対する⾎管内治療)領域にて深層学習を⽤いた⼿術⽀援ソフトウェアを開発、薬事認証取得した。 - 開発した企業は2019年4⽉1⽇設⽴のスタートアップ株式会社iMed Technologies [株式会社iMed Technologies] 脳⾎管内⼿術⽀援ソフトウェア「医⽤画像解析ソフトウェア Neuro-Vascular Assist®」の薬事認証取得

Slide 93

Slide 93 text

© 20221228 @tdys13 93 2022年の⽇本における医療AI(脳部) 引⽤株式会社エム全脳の画像解析および脳健康測定プログラム “MVision health” を脳ドックの⼀般受診者を対象とした無料テストランとして提供開始 https://onl.sc/jeLxut6 p メモ - ⽶・ジョンズホプキンス⼤が開発したAIを使⽤した脳の健康測定プログラム。受診者の脳の萎縮度合いや脳の形をレポートとして出⼒。 - 診断・治療・予防に関する機能は搭載されていないため医療機器には⾮該当。 [株式会社エム×Johns Hopkins University] 未病段階の認知症リスクを評価する脳健康測定プログラムMVision healthを開発。脳ドックの⼀般受診者向けに2022年05⽉~06⽉で無料提供を実施した。

Slide 94

Slide 94 text

© 20221228 @tdys13 94 2022年の⽇本における医療AI(脳部) 引⽤テクマトリックス株式会社 PSP、脳の健康状態を”⾒える化”する「ブレインヘルスケア・プログラム」をSplink、ミレニアとの３社連携により提供を開始 https://www.techmatrix.co.jp/nc/news/PSP_20220520.html 株式会社Splink ブレインヘルスケアのSplink、ミレニアとPSPと3社連携。世界初、脳の健康状態を“⾒える化”するトータル予防ソリューション「ブレインヘルスケア・プログラム(TM)」を提供開始 https://prtimes.jp/main/html/rd/p/000000016.000060865.html p メモ - PSP社からは医療情報管理アプリである“NOBORI”、Splink社からは脳ドック⽤AI プログラム“Brain Life Imaging®” ミレニア社からは簡易認知機能スケール「あたまの健康チェック®」が提供され連携する。 [PSP株式会社×株式会社Splink×株式会社ミレニア] 3社連携を⾏い、「ブレインヘルスケア・プログラム™」の提供を開始

Slide 95

Slide 95 text

© 20221228 @tdys13 95 2022年の⽇本における医療AI(眼部) 引⽤ DeepEyeVision株式会社ニコンとDeepEyeVisionが、⽇本初※1の健常眼との差異を⾊表⽰する、AIを⽤いた眼底カメラ⽤プログラム※2を共同開発 https://deepeyevision.com/news0208/ p メモ - ニコンソリューションズの眼底撮影装置「RetinaStation」で撮影した眼底画像に対して、健常眼と差異がある場合に⾊表⽰するプログラム。 - ⾚⾊になるほど健常眼と類似度が低い。 [DeepEyeVision株式会社×株式会社ニコン] 深層学習を搭載した眼底カメラ⽤プログラム「DeepEyeVision for RetinaStation」を共同開発し、医療機器認証を取得

Slide 96

Slide 96 text

© 20221228 @tdys13 96 2022年の⽇本における医療AI(眼部) 引⽤中⼩企業庁サポインマッチナビ AI画像解析を⽤いた糖尿病網膜症診断⽀援 https://www.chusho.meti.go.jp/sapoin/index.php/cooperation/project/detail/4254 p メモ - 眼底カメラで撮影した画像をクラウドAIに送信し、ローカルのPCで結果を取得。 - 軟性⽩斑と硬性⽩斑の検出精度は約80%、画像を暗号化しクラウドに送信する特許を出願中。 [株式会社オーヒラ] AIを活⽤した糖尿病網膜症の診断⽀援

Slide 97

Slide 97 text

© 20221228 @tdys13 97 2022年の⽇本における医療AI(⼝腔内) 引⽤医療法⼈社団葵会⻭科エックス線画像を⽤いた⻭科検診AIシステムの開発 https://prtimes.jp/main/html/rd/p/000000003.000073133.html p メモ - ⻭科パノラマX線画像から⻭科疾患診断⽀援AI、⻭式AI、⻭周病AIをあわせて⻭科検診を⾏う。⻭科疾患はう蝕、根尖病巣、根分岐部病変、顎⾻嚢胞を判別する - 特許取得後にAWS上にAIを構築し、 webサービスとして⻭科関係者向けに使えるようにした。 [医療法⼈社団葵会 AOI国際病院] ⻭科⽤X線画像を⽤いた⻭科検診AIシステムの開発＆特許出願

Slide 98

Slide 98 text

© 20221228 @tdys13 98 2022年の⽇本における医療AI(⼝腔内) 引⽤読売新聞保護した認知症⾼齢者の⾝元、「⻭のレントゲン画像」を使いＡＩが迅速判定 https://www.yomiuri.co.jp/medical/20220929-OYT1T50285/ p メモ - 今までは⼿作業で⾏っていたが、試験的に活⽤を開始。 - 同市では年間平均30件の⾝元不明⾼齢者の保護が発⽣している。 - 事前登録をした⻭科パノラマX線画像をAIに学習させ、⾼齢者保護時にAIを⽤いて識別する。 [近畿⼤学病院×⼤阪狭⼭市×狭⼭美原⻭科医師会] ⾝元不明⾼齢者の特定に向けた⻭科⽤X線画像を⽤いた個⼈識別AIシステムの開発＆活⽤開始

Slide 99

Slide 99 text

© 20221228 @tdys13 99 2022年の⽇本における医療AI(⼝腔内) 引⽤アイリス株式会社 nodoca(ノドカ) 製品ページ https://nodoca.aillis.jp/# アイリス株式会社日本初のAI新医療機器「nodoca」2022年12月23日（金）より一般販売開始 https://prtimes.jp/main/html/rd/p/000000023.000035813.html p メモ - 主に内視鏡⽤テレスコープ(カメラ部)と感染症診断⽀援AIプログラム(ソフトウェア部)から構成される。 - 咽頭画像と問診情報からインフルエンザの診断⽀援を⾏う、保険点数は従来のイムノクロマト法と同じく305点。 [アイリス株式会社] AIを搭載した⽇本初の「新医療機器」となるnodoca®の製造販売承認を取得。⽇本初のAI医療機器で保険適⽤

Slide 100

Slide 100 text

© 20221228 @tdys13 100 2022年の⽇本における医療AI(胸部) 引⽤エルピクセル株式会社胸部CT画像の読影を⽀援するEIRL Chest CTの販売を開始 https://eirl.ai/ja/news/2022/04/04/2016/ p メモ - 胸部CT画像から使⽤者が設定した基準値に基づくCT値から“関⼼領域”を抽出し、その体積と最⼤径を⾃動計測する。 - 最⼤径が閾値以上になった場合に⾊付け表⽰を⾏う。 [エルピクセル株式会社] 胸部CT画像の読影を⽀援するEIRL Chest CTの薬事認証を取得、販売を開始

Slide 101

Slide 101 text

© 20221228 @tdys13 101 2022年の⽇本における医療AI(胸部) 引⽤バイエル薬品株式会社 Plus.Lung.Nodule 製品紹介ページ https://radiology.bayer.jp/products/pluslungnodule プラスマン合同会社胸部CT-AI Plus.Lung.Noduleの独占販売についてバイエル薬品と業務提携 https://prtimes.jp/main/html/rd/p/000000002.000093244.html p メモ - 胸部CT画像からAIを⽤いて、肺結節やリンパ節などの視認性を向上させるプログラム医療機器。 - ROIの表⽰、⾃動計測機能、オートトラッキング機能が搭載している。 [プラスマン合同会社×バイエル薬品株式会社] プラスマン合同会社が開発・薬事認証取得をした胸部CT画像をAIで読影⽀援するソフトウェア Plus.Lung.Noduleの独占販売についてバイエル薬品と業務提携

Slide 102

Slide 102 text

© 20221228 @tdys13 102 2022年の⽇本における医療AI(胸部) 引⽤札幌医科⼤学胸部レントゲン写真上で線維化をきたす間質性肺疾患を検出する AI（⼈⼯知能）プログラムを開発しました https://web.sapmed.ac.jp/jp/news/press/qr68fj0000001g0i-att/qr68fj0000001g4o.pdf p メモ - 胸部X線画像からAIを⽤いて間質性肺疾患を10段階で評価する。 - 後ろ向き収集された匿名化済みデータを⽤いて研究を⾏った。 - 論⽂内での精度は感度0.896 / 特異度1.000だった [札幌医科⼤学×エムスリー株式会社] 胸部X線画像から間質性肺疾患を検出するAIプログラムを開発論⽂引⽤ Nishikiori, Hirotaka, et al. "Deep learning algorithm to detect fibrosing interstitial lung disease on chest radiographs." European Respiratory Journal (2022).

Slide 103

Slide 103 text

© 20221228 @tdys13 103 2022年の⽇本における医療AI(胸部) 引⽤名古屋⼤学医学部附属病院特発性肺線維症の⾃動診断 AI の共同開発に成功 https://www.med.nagoya-u.ac.jp/medical_J/research/pdf/Res_220624.pdf p メモ - 胸部CT画像と臨床データ(患者情報、⾎液検査、肺機能検査)からAIを⽤いて特発性肺線維症予測を⾏う。 - 論⽂内での最終的な診断精度は83.6%だった。 - AIが特発性肺線維症と診断した患者は死亡率が⾼いことが判明した。 - スクリーニングAIとして有⽤である可能性が⾼い。 [名古屋⼤学医学部附属病院×理化学研究所] CT画像と臨床データを⽤いた特発性肺線維症の⾃動診断 AI の共同開発に成功論⽂引⽤ Furukawa, Taiki, et al. "A comprehensible machine learning tool to differentially diagnose idiopathic pulmonary fibrosis from other chronic interstitial lung diseases.” Respirology 27.9 (2022): 739-746.

Slide 104

Slide 104 text

© 20221228 @tdys13 104 2022年の⽇本における医療AI(胸部) 引⽤キヤノンメディカルシステムズ株式会社「COVID-19肺炎解析ソフトウェア SCO-PA01」の販売開始 https://jp.medical.canon/News/PressRelease/Detail/120452-834 p メモ - 胸部CT画像からAIを⽤いてCOVID-19の肺炎像有無の可能性を“⾼”/”低”で表⽰。 - AIが注⽬した領域を⾊付表⽰する。 - 感度は88.5%(95%信頼区間) [キヤノンメディカルシステムズ株式会社] 胸部CT画像よりCOVID-19肺炎を判定する解析ソフトウェア“COVID-19 Analysis” の薬事承認取得および販売開始

Slide 105

Slide 105 text

© 20221228 @tdys13 105 2022年の⽇本における医療AI(胸部) 引⽤慶應義塾⼤学⽇本初の乳がん超⾳波検診における精密検査の要否判定を⾏う⼈⼯知能（AI）を開発 https://www.keio.ac.jp/ja/press-releases/files/2022/8/30/220830-1.pdf p メモ - 乳房エコー画像からAIを⽤いてBI-RADSカテゴリー(1~5)が⾼いか低いかを判定する。 - 上図、橙はBI-RADSカテゴリー低(3以下)、⻘はBI-RADSカテゴリー⾼(4以上)。 - 感度91.2% / 特異度 90.7%となった。 [慶應義塾⼤学×株式会社フィックスターズ×多数の⼤学] 乳房超⾳波画像より精密検査の可否を判定するAIの開発次のページから論⽂紹介

Slide 106

Slide 106 text

© 20221228 @tdys13 106 2022年の⽇本における医療AI(胸部) 引⽤慶應義塾⼤学⽇本初の乳がん超⾳波検診における精密検査の要否判定を⾏う⼈⼯知能（AI）を開発 https://www.keio.ac.jp/ja/press-releases/files/2022/8/30/220830-1.pdf ジャーナル誌 Cancer Science 掲載 p 技術メモ - データ：8施設から収集した 7,194枚の乳房エコー画像 8施設→慶應⼤、帝京⼤、杏林⼤、国がん中央病院、国がん東病院、埼⽟医科⼤、北⾥研究所病院、東京医療センター学習-4,028枚 / 推論-3,166枚 - モデル：CNN(詳細なし) - 評価⽅法：ROC p メモ - BI-RADS基準を採⽤し、そのスコアとの⼀致度を測る。 BI-RADS基準は1~5で数字が上がるほど精密検査必須となる。 - まずは1,500枚のアノテーション済み画像で検証し、その後 7,194枚の画像で本格検証を実施。 - 最終的な感度91.6%/特異度90.7% 論⽂引⽤ Hayashida, Tetsu, et al. "Establishment of a deep‐learning system to diagnose BI‐RADS4a or higher using breast ultrasound for clinical application." Cancer science 113.10 (2022): 3528.

Slide 107

Slide 107 text

© 20221228 @tdys13 107 2022年の⽇本における医療AI(胸部) 引⽤ iSurgery株式会社 AI×⾻粗しょう症の実証実験を愛知県蒲郡市と開始します https://www.isurgery.tech/post/20221020 p メモ - 2022年11⽉1⽇〜2024年2⽉28⽇で実証実験を実施。 - 市が実施する肺がん検診にて⾻密度予測AIを連携させて、⾻粗しょう症の早期発⾒に関する実証実験を実施。 [iSurgery株式会社×愛知県蒲郡市×蒲郡市医師会] 蒲郡市が実施する肺がん検診にて AIによる⾻粗しょう症の早期発⾒に関する実証実験を開始

Slide 108

Slide 108 text

© 20221228 @tdys13 108 2022年の⽇本における医療AI(胸部) 引⽤伊藤忠商事株式会社⼼不全検知AIを開発するSIMPLEX QUANTUM社との資本業務提携について https://www.itochu.co.jp/ja/news/press/2022/221205.html SIMPLEX QUANTUM株式会社第三社割当増資により、シリーズAラウンドにおいて資⾦調達を実施しました https://simplex-q.com/news/8/ p メモ - シリーズAで5.5億円の資⾦調達を実施。 - 将来的に薬事承認申請、FDA申請を⽬指す。 - 2020年より東⼤病院と共同研究を実施し、約60万件の⼼電図データを⽤いて⼼不全予測AIを開発。 [SIMPLEX QUANTUM株式会社×伊藤忠商事株式会社×その他2社] ⼼電図のみから⼼不全を予測するAIの開発および、シリーズAラウンドにおける資⾦調達

Slide 109

Slide 109 text

© 20221228 @tdys13 109 2022年の⽇本における医療AI(腹部) 引⽤東京⼤学 AI で医療画像と診療情報を統合 − ⾼精度な疾患画像判別モデルを開発 https://gastro.m.u-tokyo.ac.jp/news/release_20220107.pdf p メモ - 株式会社グルーヴノーツが開発するプラットフォームを⽤いて判別モデルの作成と評価を実施。 - 超⾳波B画像と患者情報、肝臓の炎症情報、肝臓の線維化情報、アルブミンを⼊⼒したAIが最終的に正診率96.3% / AUC 0.994となった [東京⼤学×株式会社グルーヴノーツ] 超⾳波Bモード画像と臨床データを⽤いてAIによる肝腫瘤予測次のページから論⽂紹介

Slide 110

Slide 110 text

© 20221228 @tdys13 110 2022年の⽇本における医療AI(腹部) 引⽤東京⼤学 AI で医療画像と診療情報を統合 − ⾼精度な疾患画像判別モデルを開発 https://gastro.m.u-tokyo.ac.jp/news/release_20220107.pdf p 技術メモ - データ：1,080枚の超⾳波B画像、臨床データ学習-864枚 / 検証-108枚 / 推論-108枚 - モデル：MobileNetV2 - 評価⽅法：AUC(肝腫瘤予測) p メモ - Model1：超⾳波B画像のみ - Model2：Model1＋患者情報(年齢、性別) - Model3：Model2＋肝臓の炎症情報 (AST/ALT ‒ 炎症により数値が上昇) - Model4：Model3＋肝臓の線維化情報 (⾎⼩板 - 線維化の進⾏で低下) - Model5：Model4＋アルブミン(状態悪化で低下) - Model5で正診率96.3% / AUC 0.994となった。 - (コメント)Feature Importanceが⾒たかった。ｍodel1 ｍodel2 ｍodel3 ｍodel4 ｍodel5 論⽂引⽤ Sato, Masaya, et al. "Development of novel deep multimodal representation learning‐based model for the differentiation of liver tumors on B‐mode ultrasound images." Journal of Gastroenterology and Hepatology 37.4 (2022): 678-684.

Slide 111

Slide 111 text

© 20221228 @tdys13 111 2022年の⽇本における医療AI(腹部) 引⽤株式会社ヒューマノーム研究所 AIを⽤いた⼿術ナビゲーションシステム開発に関する共著論⽂を発表しました https://humanome.jp/surgery-today-20220505/ p メモ - 開発中の⼈⼯知能技術を⽤いた⼿術ナビゲーションを胃がん⼿術に対して適⽤することを⽬的とし、膵臓周辺の郭清ラインについてAIモデルによる予測の可能性について検討した。 - AIモデルによって、膵臓の輪郭を概ね良好にトレースすることができた。 [株式会社ヒューマノーム研究所] AIを⽤いた⼿術ナビゲーションシステム開発に関する研究発表論⽂引⽤ Sato, Yuya, et al. "Preliminary study for developing a navigation system for gastric cancer surgery using artificial intelligence." Surgery Today (2022): 1-6.

Slide 112

Slide 112 text

© 20221228 @tdys13 112 2022年の⽇本における医療AI(腹部) 引⽤富⼠通株式会社膵臓がんを⾮造影CT画像から検出するAI技術の共同研究を開始 https://pr.fujitsu.com/jp/news/2022/04/25-1.html p メモ - 総合南東北病院が保有する300件の膵臓がん患者の腹部CT画像を⽤いて膵臓がん候補部を検出する。 [富⼠通株式会社×⼀般財団法⼈脳神経疾患研究所附属総合南東北病院×株式会社エフコム] 膵臓がんを⾮造影CT画像から検出するAI技術の共同研究を開始

Slide 113

Slide 113 text

© 20221228 @tdys13 113 2022年の⽇本における医療AI(腹部) 引⽤近畿⼤学世界初！熟練医を上回る精度の肝腫瘤画像診断AIを開発 AIによる超⾳波診断の実⽤化に⼤きな期待 https://www.kindai.ac.jp/news-pr/news-release/2022/02/035055.html p メモ - Bモード超⾳波検査※2 で撮影した4種類の肝腫瘤の画像70,950枚を学習させた、肝腫瘤の画像診断AIモデルを開発。 - AIによる4種類の肝腫瘤鑑別、悪性腫瘍鑑別の精度は90％以上で、専⾨医資格をもつ熟練医の80％を⼤きく上回る。 [近畿⼤学] 超⾳波B画像のみからAIを⽤いて4種類の肝腫瘤予測を実現次のページから論⽂紹介

Slide 114

Slide 114 text

© 20221228 @tdys13 114 2022年の⽇本における医療AI(腹部) 引⽤近畿⼤学世界初！熟練医を上回る精度の肝腫瘤画像診断AIを開発 AIによる超⾳波診断の実⽤化に⼤きな期待 https://www.kindai.ac.jp/news-pr/news-release/2022/02/035055.html p 技術メモ - データ：70,950枚の超⾳波B画像 - 対象：肝腫瘤 - モデル：VGG3種 - 評価⽅法：accuracy、AUC(肝腫瘤予測) 4クラス分類の結果悪性腫瘍分類の結果 Demo画⾯ HCC 99%と表⽰されている p メモ - Model1~3：VGG16をベースに微調整している - Model3で精度90%に到達した、その他モデルも軒並み医師より⾼い結果となった - (コメント)他のモデルでも結果が⾒てみたい。論⽂引⽤ Nishida, Naoshi, et al. "Artificial intelligence (AI) models for the ultrasonographic diagnosis of liver tumors and comparison of diagnostic accuracies between AI and human experts." Journal of gastroenterology 57.4 (2022): 309-321.

Slide 115

Slide 115 text

© 20221228 @tdys13 115 2022年の⽇本における医療AI(腹部) 引⽤東京⼤学 AI を⽤いた⼦宮⾁腫の術前画像診断システムを開発 https://www.h.u-tokyo.ac.jp/participants/research/saishinkenkyu/__icsFiles/afieldfile/2022/11/17/release_20221116_2.pdf p メモ - 術前MRI画像263例を⽤いて学習・検証を実施した結果、正診率 91.3%となった。 - 修練中の放射線科専⾨医に診断補助として使⽤させた結果、正診率80.3％→92.3%に向上。 [東京⼤学×サイオステクノロジー株式会社] ⼦宮⾁腫を鑑別する術前AI診断システムの開発

Slide 116

Slide 116 text

© 20221228 @tdys13 116 2022年の⽇本における医療AI(消化器) 引⽤株式会社両備システムズ⼭⼤学と両備システムズが共同開発炎症性腸疾患関連腫瘍AI診断システムの有⽤性を報告 https://www.ryobi.co.jp/news/20220630-1 p メモ - 炎症性腸疾患関連腫瘍 99 病変 862 枚から構築した - 約 80％の正診率で腫瘍の進⾏度を正しく診断でき、経験ある専⾨医と同程度もしくはそれ以上の結果だった。 [株式会社両備システムズ×岡⼭⼤学] AIを⽤いた炎症性腸疾患関連腫瘍の内視鏡診断システムを開発論⽂引⽤ Yamamoto, Shumpei, et al. "The diagnostic ability to classify neoplasias occurring in inflammatory bowel disease by artificial intelligence and endoscopists: A pilot study.” Journal of Gastroenterology and Hepatology 37.8 (2022): 1610-1616.

Slide 117

Slide 117 text

© 20221228 @tdys13 117 2022年の⽇本における医療AI(消化器) 引⽤エルピクセル株式会社⼤腸ポリープ候補を検出し、⼤腸内視鏡検査を⽀援する「EIRL Colon Polyp」を新発売 https://prtimes.jp/main/html/rd/p/000000052.000010005.html p メモ - 動画内から⼤腸ポリープ候補部を検出し矩形で表⽰する医⽤画像解析ソフトウェアを薬事承認取得。 - ソフトウェア単体性能試験において通常光内視鏡にて病変単位の感度98.1%、フレームベースの特異度95.0% [エルピクセル株式会社×東京慈恵会医科⼤学] ⼤腸ポリープ候補を検出し、⼤腸内視鏡検査を⽀援する「医⽤画像解析ソフトウェアEIRL Colon Polyp」の薬事承認取得、発売開始

Slide 118

Slide 118 text

© 20221228 @tdys13 118 2022年の⽇本における医療AI(消化器) 引⽤富⼠フイルム株式会社 AI技術を活⽤※1して開発された上部消化管領域の内視鏡診断を⽀援する医療機器として⽇本初※2の薬事承認を取得 https://www.fujifilm.com/jp/ja/news/list/8607 p メモ - 上部消化管の内視鏡検査時に胃腫瘍性病変や⾷道扁平上⽪癌が疑われる領域をリアルタイムに検出し、胃がん・⾷道がんの早期発⾒をサポートする。 - 上部消化管領域の内視鏡診断を⽀援する医療機器として⽇本で初めて承認された。 [富⼠フイルム株式会社] AI技術を活⽤した上部消化管領域の内視鏡診断⽀援をするソフトウェアの薬事承認取得及び発売開始

Slide 119

Slide 119 text

© 20221228 @tdys13 119 2022年の⽇本における医療AI(病理) 引⽤メドメイン株式会社メドメインがPSPと資本業務提携、3億円の資⾦調達を実施し、デジタル病理の推進を加速 https://medmain.com/news/13607/ メドメイン株式会社前⽴腺癌を⾼精度に検出する病理AIの開発に成功〜 Cancersに論⽂が掲載（Cancers / 特集号：Artificial Intelligence in Oncology）〜 https://medmain.com/news/18648/ p メモ - PSP社との資本業務提携に伴い、今後病理クラウドPACS等の開発を進めていくと発表。 - メドメイン社は病理画像領域に関して、すでに7臓器12モデルのAI開発をしている(⽇本での提供はまだなし)。 [メドメイン株式会社×PSP株式会社] 資本業務提携メドメイン社、2022年に4本の論⽂をジャーナル誌に投稿引⽤メドメイン株式会社⼦宮頸がん検診を⾼精度に迅速化する病理AIの開発に成功〜 Cancersに論⽂が掲載（Cancers / 特集号： Artificial Intelligence in Oncology）〜 https://medmain.com/news/7741/ メドメイン株式会社【病理AIの開発に成功】前⽴腺癌を病理組織デジタル標本から検出可能に〜 Diagnosticsに論⽂が掲載（Diagnostics / 特集号：Artificial Intelligence in Pathological Image Analysis）〜 https://medmain.com/news/8961/ メドメイン株式会社【病理AIの開発に成功】「乳腺⾮浸潤性乳管癌」を病理組織デジタル標本から検出可能に〜 Springer Nature社が発⾏する「Virchows Archiv誌」に論⽂が掲載〜 https://medmain.com/news/4851/

Slide 120

Slide 120 text

© 20221228 @tdys13 120 2022年の⽇本における医療AI(病理) 論⽂引⽤ ① Kanavati, Fahdi, Shin Ichihara, and Masayuki Tsuneki. "A deep learning model for breast ductal carcinoma in situ classification in whole slide images." Virchows Archiv 480.5 (2022): 1009-1022. ② Kanavati, Fahdi, et al. "A Deep Learning Model for Cervical Cancer Screening on Liquid-Based Cytology Specimens in Whole Slide Images." Cancers 14.5 (2022): 1159. p メモ - メドメイン社発の論⽂が2022年で4本の論⽂がジャーナル誌に掲載された。論⽂引⽤ ③ Tsuneki, Masayuki, Makoto Abe, and Fahdi Kanavati. "A deep learning model for prostate adenocarcinoma classification in needle biopsy whole-slide images using transfer learning." Diagnostics 12.3 (2022): 768. 論⽂引⽤ ④ Tsuneki, Masayuki, Makoto Abe, and Fahdi Kanavati. "Transfer Learning for Adenocarcinoma Classifications in the Transurethral Resection of Prostate Whole-Slide Images.” Cancers 14.19 (2022): 4744.

Slide 121

Slide 121 text

© 20221228 @tdys13 121 2022年の⽇本における医療AI(病理) 引⽤⽇本病理学会胃⽣検の病理診断⽀援 AI を開発 https://www.pathology.or.jp/jp-aid/JPAID_pressrelease_20220812.pdf p メモ - 病理医が実際に現場で⾏う作法を新規⼿法として技術的に実現した結果、病理医との診断⼀致率 90〜97%の精度を達成した。 [⽇本病理学会×国⽴情報学研究所] 胃⽣検の病理組織画像から腫瘍の有無を判定し領域を検出するAIの開発

Slide 122

Slide 122 text

© 20221228 @tdys13 122 2022年の⽇本における医療AI(その他) 引⽤株式会社Jmees 医⽤画像処理とコンピュータ⽀援外科のトップカンファレンスMICCAIの画像認識コンペで世界1位を獲得！ https://onl.sc/U1xZwGG ⼿術⽀援AI開発スタートアップの株式会社Jmeesは MICCAIの画像認識コンペで世界トップを獲得。株式会社アルムはブラジルのベンチャー企業 Phelcom Technologiesが開発したスマートフォン⼀体型無散瞳眼底カメラを⽇本にて薬事認証取得した。引⽤株式会社アルムスマートフォン⼀体型無散瞳眼底カメラ「Eyer」が薬事認証を取得〜眼科領域におけるDXの推進を⽬指す〜 https://www.allm.net/2022/11/24/16031/

Slide 123

Slide 123 text

© 20221228 @tdys13 123 2022年の⽇本における医療AI(その他) カシオ計算機は⽪膚観察⽤ダーモカメラ/ダーモスコープが FDA認可を取得&と⽶国販売開始を報告。スタートアップ株式会社AMIは独⾃に開発をした AIアシスト機能付き聴診器の薬事承認取得を発表した引⽤カシオ計算機⽪膚観察⽤ダーモカメラ・ダーモスコープが⽶国FDA認可を取得 https://www.casio.co.jp/release/2021/1222_dz-image/ 引⽤ AMI株式会社研究開発型スタートアップのAMIが『⼼⾳図検査装置AMI-SSS01シリーズ』の薬事承認を取得 https://prtimes.jp/main/html/rd/p/000000051.000036655.html

Slide 124

Slide 124 text

© 20221228 @tdys13 124 2022年の⽇本における医療AI(その他) ソフトバンク、三井物産、⽇本IBM、⽇⽴製作所、⽇本ユニシスが設⽴した医療AIプラットフォーム技術研究組合(HAIP) リリース後も様々な企業が加⼊し、横断的に取り組んでいる引⽤医療AIプラットフォーム技術研究組合(HAIP) https://haip-cip.org/ 医療の未来を技術⾰新で切り拓く（1）――医療AIプラットフォーム構築という挑戦 https://terasu.biprogy.com/article/haip-1/ ソフトバンク、ヤフー、東京⼤学、pafin が設⽴した医⽤画像通信技術研究組合医⽤画像の安⼼な通信プロトコル⼿法の開発を⽬指している引⽤ヤフー株式会社医⽤画像分野におけるAI開発・活⽤の推進に向けて「医⽤画像通信技術研究組合」を設⽴ https://prtimes.jp/main/html/rd/p/000000021.000098822.html

Slide 125

Slide 125 text

© 20221228 @tdys13 125 2022年の医療AI(番外編) Google Healthはヘルスケア企業であるiCADに対して Google製マンモグラフィAIのライセンスを供与した株式会社ACCELStarsは睡眠障害早期発⾒を⽬的とした睡眠検診における解析AIを開発開始引⽤ Google .inc Partnering with iCAD to improve breast cancer screening https://blog.google/technology/ai/icad-partnership-breast-cancer-screening/ 引⽤株式会社ACCELStars アイ・エム・アイ株式会社と東⼤発ベンチャーのACCELStars、睡眠障害の早期発⾒を⽬的とした睡眠検診（SASスクリーニング）におけるサービス及び解析を⽀援するAIの共同開発の開始 https://www.accelstars.com/news/2022-06-29.html

Slide 126

Slide 126 text

© 20221228 @tdys13 126 2022年の医療AI(番外編) 富⼠フイルム株式会社は株式会社ジンズのメガネ型デバイスを⽤いた AI技術による認知症スクリーニング検査⼿法の研究を開始引⽤富⼠フイルム株式会社 AI技術を⽤いた認知症スクリーニング検査⼿法の共同研究を開始 https://www.fujifilm.com/jp/ja/news/list/8719 引⽤サスメド株式会社 https://www.susmed.co.jp/application/ 2021年12⽉に上場したサスメド株式会社の不眠障害治療⽤アプリの薬事承認等にも引き続き注⽬がされる。

Slide 127

Slide 127 text

© 20221228 @tdys13 127 2022年の医療AI(番外編) 引⽤下野新聞肺がん検診にＡＩの⽬栃⽊県保健衛⽣事業団、画像診断ソフト初導⼊ https://www.wam.go.jp/content/wamnet/pcpub/top/fukushiiryounews/20220929_173500.html クリニックや地⽅⾃治体の検診にて AIシステムを⽤いた解析サービスやプログラム医療機器が使われるようになってきた。引⽤東京ミッドタウンクリニックお知らせ https://www.tokyomidtown-mc.jp/blog/2022/07/mvision-health.html 引⽤ iSurgery社、愛知県蒲郡市とAI×⾻粗しょう症の実証実験を開始 https://prtimes.jp/main/html/rd/p/000000003.000061960.html

Slide 128

Slide 128 text

© 20221228 @tdys13 128 2022年の医療AI(番外編) 引⽤エムスリーAI株式会社 M3 AI Platform https://m3comlp.m3.com/lp/m3com/m3-ai-platform?fbclid=IwAR27xrtymBS6NqnTECy6_RzTpPzsptYhGUKKVShiUhm0jk0KBo2HwrFR01Q エムスリー株式会社とPSP株式会社の合弁会社であるエムスリーAI株式会社が展開する“M3 AI Platform”ではAI技術を⽤いたプログラム医療機器が使⽤可能。⽇本国内3社に加え、連携をしている韓国・中国製のプログラム医療機器も使⽤可能。

Slide 129

Slide 129 text

© 20221228 @tdys13 129 2022年の医療AI(番外編) 引⽤アイリス株式会社、「nodoca®」を⽤いた感染症診断が保険適⽤。AI医療機器を⽤いる診断への新機能・新技術区分での適⽤は⽇本初。 https://prtimes.jp/main/html/rd/p/000000021.000035813.html 咽頭画像と患者情報からインフルエンザを診断⽀援するAI医療機器「nodoca(ノドカ)」⽇本⼈の医師が考案した視診察法をAIによって再現。・AI医療機器 - 新医療機器区分での薬事承認取得・従来法(イムノクロマト法)と全く同じ点数での保険適⽤が⽇本初となった(すごい)

Slide 130

Slide 130 text

Slide 131

Slide 131 text

Slide 132

Slide 132 text

Slide 133

Slide 133 text

© 20221228 @tdys13 133 「プログラムが医療機器に該当するか」に関してはきちんとフローが決まっているルールに則り該当性を確認する必要がある (おまけ)医療機器とは引⽤：プログラムの医療機器該当性に関するガイドラインについて https://www.mhlw.go.jp/content/11120000/000764274.pdf 詳しくは『プログラムの医療機器該当性に関するガイドラインについて』で検索！令和3年3⽉31⽇付で公表された資料の別紙に左図が付いている

Slide 134

Slide 134 text

Slide 135

Slide 135 text

© 20221228 @tdys13 135 薬事承認を申請する際は3区分の中から該当する医療機器区分を申請 (おまけ)医療機器とは引⽤：新医療機器等と改良・後発医療機器の区分および審査内容の違いについて https://www.pmda.go.jp/files/000155726.pdf p 新医療機器 - 既に製造販売の承認を受けている医療機器 (法第14 条の4第1項第1号及び第2号に規定する再審査期間を経過していないものを除く。以下、「既承認医療機器」という。)と構造，使⽤⽅法，効果または性能が明らかに異なる医療機器 p 改良医療機器 - 新医療機器にも後発医療機器にも該当しない医療機器 p 後発医療機器 - 既承認医療機器と構造、使⽤⽅法、効能、効果及び性能が同⼀性を有すると認められる医療機器。すなわち、既承認医療機器と構造、使⽤⽅法、効能、効果及び性能が実質的に同等であるもの治験臨床ありのみ治験

Slide 136

Slide 136 text

© 20221228 @tdys13 136 (おまけ)コンピュータ診断⽀援機器(CAD)の話発⾒鑑別⽣検治療⼿術 CAD :コンピュータ診断⽀援（Computer-Aided Diagnosis）とは、X 線画像に代表される放射線画像をはじめとする医⽤画像に対して、コンピュータで定量的に解析された結果を『第 2 の意⾒』として利⽤する『医師による診断の⽀援』である。 CADe(Computer-Aided Detection) : 画像上で病変の疑いのある部位をコンピュータが⾃動検出し、その位置をマーキングする機能を有する単体ソフトウェア⼜は当該ソフトウェアが組み込まれている装置。コンピュータにより医⽤画像データのみ⼜は医⽤画像データと検査データの両⽅を処理し、病変⼜は異常値の検出を⽀援する。引⽤：薬⽣機審発0523 第2号 PMDA 令和元年5⽉23⽇次世代医療機器評価指標の公表について https://www.pmda.go.jp/files/000229738.pdf

Slide 137

Slide 137 text

© 20221228 @tdys13 137 (おまけ)コンピュータ診断⽀援機器(CAD)の話発⾒鑑別⽣検治療⼿術 CAD :コンピュータ診断⽀援（Computer-Aided Diagnosis）とは、X 線画像に代表される放射線画像をはじめとする医⽤画像に対して、コンピュータで定量的に解析された結果を『第 2 の意⾒』として利⽤する『医師による診断の⽀援』である。 CADx(Computer-Aided Diagnosis) : 病変の疑いのある部位の検出に加え、病変候補に関する良悪性鑑別や疾病の進⾏度等の定量的なデータを数値やグラフ等として出⼒する機能を有する単体ソフトウェア⼜は当該ソフトウェアが組み込まれている装置。診断結果の候補やリスク評価に関する情報等の提供等により診断⽀援を⾏うものを含む。引⽤：薬⽣機審発0523 第2号 PMDA 令和元年5⽉23⽇次世代医療機器評価指標の公表について https://www.pmda.go.jp/files/000229738.pdf

Slide 138

Slide 138 text

© 20221228 @tdys13 138 (おまけ)コンピュータ診断⽀援機器(CAD)の話発⾒鑑別⽣検治療⼿術 CAD :コンピュータ診断⽀援（Computer-Aided Diagnosis）とは，X 線画像に代表される放射線画像をはじめとする医⽤画像に対して，コンピュータで定量的に解析された結果を『第 2 の意⾒』として利⽤する『医師による診断の⽀援』である． CADt(Computer-Aided Toriage) : CAD 技術を応⽤・拡張し、放射線科医が読影する前の撮影直後の画像を分析して、対処の緊急性の有無を専⾨医に提⽰・警告する装置。 ※まだ⽇本では区分として承認されてないものの、他国ではCADtで承認されているAI医療機器が既にある

Slide 139

Slide 139 text

Slide 140

Slide 140 text

Slide 141

Slide 141 text

Slide 142

Slide 142 text

Slide 143

Slide 143 text

Slide 144

Slide 144 text

Slide 145

Slide 145 text

Slide 146

Slide 146 text

Slide 147

Slide 147 text

© 20221228 @tdys13 引⽤： Artificial Intelligence and Machine Learning (AI/ML)-Enabled Medical Devices https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-aiml-enabled-medical-devices 147 AI医療機器のリスト(⽶国) ⽶・FDAがAI/ML搭載されている医療機器リストを最新版にアップデートして公表した。合計521機器が認可を受けている。リスト中には⽇本で薬事認証に当たる製品も含まれているため、⽇本国内でも薬事認証製品まで含めると、24製品以上のAI医療機器が認可されている。