AI×医用画像の現状と可能性_2023年版/AI×medical_imaging_in_japan_2023

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 20231229 @Tdys13 このまとめは轟が2018年から毎年年末*1 に趣味*2 でまとめているスライドの第7弾です。 2023年は様々な技術が社会に応⽤された年でした。特に⽣成AI領域は躍進したと感じられます。そんな今年も研究動向と事業動向を踏まえ、定点観測としてご紹介出来たらと思います説明などに⾄らぬ点もあるかと思いますが、今年もよろしくお願いします 2023 12.29 轟佳⼤ 2 *1:2020年のみ上半期/下半期があります。 *2:販売⽬的を伴う製品紹介は⼀切⾏っていません。趣味でプレスリリースから情報をまとめております。「AI×医⽤画像の現状と可能性」を⽣成AIにより画像化

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 20231229 @Tdys13 -所属- p 医療機器メーカー - AIリサーチャーとして次世代医療機器開発のAI技術研究開発担当 p 東京⼤学医学部附属病院バイオデザイン部⾨ - 外部研究員 -好きなもの- p ヘルスケアや最新技術の情報収集 p ワイン、アイス、サッカー、ボードゲーム、⿇雀、料理 -その他- p 講演活動や趣味でリサーチした情報をまとめたりしてます。 p 連絡先 [email protected]またはツイッターDM 5 轟佳⼤ (ﾄﾄﾞﾛｷﾖｼﾋﾛ) ：@Tdys13

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 20231229 @Tdys13 9 中でも機械学習技術の⼀⼿法である『深層学習技術』は⼈⼯知能の根幹技術である⼈⼯知能とは？引⽤：・NVIDIA ブログ⼈⼯知能、機械学習、ディープラーニングの違いとは https://blogs.nvidia.co.jp/2016/08/09/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© 20231229 @Tdys13 11 ⼤規模データで学習したAIモデル(基盤モデル、LLM、LVM等)が数年前から研究され、今年爆発的に流⾏している深層学習とは？(発展) ⾃⾝で0から学習させるAIモデル Pretrained-modelを転移学習させるAIモデル⼤規模データを学習したAIモデル今も多くの領域で主流⾃然⾔語領域や画像⽣成領域で突如主流⾃⾝が持っているデータ量分 (1G~100G) ⼤量のデータを学習 (100G~1000G) ⼤規模データを学習 (1000G~100P) 調整するパラメータ (102~106) 調整するパラメータ (108~1010) 調整するパラメータ (1011~1020)

Slide 12

Slide 12 text

© 20231229 @Tdys13 12 また2023年の流⾏ど真ん中にあった⾔語対話が可能なChatGPT、BardやLLaVA 画像⽣成のDreamStudio、Adobe Fireflyなどの⽣成AIサービスも多く登場した深層学習とは？(発展) ・ChatGPT https://openai.com/chatgpt ・Bard https://bard.google.com/chat ・Dream Studio https://dreamstudio.ai/ ・Adobe Firefly https://www.adobe.com/jp/products/photoshop/ai.html

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© 20231229 @Tdys13 18 深層学習モデル対照学習(※self supervised learningの⼀種) ラベルなしデータから独⾃のラベルを⽣成し学習させる学習⽅法とは？(ex :画像分類タスク) ペア①は似てるペア②は似てない →ペア②の負例は類似度を下げよう対照学習＝ラベルなしデータからアンカー画像を選択し、アンカー画像と近しい画像(正例)とアンカー画像と異なる画像(負例)の類似度を学習/分類をするアンカーアンカー正例負例ペア① ペア②

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© 20231229 @Tdys13 30 ⽇常で使われ始めたAI技術・画像⽣成 Stable DiffusionやMidJourneyなど・⾔語対話 OpenAI社のChatGPT&GPTs テキストを⼊⼒し、画像を⽣成するAIが引き続き流⾏した。技術進歩とともに、よりリアルになった 2023年にGPT4が登場し⾶躍的に精度が向上した。また⾃⾝でカスタマイズ可能なGPTsもリリースされた引⽤・MidJourney https://midjourney.com/home/?callbackUrl=%2Fapp%2F ・X https://x.com/nickfloats/status/1737728333797036378?s=20 引⽤・OpenAI.inc GPTs https://openai.com/blog/introducing-gpts 1960s street style photo of a young woman sitting on a sailboat wearing a green silk dress and a pearl necklace. The sun is setting over the ocean, shot on Agfa Vista 200

Slide 31

Slide 31 text

© 20231229 @Tdys13 31 ⽇常で使われ始めたAI技術・⾔語対話の応⽤ GPTをLINEで使える AIチャットくん・技術の組み合わせ誰でもAI Vtuberになれる LINEアカウントさえあれば最新のAI技術がLINE上で使えるテキスト読み上げサービスのVOICEVOXとテキストの⾃動⽣成サービスのmiiboを組み合わせて AI Vtuberを作る⼈も多くいる引⽤・AIチャットくん https://picon-inc.com/ai-chat 引⽤ VOICEVOX https://voicevox.hiroshiba.jp/ miibo https://mebo.work/ &

Slide 32

Slide 32 text

© 20231229 @Tdys13 32 ⽇常で使われ始めたAI技術・動画の⾃動⽣成 Runway Gen-2 ・⾳楽の⾃動⽣成誰でも楽曲が作れる画像を⼊⼒すると、その画像を動画に変換してくれる⽣成AI 曲を⾃動的に作ってくれる⽣成AI ⾃作の歌詞を⼊⼒もできる引⽤・Runway Gen2 https://research.runwayml.com/gen2 引⽤ suno.ai https://www.suno.ai/

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

© 20231229 @Tdys13 36 個⼈的に考えた2023年の深層学習×医⽤画像処理の研究トレンド • 実⾏環境の制限やデータの制限を対象とした新提案 - リソース制限環境下での最適化 - 学習時に組み込んでいない症例・疾患が推論時に紛れている際の提案 • モデルの頑健性向上のための新提案 - ドメインシフトに対する提案 - ノイズのあるデータに対する頑健性向上 • 他領域で発表された研究の医療分野応⽤研究 - ハイパースペクトル画像を⽤いた提案 - 基盤モデルを医療特化へ応⽤する提案 - ロボット⼿術へのAI応⽤提案

Slide 37

Slide 37 text

© 20231229 @Tdys13 37 個⼈的に考えた2023年の深層学習×医⽤画像処理の研究トレンド • Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案 - ⼿術映像の状況を把握して対応する - 症例画像に対する質疑応答 - Medical-VQAを推し進めるためのデータセット - オープンソース LLaVA-Med • Vision Language Model / Large Vision Foundation Model領域の新提案 - 複数の胸部X線データセットを学習 - 複数の眼底画像データセットを学習 - 複数のデータセットを学習 - 病理画像向けVision-Language Model • 個⼈的に関⼼がある研究 - 類似画像探索 - Trustworthy AI

Slide 38

Slide 38 text

© 20231229 @Tdys13 38 実⾏環境の制限やデータの制限を対象とした新提案 ü リソース制限環境下での最適化新たなセグメンテーション⼿法であるM3D-NCAの提案。 Raspberry Pi 4 Model B (2GB RAM)などのリソース制限がある環境でも 3Dセグメンテーションの精度を維持して実⾏出来るように最適化した研究。国際学会 MICCAI2023 採択 Young Scientist Award受賞横軸：パラメータ数、縦軸：Dice値予測時の分散可視化結果例 M3D-NCAの概略説明。軽量で、NCAによる確率性が予測間の分散を可視化出来る。・論⽂引⽤ Kalkhof, John, and Anirban Mukhopadhyay. "M3D-NCA: Robust 3D Segmentation with Built-In Quality Control." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. github M3D-NCA https://github.com/MECLabTUDA/M3D-NCA

Slide 39

Slide 39 text

© 20231229 @Tdys13 • 前情報：NCA(Neural Cell Automata)とは - 概要：Cell Automataに対してNNを適⽤したモデル。 - 課題：医⽤画像のセグメンテーションにも応⽤されているが、 ①学習が収束しにくいこと ②トレーニング時の⾼いVRAM消費が問題となっていた。 • 課題に対する本研究の新規提案：VRAMの要件を最⼩化し学習を安定化すること。 - ①に対する提案：バッチを複製して⼊⼒することで学習収束の安定性を実現。(Batch Duplication部) - ②に対する提案：サイズの異なる画像を⼊⼒、ダウンスケールして NCAを複数回実施し、アップスケールして⼊⼒元画像とconcatする。上記を複数回実施し、最終的に正解パッチとlossを算出し学習。 • 精度を安定させる試み：複数回実施した際に出⼒される外れ値に依存させないための正規化処理と閾値処理 - 外れ値対策： 𝜐! ∶ 画像ボリューム、𝑁 ∶ 予測回数より、 NQM(NCA-Quarity Metric)を算出。 - 閾値処理：NQMの結果数値を⽤いてDiceの検出閾値を設定。(Dice > NQM) 閾値処理により、未然にFP/FNとなりうる領域を特定し除外する。 39 実⾏環境の制限やデータの制限を対象とした新提案 ü リソース制限環境下での最適化・論⽂引⽤ Kalkhof, John, and Anirban Mukhopadhyay. "M3D-NCA: Robust 3D Segmentation with Built-In Quality Control." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. github M3D-NCA https://github.com/MECLabTUDA/M3D-NCA

Slide 40

Slide 40 text

© 20231229 @Tdys13 40 実⾏環境の制限やデータの制限を対象とした新提案 ü リソース制限環境下での最適化 NQMが⼤きいほど、予測結果領域における外れ値が多いため、除外部が増える。・論⽂引⽤ Kalkhof, John, and Anirban Mukhopadhyay. "M3D-NCA: Robust 3D Segmentation with Built-In Quality Control." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. github M3D-NCA https://github.com/MECLabTUDA/M3D-NCA

Slide 41

Slide 41 text

© 20231229 @Tdys13 41 実⾏環境の制限やデータの制限を対象とした新提案・論⽂引⽤ Yuan, Mingze, et al. "Devil is in the Queries: Advancing Mask Transformers for Real-world Medical Image Segmentation and Out-of-Distribution Localization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. ü 学習時に組み込んでいない症例・疾患が推論時に紛れている際の提案学習時に組み込んでいない疾患が推論時に登場した場合に、領域を区別をした上でoutliers tumorとしてクラス新規作成を⾏い認識させる研究。国際学会 CVPR2023 採択実世界における医⽤画像セグメンテーションは対象症例に限りなく類似している別症例も登場することがある。 a)元画像、b)正解画像、c)MSP、d)MaxLogit、e)SML、f)提案⼿法

Slide 42

Slide 42 text

© 20231229 @Tdys13 • 研究概要：前述 - 従来の課題①：学習分布外領域(OOD-Out Of Distribution)は臨床において危険な誤検出を引き起こす可能性がある。 - 従来の課題②：OODに対して精度が低い、もしくは検出できない。 • 課題に対する本研究の新規提案：Out of Localizationの提案 - 学習されていないOOD領域を識別するプロセス。 OODとInliers(学習済み領域)は背景とinliersより差分が⼩さいことを利⽤して対象領域/OOD領域/背景領域をLossより区別する。(左上図) • Out of Localizationの実現⽅法：Query Distribution Lossの提案 - 対象領域のクエリと背景、OODのクエリとの分布の差を最⼤化することで OOD領域/対象領域/その他背景と鮮明に区別ができる。(左下図) - 本研究におけるクエリとは学習モデルによって⽣成される⼀連のパラメータを指す。各クエリが画像内の領域やオブジェクトが持つ特有の特徴に対応する。 42 実⾏環境の制限やデータの制限を対象とした新提案 ü 学習時に組み込んでいない症例・疾患が推論時に紛れている際の提案・論⽂引⽤ Yuan, Mingze, et al. "Devil is in the Queries: Advancing Mask Transformers for Real-world Medical Image Segmentation and Out-of-Distribution Localization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.

Slide 43

Slide 43 text

© 20231229 @Tdys13 43 実⾏環境の制限やデータの制限を対象とした新提案 ü 学習時に組み込んでいない症例・疾患が推論時に紛れている際の提案・論⽂引⽤ Yuan, Mingze, et al. "Devil is in the Queries: Advancing Mask Transformers for Real-world Medical Image Segmentation and Out-of-Distribution Localization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. ・近年のMaskTransformer系研究をベースに構築・Object Queryは物体検出、ラベリングするための学習パラメータ（DETRと同じ）・初期値はランダム、出⼒はcluster centers(各クラスタを代表する中⼼点) Cluster centers結果を MLPにかけて分類グルーピングされたピクセルをクラスタと紐づけ、seg. logitを算出 nnUnet 各ピクセルがcluster centersとどれだけ類似しているか OoD領域の検出と、特定のクラスへの割当新提案)QDLoss OoD部を背景と誤認識させないロス

Slide 44

Slide 44 text

© 20231229 @Tdys13 44 実⾏環境の制限やデータの制限を対象とした新提案 ü 学習時に組み込んでいない症例・疾患が推論時に紛れている際の提案・論⽂引⽤ Yuan, Mingze, et al. "Devil is in the Queries: Advancing Mask Transformers for Real-world Medical Image Segmentation and Out-of-Distribution Localization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. a)元画像、b)正解画像、c)MSP、d)MaxLogit、e)SML、f)提案⼿法 OOD、Inlierともに提案⼿法が⾼精度となった学習分布外領域と学習済み領域をそれぞれ区別した上でセグメンテーションを提案し、各領域の認識精度が向上した。

Slide 45

Slide 45 text

© 20231229 @Tdys13 45 モデルの頑健性向上のための新提案 ü ドメインシフトに対する提案相互情報を⽤いて解剖学的特徴とドメイン特徴を明⽰的に分離することでドメインに依存しないセグメンテーション⼿法を提案した研究。国際学会 MICCAI2023 採択 US頚動脈データセットにおける⽐較結果・論⽂引⽤ Bi, Yuan, et al. "MI-SegNet: Mutual Information-Based US Segmentation for Unseen Domain Generalization." arXiv preprint arXiv:2303.12649 (2023). github MI-SegNet https://github.com/yuan-12138/MI-SegNet 右上表の可視化結果。⾚：偽陰性(FN)、ピンク：偽陽性(FP)、緑：真陽性(TP)

Slide 46

Slide 46 text

© 20231229 @Tdys13 46 モデルの頑健性向上のための新提案 ü ドメインシフトに対する提案・論⽂引⽤ Bi, Yuan, et al. "MI-SegNet: Mutual Information-Based US Segmentation for Unseen Domain Generalization." arXiv preprint arXiv:2303.12649 (2023). github MI-SegNet https://github.com/yuan-12138/MI-SegNet • 研究概要：前述 - 従来の課題①：超⾳波画像特有のドメインシフトによる性能劣化。 →超⾳波画像は操作者の違い・機械の違い・患者の違いなどに敏感。 - 従来の課題②：未知ドメインに対する⼀般化能⼒の限界 • 課題に対する本研究の新規提案：相互情報を⽤いたクロス再構成法。 - 元画像から2枚の画像に分け、2種類のEncoderを⽤いて解剖学的特徴とドメイン特徴に分離し、各画像の解剖学的特徴とドメイン特徴をかけあわせ4種の出⼒結果を得る。 - 相互情報は各画像から出⼒された特徴量をもとにKL divergenceを⽤いて算出される • データセットについて：すべての頸動脈超⾳波画像 - Train：シーメンス製超⾳波マシンで収集された1⼈の成⼈、2107枚 - Test ：ValS Trainデータセットから除外された200枚 TS1 Ultrasonixデバイスで収集された15⼈の成⼈、538枚 TS2 Toshibaデバイスで収集された2⼈の成⼈と1⼈の⼦供、433枚 TS3 Cephasonicsデバイスで収集された6⼈の成⼈、540枚

Slide 47

Slide 47 text

© 20231229 @Tdys13 47 モデルの頑健性向上のための新提案 ü ドメインシフトに対する提案・論⽂引⽤ Bi, Yuan, et al. "MI-SegNet: Mutual Information-Based US Segmentation for Unseen Domain Generalization." arXiv preprint arXiv:2303.12649 (2023). github MI-SegNet https://github.com/yuan-12138/MI-SegNet Train / Testで機器や患者が違うが、提案⼿法であるMI-SegNetはほぼ検出できている。推論結果⾚：偽陰性(FN)、ピンク：偽陽性(FP)、緑：真陽性(TP)

Slide 48

Slide 48 text

© 20231229 @Tdys13 48 モデルの頑健性向上のための新提案 ü ノイズのあるデータに対する頑健性向上データセットにノイズや外れ値が多い状況でも、精度の⾼いセグメンテーションを実現する損失関数T-Lossの提案研究国際学会 MICCAI2023 採択 Best Paper受賞 ISICデータセット(⽪膚がん)を対象にしたDiceスコア⽐較・論⽂引⽤ Gonzalez-Jimenez, Alvaro, et al. "Robust T-Loss for Medical Image Segmentation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. github Robust T-Loss for Medical Image Segmentation https://github.com/Digital-Dermatology/t-loss https://robust-tloss.github.io/ ISICデータセット(⽪膚がん)α&β=0.7のとき、 T-Lossのみラベルノイズの影響をiterationが増えても受けなかった ErodeとT-Lossの⽐較

Slide 49

Slide 49 text

© 20231229 @Tdys13 49 モデルの頑健性向上のための新提案 ü ノイズのあるデータに対する頑健性向上・論⽂引⽤ Gonzalez-Jimenez, Alvaro, et al. "Robust T-Loss for Medical Image Segmentation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. github Robust T-Loss for Medical Image Segmentation https://github.com/Digital-Dermatology/t-loss https://robust-tloss.github.io/ • T-Lossについて - Student-t分布の負の対数尤度に基づく。ラベルノイズに対する最適な耐性を逆誤差伝搬中に適応的に学習し、追加の計算等が不必要となる。 - 𝑦! ：真ラベル、𝑓" 𝑥! ：予測ラベル、𝜈：パラメータ • T-Lossの挙動 - 𝛿 = 𝑦! − 𝑓" 𝑥! としてT-Lossの挙動を考慮する 𝛿 → 0(⼩さな誤差)のとき、損失関数は𝛿# 𝛿 → ∞(⼤きな誤差)のとき、損失関数はlog 𝛿# • T-Lossの特性 - ラベルノイズに対する耐性を適応的に調整する。アノテーションの質が低い場合でもセグメンテーションが可能となる • T-Lossの情報 - GithubにプロジェクトページおよびT-Lossのコードあり T-Loss

Slide 50

Slide 50 text

© 20231229 @Tdys13 50 モデルの頑健性向上のための新提案 ü ノイズのあるデータに対する頑健性向上各データセットを⽤いて実験をした結果T-Lossを⽤いた場合に Diceスコアが最も⾼く精度が出ることが検証された・論⽂引⽤ Gonzalez-Jimenez, Alvaro, et al. "Robust T-Loss for Medical Image Segmentation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. github Robust T-Loss for Medical Image Segmentation https://github.com/Digital-Dermatology/t-loss https://robust-tloss.github.io/

Slide 51

Slide 51 text

© 20231229 @Tdys13 51 他領域で発表された研究の医療分野応⽤研究・論⽂引⽤ Sellner, Jan, et al. "Semantic segmentation of surgical hyperspectral images under geometric domain shifts." arXiv preprint arXiv:2303.10972 (2023). github Hyperspectral Tissue Classification https://github.com/IMSY-DKFZ/htc ü ハイパースペクトル画像を⽤いた提案ハイパースペクトルカメラを⽤いた⼿術中の物体形状が異なる・類似するオブジェクトへのドメインシフトに対する対応を提案した研究 ※ハイパースペクトルカメラは約100チャンネルの情報を持つ⾼機能カメラ(通常カメラはRGBの3チャンネル) 宇宙、⼯業、農業、バイオなどで主に活⽤されており、医療分野でも活⽤されている国際学会 MICCAI2023 採択開腹⼿術の際、学習時は主に肝臓、消化管が⾒える症例を収集し学習したとしても実利⽤の際に膀胱、胃など他・多臓器が⾒えることが⼀般的

Slide 52

Slide 52 text

© 20231229 @Tdys13 52 他領域で発表された研究の医療分野応⽤研究・論⽂引⽤ Sellner, Jan, et al. "Semantic segmentation of surgical hyperspectral images under geometric domain shifts." arXiv preprint arXiv:2303.10972 (2023). github Hyperspectral Tissue Classification https://github.com/IMSY-DKFZ/htc ü ハイパースペクトル画像を⽤いた提案 • 研究概要：前述 - 従来の課題①：幾何学的ドメインシフトによる性能劣化。 →Train/Test間に視覚的な変化・変形が発⽣することで性能が劣化する。(臓器の異なる形状等) • 課題に対する本研究の新規提案：⼿術時に特化したデータ⽔増し、Organ Transplantation - 背景をそのままで、対象臓器のみ⼊れ替える(左図(a) ) - Organ Transplantationはhide-and-Seek, Random Erasingなどのノイズ拡張やCutMix, Jigsawなどの画像ミキシングと組み合わせて使⽤される。 • 検証 - OOD症例に対する精度評価を実施した。 • Organ Transplantationについて - Githubにコードあり※1 ※1: https://github.com/IMSY-DKFZ/htc/blob/main/paper/MICCAI2023/OrganTransplantationExample.ipynb

Slide 53

Slide 53 text

© 20231229 @Tdys13 53 他領域で発表された研究の医療分野応⽤研究・論⽂引⽤ Sellner, Jan, et al. "Semantic segmentation of surgical hyperspectral images under geometric domain shifts." arXiv preprint arXiv:2303.10972 (2023). github Hyperspectral Tissue Classification https://github.com/IMSY-DKFZ/htc ü ハイパースペクトル画像を⽤いた提案 RGB、HSIの各画像に対してBaseline(アフィン変換)とOrgan Transplantationを⽐較した結果 Diceスコアの向上が確認された

Slide 54

Slide 54 text

© 20231229 @Tdys13 54 他領域で発表された研究の医療分野応⽤研究・論⽂引⽤ Segment Anything Kirillov, Alexander, et al. "Segment anything." arXiv preprint arXiv:2304.02643 (2023). Segment Anything https://segment-anything.com/ ü 基盤モデルを医療特化へ応⽤する提案 2023年4⽉、Meta社(旧Facebook)がSAM(Segment Anything)という基盤モデルを発表した。 1,100万枚の画像と10億枚以上のセグメンテーションマスクを学習し、追加で学習を必要としないZero-shotモデル。⼊⼒画像に対するテキストプロンプト操作、Bbox操作、1ポイント操作など様々な機能が実装されている arXiv オープンソース化

Slide 55

Slide 55 text

© 20231229 @Tdys13 55 他領域で発表された研究の医療分野応⽤研究・論⽂引⽤ Med-SAM Segment Anything in Medical Images Ma, Jun, and Bo Wang. "Segment anything in medical images." arXiv preprint arXiv:2304.12306 (2023). github Med-SAM https://github.com/bowang-lab/MedSAM ü 基盤モデルを医療特化へ応⽤する提案 Metaが開発したSAM(Segment Anything)を医⽤画像に特化させた研究⼿術動画のスナップショットからテキストプロンプトで指定した箇所をセグメンテーションするAdaptiveSAM アノテーション付き⼤規模CT画像データセットであるMICCAI FLARE2022や病理画像、MRI画像など計100万枚以上を Fine-tune時に学習させたMed-SAM ・論⽂引⽤ AdaptiveSAM: Towards Efficient Tuning of SAM for Surgical Scene Segmentation Paranjape, Jay N., et al. "Adaptivesam: Towards efficient tuning of sam for surgical scene segmentation." arXiv preprint arXiv:2308.03726 (2023). arXiv arXiv

Slide 56

Slide 56 text

© 20231229 @Tdys13 56 他領域で発表された研究の医療分野応⽤研究・論⽂引⽤ Huang, Yuhao, et al. "Segment anything model for medical images?." Medical Image Analysis (2023): 103061. ü 基盤モデルを医療特化へ応⽤する提案 SAMとMed-SAMを応⽤した研究。 53の医⽤画像オープンデータセットを⽤いて (18モダリティ、84オブジェクト、125のオブジェクト-モダリティペアデータ) 計105万枚の2D画像、6033万枚のマスク画像を含む⼤規模データセットCOSMOS1050Kを構築。⼤規模データセットを使い医療に特化した基盤モデルを作成。 Medical Image Analysis掲載

Slide 57

Slide 57 text

© 20231229 @Tdys13 57 他領域で発表された研究の医療分野応⽤研究・論⽂引⽤株式会社Preferred Networks 医⽤画像セグメンテーションに向けた基盤モデルの fine-tuning ⼿法の検討 https://tech.preferred.jp/ja/blog/fine-tuning-for-medical-image-fundation-model/ 株式会社Preferred Networks Segment Anything Modelの3次元医⽤画像応⽤ https://tech.preferred.jp/ja/blog/sam-for-3d-medical-images/ ü 基盤モデルを医療特化へ応⽤する提案⽇本のユニコーンスタートアップであるPreferred Networks社もインターンの⽅が研究をした「SAMの医療応⽤に関する検討と課題をまとめたリサーチ結果」をブログで公表している

Slide 58

Slide 58 text

© 20231229 @Tdys13 58 他領域で発表された研究の医療分野応⽤研究・論⽂引⽤ Wang, An, et al. "SAM Meets Robotic Surgery: An Empirical Study on Generalization, Robustness and Adaptation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. ü ロボット⼿術へのAI応⽤提案「⼿術シーンから術具をセグメンテーション」するSurgicalSAMの提案研究。今年は基盤モデルの医療応⽤研究が数多く増えた。国際学会 MICCAI2023 採択 a)影、b)遮蔽、c)光の反射、d)モーションブラー、e)過度な明るさ、f)不明瞭な縫合⽷ Vanilla SAMを⽤いると、BBox機能ではある程度精度⾼く表⽰をしたが 1point機能ではそのままでは術具セグメンテーションには応⽤できない

Slide 59

Slide 59 text

© 20231229 @Tdys13 59 他領域で発表された研究の医療分野応⽤研究・論⽂引⽤ Wang, An, et al. "SAM Meets Robotic Surgery: An Empirical Study on Generalization, Robustness and Adaptation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. ü ロボット⼿術へのAI応⽤提案 • 研究概要：前述 - 従来の課題①：vanilla SAMだとセグメンテーション精度が未熟な場⾯がある • 課題に対する本研究の新規提案：⼿術シーンに特化したSurgical SAMの提案 - 画像部 - 事前学習済みSAMのImage Encoderをそのまま利⽤し重み更新⽬的で軽量なLoRAを組み込む。 - ⼿術シーンのドメイン知識を効率的にLoRAレイヤーに保存する - テキスト部 - Prompt Encoderを更新し、Mask Decoderのヘッド部を変更しカテゴリ別の予測⽣成を出来るモデルへと変更 - Automatic Mask Generation - 画像部、テキスト部を組み合わせることで、プロンプト⼊⼒が不必要で⾃動的にマスクを⽣成するSAM AMGが構築される。 • SurgicalSAMについて - コード準備中とのこと SAMから流⽤ LoRAを組み込みドメイン知識確保を⽬指す Fine-tune中に重みを更新する⼿術シーンの表現をカテゴリ別に予測⽣成する

Slide 60

Slide 60 text

© 20231229 @Tdys13 60 他領域で発表された研究の医療分野応⽤研究・論⽂引⽤ Chiu, Zih-Yun, Florian Richter, and Michael C. Yip. "Real-Time Constrained 6D Object-Pose Tracking of An In-Hand Suture Needle for Minimally Invasive Robotic Surgery." 2023 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2023. ü ロボット⼿術へのAI応⽤提案 (AIは組み込まれていないが⾯⽩いのでご共有) ロボット領域の世界トップカンファレンスであるICRAにて発表されたロボット⼿術時の⾃動縫合を実現するための6次元ポーズ追跡をリアルタイムかつ正確に⾏う研究。国際学会 ICRA2023 採択 Outstanding Healthcare and Medical Robotics Paper受賞制約とは：物を掴む際の物理的な相互作⽤や現実的な⾓度等を指す。制約あり⼿法では各画像でグリッパーと縫合⽷の現実的な関係を表⽰できた。ただし制約を組み込むためには正確なモデリングや複雑な条件の明⽰、また計算するためのコストを要する。超理想は制約無しでのリアルタイム予測＆追跡 Da Vinciでの実際の画像。 Unconstrained:制約なしの⼿法、側⾯画像が⾮現実的になっている Constrained:制約ありの⼿法、上⾯画像・側⾯画像がともに現実的になっている

Slide 61

Slide 61 text

© 20231229 @Tdys13 提案⼿法(LV-GPT2)と他のVQAモデルとの⽐較。 61 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案・論⽂引⽤ Seenivasan, Lalithkumar, et al. "SurgicalGPT: End-to-End Language-Vision GPT for Visual Question Answering in Surgery.” arXiv preprint arXiv:2304.09974 (2023). github surgicalGPT https://github.com/lalithjets/SurgicalGPT ü ⼿術映像の状況を把握して対応する⼿術シーン状況を把握したうえで、質問に対して回答をしてくれる訓練可能なSurgicalGPT(LV-GPT / Language Vision GPT)の提案研究。国際学会 MICCAI2023採択ベンチマークの⽐較結果

Slide 62

Slide 62 text

© 20231229 @Tdys13 62 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案・論⽂引⽤ Seenivasan, Lalithkumar, et al. "SurgicalGPT: End-to-End Language-Vision GPT for Visual Question Answering in Surgery.” arXiv preprint arXiv:2304.09974 (2023). github surgicalGPT https://github.com/lalithjets/SurgicalGPT ü ⼿術映像の状況を把握して対応する GPT2を使⽤質問をトークン化視覚情報を保持するビジョントークンを出⼒特徴抽出器として 3種のモデルが採⽤⼊⼒された質問(上の段)と外科⼿術シーン(下の段)はトークン化され Embeddingを⾏いシーケンス化されて回答を予測する回答を出⼒

Slide 63

Slide 63 text

© 20231229 @Tdys13 63 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案・論⽂引⽤ Seenivasan, Lalithkumar, et al. "SurgicalGPT: End-to-End Language-Vision GPT for Visual Question Answering in Surgery.” arXiv preprint arXiv:2304.09974 (2023). github surgicalGPT https://github.com/lalithjets/SurgicalGPT ü ⼿術映像の状況を把握して対応する WordトークンとImageトークンのどちらを先に処理するかによって精度が変わるのかを検証した。結果としてWordトークンを先に処理したほうが精度が向上した。 →GPTを⽤いたVQAモデルではトークンシーケンスの順序が精度に影響を与える可能性がある

Slide 64

Slide 64 text

© 20231229 @Tdys13 64 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案・論⽂引⽤ Seenivasan, Lalithkumar, et al. "SurgicalGPT: End-to-End Language-Vision GPT for Visual Question Answering in Surgery.” arXiv preprint arXiv:2304.09974 (2023). github surgicalGPT https://github.com/lalithjets/SurgicalGPT ü ⼿術映像の状況を把握して対応するモノポーラカーブドシザーズとは？ prograsp forcepsはどこにある？などの質問に対して単語だが回答をしている最新モデルのGPT4ではどうなる？(きっと2024年の学会に投稿されるはず)

Slide 65

Slide 65 text

© 20231229 @Tdys13 65 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案・論⽂引⽤ Sergio Tascon-Morales “Localized Questions in Medical Visual Question Answering” Appears in Medical Image Computing and Computer Assisted Interventions (MICCAI), 2023 ü 症例画像に対する質疑応答 Medical VQAにおいて画像全体ではなく特定領域に焦点を当てた質問に対して回答を⾏うアプローチの提案研究国際学会 MICCAI2023 採択丸枠、矩形領域における質問を⼊⼒し回答を出⼒する様々な⼊⼒⽅法と⽐較しても提案⼿法が精度が⾼くなった。

Slide 66

Slide 66 text

© 20231229 @Tdys13 66 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案・論⽂引⽤ Sergio Tascon-Morales “Localized Questions in Medical Visual Question Answering” Appears in Medical Image Computing and Computer Assisted Interventions (MICCAI), 2023 ü 症例画像に対する質疑応答対象領域を矩形で囲んだ画像を⼊⼒対象領域の質問を実施⼊⼒画像の特徴抽出対象領域の重要部を Text, Image Embeddingsより可視化したものマスクと掛け合わせ重要部の領域を制限したもの重み付け特徴マップと質問Embeddingsをかけあわせ最終出⼒を得る出⼒として重み付け特徴マップ

Slide 67

Slide 67 text

© 20231229 @Tdys13 67 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案・論⽂引⽤ Sergio Tascon-Morales “Localized Questions in Medical Visual Question Answering” Appears in Medical Image Computing and Computer Assisted Interventions (MICCAI), 2023 ü 症例画像に対する質疑応答オレンジが正解、⾚が不正解質問領域に対して切り抜いて認識(Crop region) / 矩形部を注⼒的に認識(Draw region) / 質問領域を注⼒しつつ全体を認識(Ours) だと提案⼿法が最も認識をしていた

Slide 68

Slide 68 text

© 20231229 @Tdys13 68 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案・論⽂引⽤ Bae, Seongsu, et al. "EHRXQA: A Multi-Modal Question Answering Dataset for Electronic Health Records with Chest X-ray Images." arXiv preprint arXiv:2310.18652 (2023). EHRXQA https://github.com/baeseongsu/ehrxqa ü Medical-VQAを推し進めるためのデータセット電⼦健康記録(EHR)と胸部X線画像を組み合わせた多モーダルな質問応答⽤データセットを構築した研究これまで公表されているオープンソースをより解くべき課題向けに構造化した研究なども登場している。国際学会NeurIPS2023 採択 MIMIC-IV：テーブルモダリティ MIMIC-CXR：画像モダリティ Chest ImaGenome：MIMIC-CXRの⾼品質注釈バージョンの3タイプデータセットを統合し、Medical-QAに特化したデータセットを作成

Slide 69

Slide 69 text

© 20231229 @Tdys13 69 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案・論⽂引⽤ LLaVA https://llava-vl.github.io/ Liu, Haotian, et al. "Visual instruction tuning.” arXiv preprint arXiv:2304.08485 (2023). ü オープンソース LLaVa-Med 2023年7⽉にオープンソースとして発表されたLLaVAを医療に特化させたLLaVA-Med。さらにLLaVA-Medもオープンソース化されている。 LLaVAを医療に特化させチューニングしたLLaVA-Med Microsoftが発表したLarge Language and Vision Assistantモデル CLIP ViT-L/14とVicunaをベースに構築されている。国際学会NeurIPS2023採択国際学会NeurIPS2023採択・論⽂引⽤ LLaVA-Med https://github.com/microsoft/LLaVA-Med Li, Chunyuan, et al. "Llava-med: Training a large language-and-vision assistant for biomedicine in one day." arXiv preprint arXiv:2306.00890 (2023).

Slide 70

Slide 70 text

© 20231229 @Tdys13 70 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案・論⽂引⽤ LLaVA https://llava-vl.github.io/ Liu, Haotian, et al. "Visual instruction tuning.” arXiv preprint arXiv:2304.08485 (2023). ü オープンソース LLaVa-Med LLaVA-Med / LLaVA / GPT-4の⽐較。 LLaVA-Medは医学知識を⽤いて正確に回答が可能。 LLaVAはハルシネーションを起こしているように振る舞う。 GPT-4は⾔語のみだが、Captionを伝えた上で対話を実施すると知識のある回答をしてくれる。・論⽂引⽤ LLaVA-Med https://github.com/microsoft/LLaVA-Med Li, Chunyuan, et al. "Llava-med: Training a large language-and-vision assistant for biomedicine in one day." arXiv preprint arXiv:2306.00890 (2023).

Slide 71

Slide 71 text

© 20231229 @Tdys13 71 Vision Language Model / Large Vision Foundation Model領域の新提案・論⽂引⽤ Ma, DongAo, et al. "Foundation Ark: Accruing and Reusing Knowledge for Superior and Robust Performance." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. ü 複数の胸部X線データセットを学習多数のオープンデータセットを統合し学習したFoundation Model。多数のオープンデータセット内の異なる専⾨家のアノテーションから知識を突合、再利⽤し⾼性能な基盤モデルを開発。国際学会 MICCAI2023 採択 BestPaper受賞 ImageNet(IN)で事前学習しCXRでfinetuneしたSimMIMよりも Ark-6が最も精度が⾼く分類とセグメンテーション出来ている統合したデータセット Pの上から5種がArk-5, 6種がArk-6

Slide 72

Slide 72 text

© 20231229 @Tdys13 72 Vision Language Model / Large Vision Foundation Model領域の新提案・論⽂引⽤ Ma, DongAo, et al. "Foundation Ark: Accruing and Reusing Knowledge for Superior and Robust Performance." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. ü 複数の胸部X線データセットを学習 • 研究概要：前述 - 従来の課題①：専⾨医レベルに到達するには膨⼤なアノテーション済みデータが必要。 Google-CXRは821,544枚のアノテーション済みデータを学習している。 • 課題に対する本研究の新規提案：オープンデータを結合しアノテーターの知識と多様な対象画像を再利⽤。 - 学習に5-6種のオープンデータを使⽤する。 • 学習モデルArkについて - Teacher-Student Modelを採⽤ - Student側、Cyclic Pretrainingを実施 - モデルが複数のタスクから順番に学習し、過去のタスクにて蓄積された情報を再利⽤していく。 - Teacher側への伝搬 - EMAを⽤いてStudentモデル1エポックの学習に基づき更新され、すべてのタスク、すべてのラベルにおいて学習が進む。

Slide 73

Slide 73 text

© 20231229 @Tdys13 73 Vision Language Model / Large Vision Foundation Model領域の新提案・論⽂引⽤ Ma, DongAo, et al. "Foundation Ark: Accruing and Reusing Knowledge for Superior and Robust Performance." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. ü 複数の胸部X線データセットを学習 (a) Linear probingの結果 1,2,10においてArk-6はAUCが⼤きく上回っているまた3においてはArk-6とCXR-FMと同等 (b) ⼩規模データ環境において認識精度がArk-5,6ともにCXR-FMを上回っている Arkモデルがより少ない学習データで⾼品質の表現を捉えることが出来る (a) 性別における偽陰性率(FN Rate) ⽐較した結果、Arkモデルは性別の不均衡データに対して頑健であることが判明した。 (b) 推論時に⼥性患者データを⼊⼒した際のAUC 緑円はCXR-FMだが、Arkモデルより差が開いている。

Slide 74

Slide 74 text

© 20231229 @Tdys13 74 ・論⽂引⽤ Silva-Rodriguez, Julio, et al. "A Foundation LAnguage-Image model of the Retina (FLAIR): Encoding expert knowledge in text supervision." arXiv preprint arXiv:2308.07898 (2023). FLAIR projectpページ https://jusiro.github.io/projects/flair ü 複数の眼底画像データセットを学習 Vision-Languageモデル FLAIRの提案。 37のオープンデータセットから97ターゲット、284,660枚の眼底画像を収集しデータセットを作成した。 arXiv FLAIRのモデル概略各Encoder部の詳細なし学習に使⽤していない疾患症例に対してもzero-shotで⾼精度な推論が可能である。 Vision Language Model / Large Vision Foundation Model領域の新提案

Slide 75

Slide 75 text

© 20231229 @Tdys13 75 ・論⽂引⽤ Nguyen, Duy MH, et al. "LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching." arXiv preprint arXiv:2306.11925 (2023). github LVM-Med https://github.com/duyhominhnguyen/LVM-Med ü 複数のデータセットを学習 55のオープンデータセットから 130万枚の医⽤画像(CT、MRI、X線、超⾳波、病理、内視鏡、⽪膚、眼底)を学習した LVM-Med arXiv LVM-Medが対応する部位⼀覧 Vision Language Model / Large Vision Foundation Model領域の新提案実験結果の⽐較学習データセットの割合

Slide 76

Slide 76 text

© 20231229 @Tdys13 76 ・論⽂引⽤ Nguyen, Duy MH, et al. "LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching." arXiv preprint arXiv:2306.11925 (2023). github LVM-Med https://github.com/duyhominhnguyen/LVM-Med ü 複数のデータセットを学習 Vision Language Model / Large Vision Foundation Model領域の新提案 • 研究概要：前述 - 従来の課題①：限定的なアノテーション付きデータを⽤いて新しいタスクへ微調整で適合出来るような医療特化の事前学習モデルはまだ確⽴されたものがなかった。 • 課題に対する本研究の新規提案：医療に特化したLVMの開発 - ⼤規模画像データで学習することで精度と汎化性能向上を⽬指す。 • 学習モデルLVM-Medについて - ⾃⼰教師あり対照学習を採⽤し、画像のpair-wise類似度メトリックスに基づき学習。 - Encoder, ProjectorにはResnet50 or ViTが使⽤されている。 - 出⼒された結果からグラフマッチングをにより画像の特徴埋め込み間の関係性を捉えて学習する。 • 有効性検証 - セグメンテーション、分類、detectionなど15種のタスクにおいて検証をした。

Slide 77

Slide 77 text

© 20231229 @Tdys13 77 ・論⽂引⽤ Nguyen, Duy MH, et al. "LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching." arXiv preprint arXiv:2306.11925 (2023). github LVM-Med https://github.com/duyhominhnguyen/LVM-Med ü 複数のデータセットを学習 Vision Language Model / Large Vision Foundation Model領域の新提案 2D Segmentationの精度⽐較 3D Segmentationの精度⽐較プロンプトベースSegmentationの精度⽐較学習済み、未学習症例を含めた2D Segmentationの精度⽐較各実験にてLVM-Medは好成績を達成した

Slide 78

Slide 78 text

© 20231229 @Tdys13 78 ・論⽂引⽤ Huang, Zhi, et al. "Leveraging medical Twitter to build a visual‒language foundation model for pathology AI." bioRxiv (2023): 2023-03. ü 病理画像向けVision-Language Model Xから収集した病理画像と解説ツイートを基に独⾃データセットを作成し、提案基盤モデルであるPLIP(Pathology Language-Image Pairing)を学習、学習結果からプロンプト⼊⼒による画像探索や、類似画像探索を実⾏する研究 bioRxiv X(Twitter)に投稿されている病理画像と疾患名をペアで収集して 208,414枚のペアデータが格納されたデータセットを作成 Vision Language Model / Large Vision Foundation Model領域の新提案収集したデータセットでVision-Language モデル(PLIP)の学習を⾏う PLIPを⽤いて画像探索等の⾔語・画像応対を実施する

Slide 79

Slide 79 text

© 20231229 @Tdys13 79 個⼈的に関⼼のある領域・論⽂引⽤ Kobayashi, Kazuma, et al. "Sketch-based semantic retrieval of medical images." Medical Image Analysis (2023): 103060. 国⽴がん研究センタースケッチでCTやMRI画像を検索できる⼈⼯知能技術による⾰新的な医⽤画像検索システムを開発 https://www.ncc.go.jp/jp/information/researchtopics/2023/1222/index.html ü 類似画像探索⾃らスケッチをした医⽤画像に類似した画像探索を提案する研究とても⾯⽩い！ Medical Image Analysis掲載

Slide 80

Slide 80 text

© 20231229 @Tdys13 80 個⼈的に関⼼のある領域・論⽂引⽤ Wang, Boxin, et al. "DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models." arXiv preprint arXiv:2306.11698 (2023). Microsoft Research Blog DECODINGTRUST: A Comprehensive Assessment of Trustworthiness in GPT Models https://www.microsoft.com/en-us/research/blog/decodingtrust-a-comprehensive-assessment-of-trustworthiness-in-gpt-models/ ü Trustworthy AI LLMのための信頼性評価プラットフォームを開発した。信頼性評価の基準として公平性、プライバシー、攻撃性などの視点が考慮される。国際学会 NeurIPS2023採択国際学会 NeurIPS2023採択・論⽂引⽤ Zou, Ke, et al. "EvidenceCap: Towards trustworthy medical image segmentation via evidential identity cap.” arXiv preprint arXiv:2301.00349 (2023). エビデンスや確信度に基づいたセグメンテーションの提案

Slide 81

Slide 81 text

Slide 82

Slide 82 text

Slide 83

Slide 83 text

© 20231229 @Tdys13 83 今後の医療AI領域の⾏く末は？？様々な調査機関・企業が診断⽀援・診療⽀援領域におけるAI市場予測を⽴てている。『全世界で188億ドルにまで市場成⻑する』と⾒込む予測も出てきたりしている。・引⽤ Artificial intelligence (AI) in healthcare market size worldwide from 2021 to 2030 https://www.statista.com/statistics/1334826/ai-in-healthcare-market-size-worldwide/ ・引⽤株式外社⽮野経済研究所診断・診療⽀援AIシステム市場に関する調査を実施（2023年） https://yano.co.jp/press-release/show/press_id/3241

Slide 84

Slide 84 text

Slide 85

Slide 85 text

Slide 86

Slide 86 text

Slide 87

Slide 87 text

© 20231229 @Tdys13 87 2023年の⽇本における医療AI事業(脳部) 引⽤株式会社ERISA SupportBrain https://dementiarisk.erisa.co.jp/?_gl=1*go6wg4*_ga*MTUyNjE2OTE4NS4xNzAyOTkyNzU3*_ga_49ZNR17NEW*MTcwMzYwOTQ4MS40LjEuMTcwMzYwOTQ4OS4wLjAuMA.. 株式会社ERISA AI（⼈⼯知能）が健康⽀援 ERISA独⾃の3年後の認知症将来リスク検査サービス脳MRI画像解析がより⾝近に https://prtimes.jp/main/html/rd/p/000000002.000128514.html p メモ - AIによる「現在の脳萎縮パターン判定」と「3年後の認知症リスク判定」の2サービスを提供 - 検査結果レポートの郵送が39,800円、検査結果レポートの郵送＆医師によるオンライン説明が49,800円 - メディカルスキャニングクリニックを展開する検診グループと連携。 [株式会社ERISA×国内⼤⼿検診グループ] ERISA独⾃の3年後の認知症将来リスク検査サービスSupportBrainを⾸都圏40クリニックで提供開始。

Slide 88

Slide 88 text

© 20231229 @Tdys13 88 2023年の⽇本における医療AI事業(眼部) 引⽤ OUI inc. アジアドライアイ診断基準に則った、世界初のドライアイAI診断モデルの開発 https://prtimes.jp/main/html/rd/p/000000034.000064389.html p メモ - 既に医療機器実⽤化をしたスマートフォンアタッチメント型細隙灯顕微鏡を⽤いてデータを収集。 - アジアにおけるドライアイの診断基準で最も重要な臨床パラメータの涙液層破壊時間（TFBUT - tear breakup time)の推定を⾏い、ドライアイ診断AIの開発を⽬指した。 - 79症例動画から学習を実施、感度0.778/特異度0.857に到達。 [OUI Inc.×慶應義塾⼤学医学部眼科学教室] アジアドライアイ診断基準に則った、世界初のドライアイAI診断モデルの開発 &研究論⽂をジャーナル誌に発表。

Slide 89

Slide 89 text

© 20231229 @Tdys13 89 2023年の⽇本における医療AI事業(眼部) p メモ - ⾃治医科⼤学が萎縮型加齢⻩斑変性症の眼底画像を収集し、DeepEyeVisionが開発したAIアルゴリズムで⾃然経過の測定と解析を実施する。 - AIによる解析結果を元に、⽇本⼈の萎縮型AMD発症と成⻑に対するイメージングバイオマーカーを明らかにし、将来の治療薬導⼊に備えた探索を⾏う。 [DeepEyeVision株式会社×⽇本ベーリンガーインゲルハイム株式会社×⾃治医科⼤学] AIを活⽤し、眼科領域における有効な治療法の探索を⽬的とした共同研究を開始。引⽤⽇本ベーリンガーインゲルハイム株式会社⾃治医科⼤学、DeepEyeVisionとベーリンガーインゲルハイム、AIを活⽤し、眼科領域における有効な治療法の探索を⽬的とした共同研究を開始 https://deepeyevision.com/news20230130/

Slide 90

Slide 90 text

© 20231229 @Tdys13 90 2023年の⽇本における医療AI事業(眼部) p メモ - MiiS社製のハンディ型眼底画像撮影装置ライアンスコープと AI機能を⽤いた⽩斑や出⾎等の症状を検出するジュリーアイを販売開始した。 - ライアンスコープおよびジュリーアイは既に薬事認証を取得している。 [クレアボ・テクノロジーズ株式会社×Medimaging Integrated Solution Inc.] MiiS社製「眼底撮影装置ライアンスコープ」および「画像解析ソフトウエアジュリーアイ」の⽇本独占販売開始。引⽤クレアポ・テクノロジーズ株式会社 MiiS社製「眼底撮影装置ライアンスコープ」および「画像解析ソフトウエアジュリーアイ」の⽇本独占販売開始について https://www.clairvotech.com/news/Miis_release_0210.html

Slide 91

Slide 91 text

© 20231229 @Tdys13 91 2023年の⽇本における医療AI事業(⼝腔内) p メモ - 2019年に⻭周病発⾒AIの共同研究開始を発表していた。 - 開発した⻭周病発⾒AIアプリケーションは富⼭県⻭科医師会協⼒の下、⾃治体での実証実験にて「⻭周病罹患可能性を判定するAIアプリケーションの健診利⽤」を想定している。 - 今後は薬事承認取得を⽬指す。 [株式会社NTTドコモ×東北⼤学] ⻭周病発⾒AIアプリケーションが厚⽣労働省「⻭周病等スクリーニングツール開発⽀援事業」に認定。薬事承認取得を⽬指す。引⽤株式会社NTTドコモ「⻭周病発⾒ AI アプリケーション」が厚⽣労働省「⻭周病等スクリーニングツール開発⽀援事業」に選定 https://www.docomo.ne.jp/binary/pdf/info/news_release/topics_230929_01.pdf

Slide 92

Slide 92 text

© 20231229 @Tdys13 92 2023年の⽇本における医療AI事業(乳部) p メモ - 慶應義塾⼤学病院を含めた9施設との共同研究にて収集した7,000枚超の乳房超⾳波画像をAIの学習と評価に⽤いた。 - 本機器は検診等のスクリーニング段階での利⽤を⽬的として開発をした。 - 性能評価を踏まえ、2023年2⽉に薬事承認を申請した(審査中)。 [株式会社Smart Opinion×慶應義塾⼤学病院等9病院] 乳がん向け乳房超⾳波画像AI診断⽀援ソフトウェアの医療機器承認を申請。引⽤株式会社Smart Opinion 乳がん向け乳房超⾳波画像AI診断⽀援ソフトウェアの医療機器承認を申請 https://www.smartopi.com/metiseyepmda

Slide 93

Slide 93 text

© 20231229 @Tdys13 93 2023年の⽇本における医療AI事業(⼼臓部) p メモ - 発作が起きていない正常時の⼼電図波形から⼼房細動の兆候をAIで検出するSaMD。 - 新医療機器として薬事承認を申請した(審査中)。 - 性能評価試験の結果は欧州⼼臓学会議(ESC2023)にて発表済み。 [株式会社カルディオインテリジェンス×国際医療福祉⼤学三⽥病院等3施設] 正常な⼼電図波形から代表的な不整脈である⼼房細動の“兆候”を検出するAI医療機器の医療機器承認を申請。引⽤株式会社カルディオインテリジェンス発作性⼼房細動の“兆候”を検出し⾒逃しを防ぐAI医療機器を新医療機器承認申請 https://prtimes.jp/main/html/rd/p/000000018.000063574.html

Slide 94

Slide 94 text

© 20231229 @Tdys13 94 2023年の⽇本における医療AI事業(肺部) p メモ - 2020年に薬事承認を取得した後、2021年に軽微変更を実施した。今回IDATEN制度を活⽤し、さらなる製品のバージョンアップデートを実施した。 - 旧モデルより感度が向上し、旧モデルでは偽陽性や偽陰性だった難しい症例に対しても改善が⾒られた。 [エルピクセル株式会社] 薬事承認取得済みAI医療機器であるEIRL Chest Noduleに対する IDATEN制度を利⽤した製品バージョンアップを完了。検出精度を向上させた新モデルをリリース。引⽤エルピクセル株式会社胸部X線画像から「肺がん」が疑われる肺結節候補域を検出する医⽤画像解析ソフトウェア「EIRL Chest Nodule」、IDATEN制度を活⽤し、検出感度を向上させた新モデルをリリース https://prtimes.jp/main/html/rd/p/000000059.000010005.html

Slide 95

Slide 95 text

© 20231229 @Tdys13 95 2023年の⽇本における医療AI事業(肺部) p メモ - 胸部単純X線画像を解析し、線維化を伴う間質性肺疾患(線維化ILD)に⾒られる所⾒を検出し確信度スコアを提⽰するプログラム。 - エムスリー株式会社と札幌医科⼤学が実施した共同研究で開発したAIモデルを改良し製品化。 - 4,000枚以上の検査画像データを学習に使⽤した。 [エムスリー株式会社×⽇本ベーリンガーインゲルハイム株式会社] 共同開発した線維化を伴う間質性肺疾患の検出⽀援を⾏う AI医療機器「BMAX」の承認取得・提供開始。引⽤⽇本ベーリンガーインゲルハイム株式会社エムスリーと⽇本ベーリンガーインゲルハイムが共同開発した線維化を伴う間質性肺疾患の検出⽀援を⾏うAI医療機器「BMAX」の承認取得・提供開始 https://www.boehringer-ingelheim.com/jp/press-release/20231130-01

Slide 96

Slide 96 text

© 20231229 @Tdys13 96 2023年の⽇本における医療AI事業(胃部) p メモ - 消化器内視鏡専⾨医が正確にアノテーションをした「がん画像」150枚、「正常画像」150枚の計300枚を基に⽔増し113万枚まで増やして学習を実施した。 - 評価データとして「学習時に使⽤した症例とは異なる、別の1年間に収集された症例」である 137症例(がん画像:462枚、正常画像:396枚)を使い評価を実施。陽性的中率は81.3%、陰性的中率は80.4%となった。 - 製品化については明⾔されていない。 [理化学研究所×国⽴がん研究センター東病院] 早期胃癌の範囲診断に向けた研究成果を発表。引⽤理化学研究所 AIで早期胃がんの範囲診断が可能に https://www.riken.jp/press/2023/20230606_1/

Slide 97

Slide 97 text

© 20231229 @Tdys13 97 2023年の⽇本における医療AI事業(胃部) p メモ - 2023年12⽉26⽇に医師の診断補助を⾏う内視鏡画像診断⽀援システム(販売名：gastroAI-model G)の製造販売承認を取得したことを発表した。 - 当初は「腫瘍性・⾮腫瘍性を鑑別するAI」として薬事承認を申請したが、協議を経て「検出⽀援⽤途」となったと公表した。 - 販売開始は2024年4⽉以降。 [株式会社AIメディカルサービス] 早期胃がんに特化したAI搭載の内視鏡画像診断⽀援ソフトウェアの製造販売承認を取得。引⽤ AIメディカルサービス早期胃がんに特化した AI搭載の内視鏡画像診断⽀援ソフトウェアの製造販売承認を取得 https://www.ai-ms.com/news/product/20231226

Slide 98

Slide 98 text

© 20231229 @Tdys13 98 2023年の⽇本における医療AI事業(腹部) p メモ - 放射線治療を計画する際の対象部位の輪郭作成をAIで⽀援するSaMDで、腹部を含めた全⾝19部位の臓器⾃動輪郭を⽣成が可能。 - 今後適応部位をさらに12部位増やす⾒込み。 - NVIDIA製AIフレームワークであるMONAIをベースにAIモデルの作成が⾏われた。 - 国内1製品⽬は富⼠フイルム製SYNAPSE Radiotherapy。 [株式会社ひょうご粒⼦線メディカルサポート×エヌビディア合同会社] 放射線治療計画⽀援プログラム Ai-Segが薬事承認を取得。 AI技術を⽤いた放射線治療計画⽀援プログラムは国内2製品⽬。引⽤株式会社ひょうご粒⼦線メディカルサポート Ai-Seg https://hibms-hyogo.co.jp/product/ai-seg/ NVIDIA のAIテクノロジを活⽤して開発された放射線治療計画⽀援プログラムが薬事承認を取得 https://blogs.nvidia.co.jp/2023/09/28/medical-imaging-casestudies-hibms/

Slide 99

Slide 99 text

© 20231229 @Tdys13 99 2023年の⽇本における医療AI事業(腹部) p メモ - 神⼾⼤学との共同研究成果2報を報告した、今後社会実装に向けた有効性検証を実施する。 - 膵臓がんが発⽣前段階で⾒られる膵臓の腫⼤・萎縮等の軽微な形状変化を検出して膵臓がんに罹患するリスクの⾼さを評価する技術開発も⾏う。 [富⼠フイルム株式会社×神⼾⼤学] AI技術を活⽤した⾮造影/造影CT画像から膵臓がんの検出を⽀援する技術を開発。引⽤富⼠フイルム株式会社富⼠フイルムと神⼾⼤学 AI技術を活⽤して⾮造影CT画像から膵臓がんの検出を⽀援する技術を開発 https://www.fujifilm.com/jp/ja/news/list/10834 富⼠フイルム株式会社富⼠フイルムと神⼾⼤学 AI技術を⽤いて造影CT画像から膵臓がんの検出を⽀援する技術を開発 https://www.fujifilm.com/jp/ja/news/list/9315

Slide 100

Slide 100 text

© 20231229 @Tdys13 100 2023年の⽇本における医療AI事業(腹部) p メモ - 撮像した画像の信号値が異なる領域を⾃動抽出し、カラーマップを作成する解析ソフトウェア。 - このHACARUS社が薬事認証を取得した画像解析ソフトウェアである Cal.Liver.Lesionの独占販売権をバイエル薬品が有する。 [株式会社HACARUS×バイエル薬品株式会社] AI技術を活⽤した肝細胞癌のMRI画像解析ソフトウェア Cal.Liver.Lesionの販売を開始引⽤バイエル薬品株式会社 Cal.Liver.Lesion https://radiology.bayer.jp/products/cal-liver-lesion 株式会社HACARUS ーHACARUSとバイエル薬品ー共同開発を⾏ったAIを活⽤したオンプレミス型の画像解析ソフトウェア「Cal.Liver.Lesion」発売のお知らせ https://prtimes.jp/main/html/rd/p/000000080.000026090.html

Slide 101

Slide 101 text

© 20231229 @Tdys13 101 2023年の⽇本における医療AI事業(⾻部) p メモ - 胸部X線画像から⾻の状態を数値化して解析を⾏うAI医療機器、⾻の状態が若年平均値と⽐較して低い場合は⾻粗しょう症の精密検査(別検査)へ促す。 - 同社は愛知県蒲郡市で⾏った「市の肺がん検診時の⾻粗しょう症リスク評価」実証実験の中間報告を開⽰しており年間3,324⼈の⾻粗しょう症リスク評価、約500⼈の⾻粗しょう症治療開始、⾻折予防により約2,936万円の医療費・介護費削減効果が期待されると試算した。 [iSurgery株式会社] 胸部X線写真から⾻を検査するAI医療機器医⽤画像解析ソフトウェアChest Bone Indicator販売開始引⽤ iSurgery株式会社胸部X線写真から⾻を検査するAI医療機器「医⽤画像解析ソフトウェア Chest Bone Indicator」販売開始 https://prtimes.jp/main/html/rd/p/000000004.000061960.html iSurgery社 Chest Bone Indicator https://www.isurgery.tech/chest-bone-indicator

Slide 102

Slide 102 text

© 20231229 @Tdys13 102 2023年の⽇本における医療AI事業(⽪膚部) p メモ - 2023年6⽉に⽶・GoogleはGoogleレンズで⽪膚の状態を検索する機能を発表した(⽇本未上陸) - 上記機能の⽇本における有効性評価と検出精度向上を⽬的として共同研究を開始 [⼤阪⼤学⼤学院医学系研究科×グーグル合同会社] 写真に基づき⽪膚の状態を検出する機械学習モデルの⽇本における有効性評価と検出精度向上を⽬的とした共同研究引⽤⼤阪⼤学 AI技術を活⽤した⽪膚状態検出モデル検証 Googleとの共同研究を開始〜⽪膚疾患に悩むすべての⼈に正確な情報を〜 https://www.med.osaka-u.ac.jp/archives/38056

Slide 103

Slide 103 text

© 20231229 @Tdys13 103 2023年の⽇本における医療AI事業(病理部) p メモ - 2017年より共同研究を開始。 - 対象胃がんは7種類。腺癌：管状腺癌・低分化腺癌、乳頭腺癌、粘液癌、印環細胞癌、消化管間質腫瘍、 MALTリンパ腫、びまん性⼤細胞型B細胞性リンパ腫(7種類で⽇本の胃がん発⽣種の9割をカバー)。 - 6施設のデータを学習、1施設のデータを評価で実施し、AUC0.96に到達。 - 今後はプログラム医療機器として薬事承認を⽬指す。 [株式会社エビデント×呉医療センター・中国がんセンター等7施設] 共同研究で開発した胃がんAI病理診断⽀援ソフトウェアが AUC0.96を達成。薬事承認を⽬指す。引⽤株式会社エビデント胃がんAI病理診断⽀援ソフトウェア、連続症例における評価でAUC0.96を達成 https://www.evidentscientific.com/ja/press-releases/stomach-cancer-ai-pathological-diagnosis-support-software/

Slide 104

Slide 104 text

© 20231229 @Tdys13 104 2023年の⽇本における医療AI事業(病理部) p メモ - 既に胃⽣検及び⼤腸⽣検の病理組織画像から腫瘍の有無を判定するAIモデルを作成し、感度・特異度95%前後に到達している。 - さらなる感度・特異度の向上を⽬的とするとともに、プログラム医療機器としての薬事承認取得を⽬指す。 - 研究協⼒機関として、⽇本病理学会・メドメイン株式会社・PSP株式会社が連ねる。 [東京⼤学⼤学院医学系研究科×東京⼤学×国⽴情報学研究所] 医療機器プログラムとしての実装化を⾒据えた胃・⼤腸⽣検AIモデルの開発。引⽤東京⼤学医学部⼈体病理学・病理診断学医療機器プログラムとしての実装化を⾒据えた胃・⼤腸⽣検AIモデルの開発 https://www.pathology.m.u-tokyo.ac.jp/ai%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E9%96%8B%E7%99%BA-1/

Slide 105

Slide 105 text

© 20231229 @Tdys13 105 2023年の⽇本における医療AI事業(その他) p メモ - 前⽴腺がん患者を対象にした、AIベースの放射線治療計画システムを⽤いて⽣成された照射可能な強度変調回転放射線治療計画の臨床的評価を実施した論⽂を公開した。(AIでの放射線治療計画ソフトウェアは富⼠フイルム社、ひょうご粒⼦線メディカルサポート社が薬事承認を既に取得している) - またこのシステムを⽤いて⼭梨県全域を実証実験とするプロジェクトに採択された。 [アイラト株式会社×東北⼤学⼤学院医学系研究科] AIによる⾃動放射線治療計画ソフトウェアAIVOTのプロトタイプを⽤いた前⽴腺がんに対するAI⾃動放射線治療計画の有効性結果が公開。引⽤アイラト株式会社放射線治療AIで医療DXを⽀援する東北⼤発スタートアップアイラト、⼭梨県が実施の第５期「TRY!YAMANASHI!実証実験サポート事業」に採択！前⽴腺癌に対する後ろ向き評価結果も公開！ https://prtimes.jp/main/html/rd/p/000000005.000119113.html

Slide 106

Slide 106 text

© 20231229 @Tdys13 106 2023年の⽇本における医療AI事業(その他) p メモ - コルポスコープを⽤いて撮影した⼦宮頸部画像に対して、酢酸加⼯の反応度を検出・表⽰するAIソフトウェア。 - このソフトウェアは⾮医療機器のため、薬液の反応箇所をAIで検出するシステムである。 [株式会社HACARUS×京都⼤学⼤学院医学研究科] コルポスコピー検査の精度向上を⽬的としたAIソフトウェアを開発引⽤株式会社HACARUS コルポスコピー検査の精度向上に向けたAIソフトウェアを開発 https://prtimes.jp/main/html/rd/p/000000079.000026090.html

Slide 107

Slide 107 text

© 20231229 @Tdys13 107 2023年の⽇本における医療AI事業(その他) p メモ - オリンパス社はMedTech Innovator Asia Pasificの協⼒の下、初めてアクセラプログラムを開催。 - 初代優勝のVesicaAI社は筋層⾮浸潤性膀胱がんを⾃動検出するAIプログラムを開発している。 [オリンパス株式会社] アクセラレーションプログラムを初めて開催、膀胱鏡検査による膀胱がんの早期発⾒⽀援を⽬的としたVesica AI社(⽶)が優勝。引⽤オリンパス株式会社「Olympus Asia Pacific Innovation Program」の初代優勝チームに⽶国Vesica AI社を選出 https://prtimes.jp/main/html/rd/p/000000177.000049310.html

Slide 108

Slide 108 text

© 20231229 @Tdys13 108 2023年の⽇本における医療AI事業(その他) p メモ - NVIDIA製ソフトウェアであるClara for Medical DevicesとハードウェアであるNVIDIA IGXを Medtronic製GI Geniusに統合することを発表。 [Medtronic×NVIDIA] FDA認可済み内視鏡診断⽀援機器GI GeniusにNVIDIAの医療機器向け機能を統合引⽤ NVIDIA Medtronic と NVIDIA が協⼒し医療機器向け AI プラットフォームを構築 https://www.nvidia.com/ja-jp/about-nvidia/press-releases/2023/medtronic-and-nvidia-collaborate-to-build-ai-platform-for-medical-devices/

Slide 109

Slide 109 text

© 20231229 @Tdys13 109 2023年の⽇本における医療AI(その他) 引⽤医療スタートアップクアドリティクス社の『⼼拍変動解析に基づくてんかん発作警告機（仮称）』厚⽣労働省による初めてのプログラム医療機器の優先審査対象品⽬に指定 https://prtimes.jp/main/html/rd/p/000000001.000123656.html クアドリティクス株式会社は「⼼拍変動解析に基づくてんかん発作警告機」がプログラム医療機器の優先審査対象品⽬に指定されたことを公表した。医療AIプラットフォーム技術研究組合(HAIP)は第三期試⾏運⽤として採択企業の製品をカタログサイトとして医療従事者向けに展開することを報告した。引⽤医療AIプラットフォームの第3期試⾏運⽤を開始 https://prtimes.jp/main/html/rd/p/000000002.000113605.html HAIP カタログサイト https://poc-catalog.haip-catalog.com/

Slide 110

Slide 110 text

© 20231229 @Tdys13 110 2023年の⽇本における医療AI(その他) 引⽤アイリス「スタートアップワールドカップ2023」世界⼤会で優勝 https://prtimes.jp/main/html/rd/p/000000042.000035813.html ⽇本初の保険適⽤済みAI医療機器を展開するアイリス株式会社はスタートアップワールドカップ2023に⽇本代表として参加し、世界⼤会で優勝したことを報告した。症状検索エンジン「ユビー」を展開するUbie株式会社はユビーがGoogle Play ベストオブ2023において優れたAI部⾨で⼤賞を受賞したことを発表した。引⽤ユビー「Google Play ベストオブ 2023 優れた AI 部⾨」で⼤賞を受賞 https://prtimes.jp/main/html/rd/p/000000064.000048083.html

Slide 111

Slide 111 text

© 20231229 @Tdys13 111 2023年の⽇本における医療AI(その他) 引⽤ AI医療機器「重度転倒予測AIプログラム」の医薬品医療機器総合機構との対⾯助⾔準備⾯談が終了 https://prtimes.jp/main/html/rd/p/000000505.000006776.html 株式会社FRONTEOは電⼦カルテに記されたテキストを解析することで患者の転倒予測をするAIプログラムに関する製品化進捗を公表した。医⽤画像データプラットフォーム開発を⼿掛けるカリスト株式会社はカリスト社のビジネスモデルに関する研究が医⽤画像系の国際学会であるSPIE Medical Imagingに採択されたと発表した。引⽤カリスト株式会社 https://callisto-ai.com/archives/3141

Slide 112

Slide 112 text

© 20231229 @Tdys13 112 2023年の⽇本における医療AI(その他) 引⽤ NEC NEC、東北⼤学病院、橋本市⺠病院、「医師の働き⽅改⾰」に向けて、医療現場におけるLLM活⽤の有効性を実証 https://jpn.nec.com/press/202312/20231213_01.html ⽇本電気株式会社(NEC)は電⼦カルテなどの情報を元に、LLMで医療⽂書を⾃動⽣成する実証実験を和歌⼭県・橋本市⺠病院にて実施し作業時間を年間63時間削減⾒込みと結果を公表した。現役医学⽣が起業した株式会社Pleepは診察やり取りの⾳声⼊⼒とAI要約でカルテ作成業務を⽀援する GPT搭載webアプリmedimoを発表した。引⽤⾳声⼊⼒とAI要約でカルテ作成業務をラクにするwebアプリ「medimo」、医療関係者向けに無料体験版の先⾏予約を開始 https://prtimes.jp/main/html/rd/p/000000001.000124331.html

Slide 113

Slide 113 text

© 20231229 @Tdys13 113 2023年の⽇本における医療AI(その他) 引⽤満を持してデビュー！⼤規模⾔語モデル(LLM)「tsuzumi」記者会⾒速報 https://group.ntt/jp/magazine/blog/tsuzumi/ NTTは独⾃LLMモデルであるtsuzumiを 2024年3⽉から提供開始と発表した。業界特化領域として既に利⽤されているメディカル領域(電カル連携)を1例として上げた。富⼠フイルム株式会社は⽇本医学放射線学会が主導して収集した医⽤画像データベース(J-MID)をクラウド管理することを発表した。約4億枚の画像をクラウド管理する。引⽤富⼠フイルム株式会社⽇本医⽤画像データベース(J-MID)向け次世代クラウド管理基盤を構築 https://www.fujifilm.com/jp/ja/news/list/9314

Slide 114

Slide 114 text

© 20231229 @Tdys13 114 2023年の世界における医療AI(その他) 引⽤医療業界向け⽣成 AI「MedLM」を発表 https://cloud.google.com/blog/ja/topics/healthcare-life-sciences/introducing-medlm-for-the-healthcare-industry Googleは医療業界向けのLLMである MedLMを発表した。ヘルスケアに関わる様々な場⾯での活⽤を⾒越して多くの企業と連携も発表した。マイクロソフトはマイクロソフトが発表したLLMである LLaVa(Large Language and Vision Assistant)を医療向けに追加学習したLLaVa-Medのオープンソース化を発表した。引⽤ LLaVA-Med: Large Language and Vision Assistant for BioMedicine https://github.com/microsoft/LLaVA-Med

Slide 115

Slide 115 text

© 20231229 @Tdys13 115 2023年の世界における医療AI(その他) 引⽤ Meta Llama2 https://ai.meta.com/llama/ Meta(旧Facebook)は独⾃LLMである Llama2を発表した。引⽤ MEDITRON-70B: Scaling Medical Pretraining for Large Language Models https://arxiv.org/pdf/2311.16079.pdf github meditronプロジェクトページ https://github.com/epfLLM/meditron 有志がLlama2を医療に特化させた Meditronを発表した。

Slide 116

Slide 116 text

Slide 117

Slide 117 text

Slide 118

Slide 118 text

Slide 119

Slide 119 text

Slide 120

Slide 120 text

Slide 121

Slide 121 text

Slide 122

Slide 122 text

Slide 123

Slide 123 text

Slide 124

Slide 124 text

Slide 125

Slide 125 text

Slide 126

Slide 126 text

Slide 127

Slide 127 text

Slide 128

Slide 128 text

Slide 129

Slide 129 text

Slide 130

Slide 130 text

Slide 131

Slide 131 text

© 20231229 @Tdys13 引⽤： Artificial Intelligence and Machine Learning (AI/ML)-Enabled Medical Devices https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-aiml-enabled-medical-devices 131 AI医療機器のリスト(⽶国) ⽶・FDAがAI/ML搭載されている医療機器リストを最新版にアップデートして公表した。合計692機器が認可を受けている。リスト中には⽇本で薬事認証に当たる製品も含まれているため、⽇本国内でも薬事認証製品まで含めると、29製品以上のAI医療機器が認可されている。

Slide 132

Slide 132 text

Slide 133

Slide 133 text

Slide 134

Slide 134 text

© 20231229 @Tdys13 134 まとめ n 今年の動向 - 研究：掲載していない研究も含め、精度向上よりも汎化性能向上やOOD対応、リソース制限化での最適化など、この数年の課題に対する研究が多くを占めた。 - 事業：⾮医療機器でAIサービスを展開・AI医療機器を輸⼊して展開など各社の取り組みも多岐に渡ってきた。また医療機器化、薬事承認取得を⽬指すと述べる企業が増えた。 n 来年の予測 - 研究：基盤モデル、LLM、LVMの医療応⽤研究が来年は数多く出る。それと同時に(逆説的だが)以下に少量のデータで基盤モデル同等の精度を達成するか等の研究も出る。 - 事業：現在、特定臨床研究や臨床研究でAIのデータ収集を⾏っている企業の事業化などが発表されてくる - 関⼼・注⽬： ①⽣成AI関連で事業化を⾏うファーストペンギンとなる企業が現れるか ②Big Techカンパニーが⽇本で医療AIサービスを展開するか ③2製品⽬の保険適⽤されるAI医療機器が出てくるか ④AI医療機器の現場利⽤における医療費削減論⽂等で影響度が⼤きな論⽂など出てくるか