Tweet
Tweet

Slide 1

Slide 1 text

© 20201228 @tdys13 『 AI×医⽤画像 』 の現状と可能性 轟 佳⼤ 1 2020年総まとめ編

Slide 2

Slide 2 text

© 20201228 @tdys13 このまとめは轟が毎年年末に趣味でまとめているスライドの第4弾です。 第1弾→AI×医⽤画像の現状と可能性(2018年) 第2弾→AI×医⽤画像の現状と可能性(2019年) 第3弾→AI×医⽤画像の現状と可能性(2020年上半期) ※毎年、年末に出しています。2020年は上半期と総まとめ(下半期)で出します。 個⼈的に2019年下半期から『2020年は医療AIが世に浸透する年』と⾔っていました。 当時では想像もできない出来事だらけな2020年でしたが、 今年もAI×医⽤画像観点から振り返れたら嬉しく思います。 説明などに⾄らぬ点もあるかと思いますが、 その際は⾃⾝も勉強させていただきますのでご鞭撻の程、何卒よろしくお願いします 2020 1228 轟佳⼤ 2 引⽤： ・AI×医⽤画像の現状と可能性(2018) https://speakerdeck.com/tdys13/aixmedical-imaging-in-japan-2018 ・ AI×医⽤画像の現状と可能性(2019) https://speakerdeck.com/tdys13/aixmedical-imaging-in-japan-2019 ・AI×医⽤画像の現状と可能性(2020上半期) https://speakerdeck.com/tdys13/aixmedical-imaging-in-japan-first-half-of-2020

Slide 3

Slide 3 text

© 20201228 @tdys13 2. 3. 4. 1. 3 ⾃⼰紹介 世界の研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2020 - 部位別カオスマップ，技術紹介 まとめ

Slide 4

Slide 4 text

© 20201228 @tdys13 2. 3. 4. 1. 4 ⾃⼰紹介 世界の研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2020 - 部位別カオスマップ，技術紹介 まとめ

Slide 5

Slide 5 text

© 20201228 @tdys13 -所属- p アイリス株式会社 - AIエンジニア - AI医療機器を開発してます p 国⽴研究開発法⼈ 産業技術総合研究所 ⼈⼯知能コンソーシアム - 医⽤画像WGリーダー - 医療AI向けデータベースの構築をしてます -好きなもの- p ヘルスケアや最新技術の情報収集 p アイス p サッカー -その他- p 連載，講演を始めとして 趣味でリサーチした情報をまとめてスライドにしたり， コミュニティー(デジタルヘルスケア倶楽部)を運営したりしてます。 p 連絡先 [email protected]またはツイッター 5 轟 佳⼤ (ﾄﾄﾞﾛｷ ﾖｼﾋﾛ) ：@Tdys13

Slide 6

Slide 6 text

© 20201228 @tdys13 2. 3. 4. 1. 6 ⾃⼰紹介 世界の研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2020 - 部位別カオスマップ，技術紹介 まとめ

Slide 7

Slide 7 text

© 20201228 @tdys13 7 ページ数 ：コンテンツ名 8 ~ 26 ：AIとは 27 ~ 29 ：初学者向けコンテンツ紹介 30 ~ 90 ：研究紹介 91 ~ 123 ：⽇本におけるAI×医⽤画像事例紹介(2020年 COVID-19) 124 ~ 181 ：⽇本におけるAI×医⽤画像事例紹介(2020年 COVID-19以外) 182 ~ 197 ：おまけ(AI医療機器に関する話，医⽤画像以外の2020年のビッグニュース) 198 ~ 199 ：終わりに

Slide 8

Slide 8 text

© 20201228 @tdys13 8 ⼈⼯知能≒「様々な技術の複合体の総称」 現状はとりわけ「機械学習・深層学習」&「その他技術」が使われているものを指すことが多い ⼈⼯知能とは？ 引⽤： ・AI demystified https://www.callaghaninnovation.govt.nz/blog/ai-demystified

Slide 9

Slide 9 text

© 20201228 @tdys13 9 「深層学習（DeepLearning）技術」と「画像認識技術」が使われている (style transferという技術) ⼈⼯知能とは？ 引⽤： ・AI demystified https://www.callaghaninnovation.govt.nz/blog/ai-demystified

Slide 10

Slide 10 text

© 20201228 @tdys13 10 ・⾃然⾔語処理領域 ・⾳声認識領域 翻訳や⾳声解析にも深層学習が使われている． 各領域でブレイクスルーが起きている ⼈⼯知能とは？

Slide 11

Slide 11 text

© 20201228 @tdys13 11 機械学習と深層学習の違い ねこ ・⽿がある ・尻尾がある ・⿐が特徴的.. =>⼈が特徴を与える 良い点 ・⼤規模な計算資源が要らない 考えるべき点 ・精度が⼈によって左右される ねことは ・⽿がある確率 ・尻尾がある確率 ・4⾜歩⾏の確率.. =>数学的に特徴抽出 良い点 ・精度が⾼い 考えるべき点 ・数多くのデータが必要 ・計算資源が必要 機械学習 深層学習 機械学習と深層学習で異なる点

Slide 12

Slide 12 text

© 20201228 @tdys13 12 機械学習と深層学習で異なる点

Slide 13

Slide 13 text

© 20201228 @tdys13 13 機械学習と深層学習で異なる点 タスク，計算資源，処理するデータによって技術を使い分けていく． 深層学習技術が必ずしも機械学習技術より良いとは限らない(画像領域では深層学習が超有効)

Slide 14

Slide 14 text

© 20201228 @tdys13 14 「最終⽬的」を実現するために 「⽬的に沿った深層学習モデル」をベースモデルとして使⽤する 深層学習とは？

Slide 15

Slide 15 text

© 20201228 @tdys13 15 「最終⽬的」を実現するために 「⽬的に沿った深層学習モデル」をベースモデルとして使⽤する 深層学習とは？ 検出モデル Yolo, Fast-RCNN EfficientDet… 分類モデル ResNet,ResNeXt, EfficientNet… セグメンテーション モデル Unet, DeepLab ⽣成モデル VAE,GAN… その他モデル Bert, GPT-3… 時系列モデル LSTM, RNN…

Slide 16

Slide 16 text

© 20201228 @tdys13 16 深層学習 モデル フルーツ いぬ 教師あり学習 ラベル付きデータをモデルに学習させる 学習⽅法とは？(ex : 画像分類タスク) フルーツといぬ を⾒分ける 教師あり学習＝各画像と紐づく正解ラベルがペアとなり存在する

Slide 17

Slide 17 text

© 20201228 @tdys13 17 深層学習 モデル 教師なし学習 ラベルなしデータをモデルに学習させる 学習⽅法とは？(ex :画像分類タスク) ざっくりと ２グループに 分ける 教師なし学習＝各画像の正解情報を与えず，篩い分けを⾏う

Slide 18

Slide 18 text

© 20201228 @tdys13 18 深層学習 モデル 強化学習 ラベルなしデータをモデルに試⾏錯誤しながら学習する 学習⽅法とは？(ex :画像分類タスク) この分け⽅を ⾏うと報酬が すごく⾼い 報酬 報酬係 仕分け結果 強化学習＝篩い分けの結果に応じて報酬を与え，より⾼い報酬を⽬指させる

Slide 19

Slide 19 text

© 20201228 @tdys13 ⽬的別の違いをざっくり説明 19 深層学習×画像領域のタスクは？ 画像領域のタスクは主に4ジャンル (検出，分類，セグメンテーション，⽣成)

Slide 20

Slide 20 text

© 20201228 @tdys13 20 深層学習 モデル 教師あり学習 学習フェイズ ‒ ラベル付きデータをモデルに学習させる 深層学習 - 画像分類タスク フルーツ いぬ ⼀般的に⽤いられる教師あり学習では，学習時に画像と正解ラベルを学習させる

Slide 21

Slide 21 text

© 20201228 @tdys13 21 教師あり学習 学習フェイズ ‒ ラベル付きデータをモデルに学習させる 深層学習 - 画像分類タスク フルーツ いぬ 学習回数を増やすこと，深層学習モデルが⼊⼒された画像に対して正答率を上げていく 学習済み 深層学習 モデル

Slide 22

Slide 22 text

© 20201228 @tdys13 教師あり学習 テストフェイズ ‒ 未知データを処理する 22 深層学習 - 画像分類タスク ??? ??? フルーツ90% いぬ 10% フルーツ 5% いぬ 95% 学習済み 深層学習 モデル 学習済み深層学習モデルへ，⼊⼒画像と同ジャンルの『ラベルなし画像』を⼊⼒することで 未知な画像に対して⾃⾝の選択肢から推論する

Slide 23

Slide 23 text

© 20201228 @tdys13 教師あり学習 テストフェイズ ‒ 未知データを処理する 23 深層学習 - 画像分類タスク ??? ??? フルーツ90% いぬ 10% フルーツ 5% いぬ 95% 学習済み 深層学習 モデル 学習済み深層学習モデルへ，⼊⼒画像と同ジャンルの『ラベルなし画像』を⼊⼒することで 未知な画像に対して⾃⾝の選択肢から推論する

Slide 24

Slide 24 text

© 20201228 @tdys13 24 しかし，⼊⼒画像のジャンルと異なるものに対しても 無理やり知識の中で結論を出そうとしてしまうのが⽋点． 良い点と改善出来る点は？ ??? フルーツ 40% いぬ 60% 学習済み 深層学習 モデル 教師あり学習 テストフェイズ ‒ 未知データを処理する

Slide 25

Slide 25 text

© 20201228 @tdys13 25 そのため対象領域が広い場合は，逃げ道を組み込んだ設計が必須 良い点と改善出来る点は？ ??? フルーツ 20% いぬ 30% その他 50% 学習済み 深層学習 モデル 教師あり学習 テストフェイズ ‒ 未知データを処理する

Slide 26

Slide 26 text

© 20201228 @tdys13 26 最近では説明可能なAI研究において， 最終的な出⼒値における確からしさを出す研究などもされている 良い点と改善出来る点は？ ??? フルーツ 20% いぬ 30% その他 50% 学習済み 深層学習 モデル 教師あり学習 テストフェイズ ‒ 未知データを処理する 確からしさ15% 確からしさ17% 確からしさ68%

Slide 27

Slide 27 text

© 20201228 @tdys13 27 多くの先⼈たちが道筋を作ってくれている 初学者向けコンテンツは？ 中部⼤学，MPRG(機械知覚&ロボティクス研究室)が公開している 深層学習レクチャーノートブック ・引⽤ https://github.com/machine-perception-robotics-group/MPRGDeepLearningLectureNotebook ・引⽤ https://yutaroogawa.github.io/pytorch_tutorials_jp/ ⽇本⼈の有志が⽇本語翻訳し公開している Pytorchチュートリアル

Slide 28

Slide 28 text

© 20201228 @tdys13 28 多くの先⼈たちが道筋を作ってくれている 初学者向けコンテンツは？ 株式会社キカガクが無料公開している講義 ・引⽤ https://www.kikagaku.ai/ https://prtimes.jp/main/html/rd/p/000000020.000025642.html ・引⽤ https://www.facebook.com/StMariannaMedicalInformationTechnology/ https://preferred.jp/ja/news/pr20201207/ 聖マリアンナ医科⼤学が無料で⾏なっている 医療AIセミナー(~2021.03) 株式会社PreferredNetworksが提供する教育コンテンツ

Slide 29

Slide 29 text

© 20201228 @tdys13 29 『AI×医⽤画像』の現状と可能性(2020年下半期) まとめ ・AIとは深層学習・機械学習×○○の総称 ・学習⽅法や⽬的に応じて使⽤する技術や， 使う深層学習モデルを変えていく ・初学者向けコンテンツもめちゃくちゃ増えた

Slide 30

Slide 30 text

© 20201228 @tdys13 30 予防・遺伝⼦解析 診察(問診・検診) 診断 治療 予兆 多くのジャンルがあるものの、ざっくりとこの５⼯程で分けられると個⼈的に考えます。 AIの医療応⽤

Slide 31

Slide 31 text

© 20201228 @tdys13 31 予防・遺伝⼦解析 ◎診察(問診・検診) ◎診断 治療 予兆 AI×医⽤画像領域では，診断⽀援の際に⽤いることを前提に 研究とその後のサービス化・医療機器化されていることが多い AIの医療応⽤

Slide 32

Slide 32 text

© 20201228 @tdys13 32 予防・遺伝⼦解析 診察(問診・検診) 診断 治療 予兆 2018年までは診断⽀援に関する研究開発がメインだった AIの医療応⽤

Slide 33

Slide 33 text

© 20201228 @tdys13 33 予防・遺伝⼦解析 診察(問診・検診) 診断 治療 予兆 2019年は診察・診断・治療に関する研究開発、事業開発が多くなった。 AIの医療応⽤

Slide 34

Slide 34 text

© 20201228 @tdys13 34 予防・遺伝⼦解析 診察(問診・検診) 診断 治療 予兆 2020年は診断や治療に関する事業が， コロナ関連で問診・診断サービスがたくさん世に出た！ AIの医療応⽤

Slide 35

Slide 35 text

© 20201228 @tdys13 35 ここからは 研究発表を⾒ていく中で 個⼈的に盛り上がっていると 感じたジャンルを紹介するよ！

Slide 36

Slide 36 text

© 20201228 @tdys13 36 個⼈的に考えた2020年の深層学習×医⽤画像処理のトレンドまとめ① ・COVID-19に対する研究スピード - 感染者確認後からの世界の動き ・⻑年の課題解消に向けて - アノテーションのばらつきにどう対処する？ - アノテーターの学習⽅法込みで学習 - 少ない医⽤画像に対してどう対処する？ - 医⽤画像特有の空間分布による学習 - ⼈体に特化した深層学習モデル ・医⽤画像特有のタスク - 医⽤画像の位置合わせ(image registration) - 不明瞭な対象(臓器)に対するセグメンテーション

Slide 37

Slide 37 text

© 20201228 @tdys13 37 個⼈的に考えた2020年の深層学習×医⽤画像処理のトレンドまとめ② ・他技術との融合 - ⾃然⾔語処理×医⽤画像処理 - 画像から病変部位を特定し、診断書を⾃動⽣成 - 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する ・今後さらに研究が期待される - ⼈体内部の３次元構成研究 - Transformer系 ・オープンデータセットやコンペティションの動向 - 医⽤画像に関するコンペティションが数多く開催された2020年 - 医⽤画像領域が⾝近になるようなオープンデータセットが数多く登場

Slide 38

Slide 38 text

© 20201228 @tdys13 38 COVID-19に対する研究スピード 2019.12.08 - 中国・武漢にて初めてCOVID-19感染者が確認． 2020.01.24 - 中国・武漢での感染者41名の症状を基にしたクリニカルレポートが発表された． (2020. 12.28現在 - 論⽂引⽤数20,440件) ・引⽤ Huang, Chaolin, et al. "Clinical features of patients infected with 2019 novel coronavirus in Wuhan, China." The lancet 395.10223 (2020): 497-506. ü 感染者確認後からの世界の動き ジャーナル誌 The lancet掲載

Slide 39

Slide 39 text

© 20201228 @tdys13 39 COVID-19に対する研究スピード COVID-19肺炎，インフルエンザA型肺炎，正常肺を分類する深層学習研究が発表された (2020.02.21 発表) ・引⽤ Xu, Xiaowei, et al. "A deep learning system to screen novel coronavirus disease 2019 pneumonia." Engineering (2020). ü 感染者確認後からの世界の動き 感度 精度 (a)COVID-19, (b)Ful-A, (c)healthy

Slide 40

Slide 40 text

© 20201228 @tdys13 40 COVID-19に対する研究スピード ・引⽤ Xu, Xiaowei, et al. "A deep learning system to screen novel coronavirus disease 2019 pneumonia." Engineering (2020). ü 感染者確認後からの世界の動き ・タスク Classification(3クラス) ・データ 中国・浙江⼤学附属病院にて収集された胸部CT画像 Train : 胸部CT画像 - 528症例 (COVID-19:189症例, flu-A:194症例, healthy:145症例) Test： 胸部CT画像 - 90症例 (COVID-19:30症例, flu-A:30症例, healthy:30症例) Model：ResNet-18(⼯夫点を次ページに記載) 評価⽅法：Recall, Precision, Accuracy, f1-score - Recall：COVID-19 = 0.867 Ful-A = 0.862 healthy = 0.915

Slide 41

Slide 41 text

© 20201228 @tdys13 41 COVID-19に対する研究スピード ・引⽤ Xu, Xiaowei, et al. "A deep learning system to screen novel coronavirus disease 2019 pneumonia." Engineering (2020). ü 感染者確認後からの世界の動き Model：ResNet-18 ⼯夫点：『エッジからの相対距離』をFC層2層⽬に追加 胸膜付近に発⽣している影は，COVID-19の可能性が⾼いという臨床情報(2020.02.21当時)を元に追加． 「エッジからの相対距離」は 『パッチ画像内の肺の境界から中⼼までの距離(上図-c)』と 『胸部全体の対⾓線状の距離(上図-d)』より⽐率計算 ．

Slide 42

Slide 42 text

© 20201228 @tdys13 42 臨床にて得られた有益な情報を深層学習部に組み込むことで精度の向上 COVID-19に対する研究スピード ü 感染者確認後からの世界の動き Model：ResNet-18 ⼯夫点：『エッジからの相対距離』をFC層2層⽬に追加 「エッジからの相対距離」は 『パッチ画像内の肺の境界から中⼼までの距離(上図-c)』と 『胸部全体の対⾓線状の距離(上図-d)』より⽐率計算 ． ・引⽤ Xu, Xiaowei, et al. "A deep learning system to screen novel coronavirus disease 2019 pneumonia." Engineering (2020).

Slide 43

Slide 43 text

© 20201228 @tdys13 43 COVID-19に対する研究スピード ü 感染者確認後からの世界の動き 参考イメージ covid-chestxray-dataset/images/000001-1.jpg 出⼒結果 (Grad-CAMにて候補部を⾊付け) 2020.03 には ResNet50を⽤いたCOVID-19肺炎 / 市中肺炎 / 通常肺の分類にてAUC 0.96を達成した研究(2020. 03.19)や， 『X線で撮影されたCOVID-19画像』と『罹患者のメタデータ』に関するオープンデータセット(2020. 03.16) なども公開された． ・引⽤ Li, Lin, et al. "Artificial intelligence distinguishes COVID-19 from community acquired pneumonia on chest CT." Radiology (2020). covid-chestxray-dataset https://github.com/ieee8023/covid-chestxray-dataset

Slide 44

Slide 44 text

© 20201228 @tdys13 44 COVID-19に対する研究スピード ü 感染者確認後からの世界の動き 参考イメージ covid-chestxray-dataset/images/000001-1.jpg 出⼒結果 (Grad-CAMにて候補部を⾊付け) 2020.03 には ResNet50を⽤いたCOVID-19肺炎 / 市中肺炎 / 通常肺の分類にてAUC 0.96を達成した研究(2020. 03.19)や， 『X線で撮影されたCOVID-19画像』と『罹患者のメタデータ』に関するオープンデータセット(2020. 03.16) なども公開された． ・引⽤ Li, Lin, et al. "Artificial intelligence distinguishes COVID-19 from community acquired pneumonia on chest CT." Radiology (2020). covid-chestxray-dataset https://github.com/ieee8023/covid-chestxray-dataset オープンデータセット公開や，従来の研究をCOVID-19へ応⽤した研究が即座に発表された

Slide 45

Slide 45 text

© 20201228 @tdys13 45 COVID-19に対する研究スピード 突然クイズです (⼼の中で答えてください)

Slide 46

Slide 46 text

© 20201228 @tdys13 46 COVID-19に対する研究スピード 2020. 01.01~2020. 12.21(355⽇間)において COVID-19を題材とした機械学習(深層学習含む)×医⽤画像処理論⽂は何本発表された？ （ ※2020. 1/1~2020. 07/17(198⽇間)では650本でした． ※Google Scholarによる集計値です．） A. 1500本 B. 1800本 C. 2200本 D. 2500本

Slide 47

Slide 47 text

© 20201228 @tdys13 47 本スライドでは医⽤画像に特化していますが， 医⽤画像のみならず，全世界がCOVID-19に打ち勝つべく様々な領域で研究をしている． COVID-19に対する研究スピード 2020. 01.01~2020. 12.21(355⽇間)において COVID-19を題材とした機械学習(深層学習含む)×医⽤画像処理論⽂は何本発表された？ （ ※2020. 1/1~2020. 07/17(198⽇間)では650本でした． ※Google Scholarによる集計値です．） A. 1500本 B. 1800本 C. 2200本 D. 2500本

Slide 48

Slide 48 text

© 20201228 @tdys13 48 Kaggleでは⽶・ホワイトハウスなどが公開したCOVID-19に関するオープンデータセットを始め 罹患者数予測コンペ，ワクチン開発のためのRNA分解特性推定コンペなどが発表された． COVID-19に対する研究スピード(医⽤画像以外) 引⽤ COVID19 Global Forecasting(Week1) https://www.kaggle.com/c/covid19-global-forecasting-week-1 COVID-19 Open Research Dataset Challenge(CORD-19) https://www.kaggle.com/allen-institute-for-ai/CORD-19-research-challenge 引⽤ OpenVaccine: COVID-19 mRNA Vaccine Degradation Prediction https://www.kaggle.com/c/stanford-covid-vaccine/ ü 感染者確認後からの世界の動き

Slide 49

Slide 49 text

© 20201228 @tdys13 49 ⻑年の課題解消に向けて 複数のアノテーターによるアノテーションのばらつきや癖も学習することで， “より信頼性の⾼いアノテーション領域”を推測するloss(noisy label loss)の提案． ・引⽤ Zhang, Le, et al. "Disentangling Human Error from the Ground Truth in Segmentation of Medical Images." arXiv preprint arXiv:2007.15963 (2020). https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images ü アノテーションのばらつきにどう対処する？ NeurlPS2020 accepted

Slide 50

Slide 50 text

© 20201228 @tdys13 50 ⻑年の課題解消に向けて ü アノテーションのばらつきにどう対処する？ ・どんな研究？ 同⼀画像を複数⼈にアノテーションされた場合に ⽣じるばらつきの中からアノテーションの信頼性を類推し， それらから “より信頼性の⾼いアノテーション領域”を 算出する学習⼿法(loss)の提案． ・どんなアノテーターを想定？ GT(ground-truth)に忠実なアノテーター オーバーセグメンテーション気味なアノテーター アンダーセグメンテーション気味なアノテーター 間違ったセグメンテーションを⾏うアノテーター 常に全てを背景としてアノテーションするアノテーター 画像から擬似的に⽣成する． ・引⽤ Zhang, Le, et al. "Disentangling Human Error from the Ground Truth in Segmentation of Medical Images." arXiv preprint arXiv:2007.15963 (2020). https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images 様々なアノテーターに付けられたバラバラなアノテーション画像を想定し， その中から“より信頼性の⾼いアノテーション領域”を抽出する

Slide 51

Slide 51 text

© 20201228 @tdys13 51 ⻑年の課題解消に向けて ü アノテーションのばらつきにどう対処する？ ・noisy label lossの算出⽅法は？ ⼯程1. 対象画像のセグメンテーションを⾏うSegmentation CNN (通常のセグメンテーション) ⼯程2. ⼊⼒画像のピクセルごとの混合⾏列を推定することで 個々のアノテーターの特性を学習するAnnotation CNN (各アノテーターの癖を混合⾏列で表現) ⼯程3. ⼯程1.と⼯程2.の出⼒を掛け合わせ， 各アノテーターが付けうるアノテーションの予測を出⼒． ⼯程4. 各アノテータがつけた正解ラベルと⼯程3.より算出された 出⼒値を元にCross Entropy Lossを算出 ⼯程5. ⼯程2.の算出値の平均と⼯程4.の出⼒の総和を 最終的なloss(noisy label loss)として与える． ・引⽤ Zhang, Le, et al. "Disentangling Human Error from the Ground Truth in Segmentation of Medical Images." arXiv preprint arXiv:2007.15963 (2020). https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images “より信頼性の⾼いアノテーション領域”を抽出するための損失関数が提案された

Slide 52

Slide 52 text

© 20201228 @tdys13 52 アノテーターの癖も学習することで， “より信頼性の⾼いアノテーション領域”を得られる事が分かった ⻑年の課題解消に向けて ü アノテーションのばらつきにどう対処する？ ・引⽤ Zhang, Le, et al. "Disentangling Human Error from the Ground Truth in Segmentation of Medical Images." arXiv preprint arXiv:2007.15963 (2020). https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images

Slide 53

Slide 53 text

© 20201228 @tdys13 53 ⻑年の課題解消に向けて 『同じ領域の医⽤画像データセットでは両データ間に共通する”不変的な特徴”が存在する』という前提のもと， あるデータセットに存在する『その疾患に不変的な特徴』を学習し，別のデータセットに適応させる研究 ・引⽤ Li, Haoliang, et al. "Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization.” Advances in Neural Information Processing Systems 33 (2020). https://github.com/wyf0912/LDDG ü 医⽤画像特有の不変的な特徴を学習する ざっくりとしたイメージ図 ※Domain Generalizationとは… ⼈間が写真の⽝，イラストの⽝を同じ”⽝”と捉えるように AIにも，別のドメイン上(ex:イラストと写真など)の 同じ対象物に対して認識が⼀致するように， 不変的な特徴を学習させる⼿法 NeurlPS2020 accepted

Slide 54

Slide 54 text

© 20201228 @tdys13 54 ⻑年の課題解消に向けて ・引⽤ Li, Haoliang, et al. "Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization.” Advances in Neural Information Processing Systems 33 (2020). ü 医⽤画像特有の不変的な特徴を学習する ・どんな研究？ 医⽤画像における『不変的な特徴』を抽出して 分類・セグメンテーション実験に適応した ・対象領域は？ 医⽤画像全般，実験では⽪膚がん及び脊髄 ・どうやってDomain Generalizationするの？ VAE, 線形モジュール(conv層，Linear層)のみを⽤いたNNを ⽤いる事で特徴空間を学習させる． 学習させた重みを⽤いて各タスクのモデルに転⽤する． ある病院で脊髄灰⽩質を撮影したMR画像から不変的な特徴を学習し 別の4病院にて撮影した脊髄灰⽩質をセグメンテーションした結果 ある病院にて撮影されたMR画像から脊髄灰⽩質の“普遍的な特徴”を学習し， 別の病院にて撮影されたMR画像に映る脊髄灰⽩質をセグメンテーションする ・引⽤ https://github.com/wyf0912/LDDG

Slide 55

Slide 55 text

© 20201228 @tdys13 55 従来の膨⼤な画像を⽤いた事前学習(ImageNetなど)ではなく， 新規⼿法としてDomain Generalizationを⽤いた不変的な特徴での学習を提案した ⻑年の課題解消に向けて ü 医⽤画像特有の不変的な特徴を学習する ・どんな研究？ 医⽤画像における『不変的な特徴』を抽出して 分類・セグメンテーション実験に適応した ・対象領域は？ 医⽤画像全般，実験では⽪膚がん及び脊髄 ・使⽤モデルは？ Classification：ResNet18 Segmentation：U-Net ・検証⽅法は？ 各タスクにおいて評価指標を設けた Classification：Recall Segmentation：Dice係数，TPRなど含めた5種類 ・引⽤ Li, Haoliang, et al. "Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization.” Advances in Neural Information Processing Systems 33 (2020). ・引⽤ https://github.com/wyf0912/LDDG

Slide 56

Slide 56 text

© 20201228 @tdys13 56 ⻑年の課題解消に向けて ImageNetの医⽤画像版． 3D医⽤画像を事前学習することで， 2D/2.5D/3Dの医⽤画像においても精度向上を実現したAIモデルの提案． ・引⽤ Zhou, Zongwei, et al. "Models Genesis." arXiv preprint arXiv:2004.07882 (2020). ・https://github.com/MrGiovanni/ModelsGenesis ü ⼈体に特化した深層学習モデル MICCAI2019 accepted(Best Young Scientist Award) ジャーナル誌 Medical Image Analysis(MedIA) MICCAI2020 (MedIA Best Paper Award)

Slide 57

Slide 57 text

© 20201228 @tdys13 57 ⻑年の課題解消に向けて ・引⽤ Zhou, Zongwei, et al. "Models Genesis." arXiv preprint arXiv:2004.07882 (2020). ü ⼈体に特化した深層学習モデル ・どんな研究？ Genesis Chest CT / Genesis Chest X-rayの2種類の提案． 様々な領域の3D医⽤画像を事前学習・転移学習することで どんな医⽤画像でもロバストなセグメンテーション・分類を 可能にした研究． さらに2D/2.5Dに対してもImageNetでの事前学習モデル以上の 精度を出すことを確認 ・対象領域は？ 医⽤画像全般(CT画像/X線画像) ・使⽤モデルは？ U-Net (Encoder部分のbackboneは様々．主に3D-ResNet101) 3次元医⽤画像で学習することで，3次元特徴を2次元/2.5次元に対しても 適応できることを確認した ・引⽤ ・https://github.com/MrGiovanni/ModelsGenesis

Slide 58

Slide 58 text

© 20201228 @tdys13 58 ⻑年の課題解消に向けて ü ⼈体に特化した深層学習モデル ・どうやって学習する？ ⼯程1. ⽤意した医⽤画像(Axial⾯, Sagittal⾯, Coronal⾯)に 様々な画像変換を施す(前処理) ⼯程2. ⼯程1.で前処理された画像をU-Netの⼊⼒として 元画像へと戻すように画像の再構成を⾏う． ⼯程3. Encoder部分をClassificationモデル， Encoder-Decoder部分をSegmentationモデルとして 使⽤する 前処理で加⼯した画像を元画像へ再現する⼯程を通して モデル⾃⾝が医⽤画像の特徴を学習していく ・引⽤ Zhou, Zongwei, et al. "Models Genesis." arXiv preprint arXiv:2004.07882 (2020). ・引⽤ ・https://github.com/MrGiovanni/ModelsGenesis

Slide 59

Slide 59 text

© 20201228 @tdys13 59 ⻑年の課題解消に向けて ・引⽤ Zhou, Zongwei, et al. "Models Genesis." arXiv preprint arXiv:2004.07882 (2020). ü ⼈体に特化した深層学習モデル ・どんな画像を事前学習・転移学習しているの？ [ Genesis Chest CT ] 事前学習：胸部CT画像のオープンデータセットである LUNA2016より623症例のCT画像 [ Genesis X-ray ] 事前学習：胸部X線画像のオープンデータセットである ChestX-ray8 [ 共通 ] 転移学習：各領域に応じてTrain, Testを⾏う 脳腫瘍オープンデータセット(BraTS2018)、 肝臓腫瘍データセット(MICCAI Lits2017)、 肺結節オープンデータセット(LUNA2016)、 肺結節オープンデータセット(LIDC-IDRI) 事前学習の重み，コードはgithubにて公開中(商⽤利⽤不可) ・引⽤ ・https://github.com/MrGiovanni/ModelsGenesis

Slide 60

Slide 60 text

© 20201228 @tdys13 60 ⻑年の課題解消に向けて ・引⽤ https://github.com/Tencent/MedicalNet https://niftynet.io/ ü ⼈体に特化した深層学習モデル その他にもTencent/MedicalNetやNiftyNetなどが医⽤画像事前学習モデルとして公開されている． (論⽂の⽐較実験より，ModelGenesisの⽅が軽量とのこと)

Slide 61

Slide 61 text

© 20201228 @tdys13 61 医⽤画像特有のタスク ・引⽤ Xu, Zhe, et al. "Adversarial uni-and multi-modal stream networks for multimodal image registration." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020. ü 医⽤画像の位置合わせ(image registration) MICCAI2020 accpeted CT画像とMR画像の位置合わせ，及び 動いた部分のCT画像やMR画像の修正⽅法を新規提案のCycle-GANを⽤いて提案 ※image registrationとは？なぜ⾏う？ ①呼吸したり動くことで，撮像された際にぶれるのを修正する⽬的． ②同じ患者のCT画像とMR画像をより正確に⾒⽐べる際に きちんと位置情報を合わせる必要がある

Slide 62

Slide 62 text

© 20201228 @tdys13 62 Image RegistrationはMICCAIなどの国際学会でもセッションが 満員になるくらい注⽬されている領域．今後もさらに発展が⾒込まれる． 医⽤画像特有のタスク ü 医⽤画像の位置合わせ(image registration) ・どんな研究？ CTtoMRの位置合わせ，及び動いたCT/MR画像の修正 ・対象領域は？ 腹部CT/MR画像 ・使⽤モデルは？ 論⽂にて提案した新規Cycle-GAN ・検証⽅法は？ Dice係数，TREなど 提案⽅法 ・引⽤ Xu, Zhe, et al. "Adversarial uni-and multi-modal stream networks for multimodal image registration." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020.

Slide 63

Slide 63 text

© 20201228 @tdys13 63 医⽤画像特有のタスク ・引⽤ Lee, Hong Joo, et al. "Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. ü 不明瞭な対象(臓器)に対するセグメンテーション CVPR2020 accpeted 医⽤画像に映る曖昧な臓器の境界をきちんと学習しセグメンテーションをする新規⼿法の提案

Slide 64

Slide 64 text

© 20201228 @tdys13 64 医⽤画像特有のタスク ・どんな研究？ 曖昧な臓器の境界まで学習してセグメンテーションする研究 ・対象領域は？ 医⽤画像全般 ・提案部分は？ 曖昧な境界を学習するために， 『境界を保存する機構-BPB(Boundary Preserving Block)』， 『保存された境界から最適なものを探索する機構 - Boundary Key point selection module』 『上記2つの境界部と正解ラベルを⽐べ フィードバックを送る機構 - SBE(Shape Boundary-aware Evaluator) 』 の3つが存在する ü 不明瞭な対象(臓器)に対するセグメンテーション ・引⽤ Lee, Hong Joo, et al. "Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. ⾒慣れないと分からない程の“曖昧な臓器”の境界部分を 推測⇄フィードバックを通して鮮明にしていく

Slide 65

Slide 65 text

© 20201228 @tdys13 65 医⽤画像特有のタスク ü 不明瞭な対象(臓器)に対するセグメンテーション ・引⽤ Lee, Hong Joo, et al. "Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. BPB(境界保存機構)とSBE(フィードバックを送る機構) を追加することでどんなモデルでもセグメンテーション精度(Dice値)が向上することが判明． ⽪膚がんデータセット 経膣超⾳波検査のデータセット

Slide 66

Slide 66 text

© 20201228 @tdys13 66 『AI×医⽤画像』の現状と可能性(2020年下半期) まとめ ・COVID-19を対象とした研究は引き続き急務として⾏われる ・医⽤画像の課題として画像数の不⾜，ラベルノイズなどが存在する それらを解決するための新提案研究などが活発 ・研究者が増えたことで， 優先度は⾼めだけど緊急性の低い研究テーマなどもどんどん活発化

Slide 67

Slide 67 text

© 20201228 @tdys13 67 他技術との融合(医⽤画像処理×⾃然⾔語処理) ・引⽤ Yuan, Jianbo, et al. "Automatic radiology report generation based on multi-view image fusion and medical concept enrichment." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019. ü 画像から病変部位を特定し、診断書を⾃動⽣成 CVPR2019 accpeted 患者の画像から病変部位を予測し，診断書を⾃動⽣成する研究

Slide 68

Slide 68 text

© 20201228 @tdys13 68 他技術との融合(医⽤画像処理×⾃然⾔語処理) ・引⽤ Yuan, Jianbo, et al. "Automatic radiology report generation based on multi-view image fusion and medical concept enrichment." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019. ü 画像から病変部位を特定し、診断書を⾃動⽣成 ・どんな研究？ 医⽤画像を学習・病変予測をすると同時に 医⽤画像から概念を抽出し 最終的に放射線科医の診断書を⾃動⽣成する研究 ・対象領域は？ 胸部X線&診断書 ・使⽤データセットは？ 事前学習：CheXpert，Indiana University Chest X-ray． Train & Test：IU-RR(放射線検査集, 画像と診断書のセット) ・検証⽅法は？ 医⽤画像：AUC ⾃然⾔語：BLEU Score 提案モデル 医⽤画像とペアになる診断書を学習することで， 医⽤画像から診断書に必要なワードの類推などを⾏い，最終的に診断書作成までを⾏う

Slide 69

Slide 69 text

© 20201228 @tdys13 69 他技術との融合(医⽤画像処理×⾃然⾔語処理) ・引⽤ Yuan, Jianbo, et al. "Automatic radiology report generation based on multi-view image fusion and medical concept enrichment." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019. ü 画像から病変部位を特定し、診断書を⾃動⽣成 『医⽤画像の病変部分』と『⾔語情報』を紐付けて学習することで， 最終的に放射線の診断書を⾃動⽣成することを可能にした 提案モデル ・どんな研究？ 医⽤画像を学習・病変予測をすると同時に 医⽤画像から概念を抽出し 最終的に放射線科医の診断書を⾃動⽣成する研究 ・対象領域は？ 胸部X線&診断書 ・使⽤データセットは？ 事前学習：CheXpert，Indiana University Chest X-ray． Train & Test：IU-RR(放射線検査集, 画像と診断書のセット) ・検証⽅法は？ 医⽤画像：AUC ⾃然⾔語：BLEU Score

Slide 70

Slide 70 text

© 20201228 @tdys13 70 他技術との融合(医⽤画像処理×⾃然⾔語処理) ・引⽤ Zhang, Yuhao, et al. "Contrastive Learning of Medical Visual Representations from Paired Images and Text." arXiv preprint arXiv:2010.00747 (2020). ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する① 医⽤画像(ラベル不使⽤)とテキストデータの⾃然なペアデータから 医⽤画像の病変を推測する教師なし学習の提案

Slide 71

Slide 71 text

© 20201228 @tdys13 71 他技術との融合(医⽤画像処理×⾃然⾔語処理) ・引⽤ Zhang, Yuhao, et al. "Contrastive Learning of Medical Visual Representations from Paired Images and Text." arXiv preprint arXiv:2010.00747 (2020). ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する① ・どんな研究？ 医⽤画像とペアになるテキストデータから学習し 画像内の疾患候補部位を推測する研究 ・対象領域は？ 胸部X線&テキストデータ ・使⽤モデルは？ ConVIRT Image Encoder : ResNet50 Text Encoder : BERT encoder ・⼯夫点は？ Image-to-text loss / text-to-image loss 2つを組み合わせた final train lossの提案 提案モデル ConVIRT ⾃然⾔語の学習部分にBERTを組み込んだ． BERTとは⾃然⾔語領域にてSoTAを更新したモデル

Slide 72

Slide 72 text

© 20201228 @tdys13 72 他技術との融合(医⽤画像処理×⾃然⾔語処理) ・引⽤ Zhang, Yuhao, et al. "Contrastive Learning of Medical Visual Representations from Paired Images and Text." arXiv preprint arXiv:2010.00747 (2020). ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する① ・どんな研究？ 医⽤画像とペアになるテキストデータから学習し 画像内の疾患候補部位を推測する研究 ・対象領域は？ 胸部X線&テキストデータ ・使⽤モデルは？ ConVIRT Image Encoder : ResNet50 Text Encoder : BERT encoder ・⼯夫点は？ Image-to-text loss / text-to-image loss 2つを組み合わせた final train lossの提案 提案モデル ConVIRT ⾃然⾔語部分のlossと医⽤画像部分のlossを組み合わせて共に学習を実施．

Slide 73

Slide 73 text

© 20201228 @tdys13 73 他技術との融合(医⽤画像処理×⾃然⾔語処理) ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する① ・使⽤データセットは？ 事前学習 - MIMIC-CXR(画像とテキストのペアデータ) - private dataset(画像とテキストのペアデータ) Image classification(画像のクラス分類) - RSNA Pueumonia Detection (肺炎 / 正常) - CheXpert (14クラス) - COVIDx (COVID-19肺炎, 肺炎, 正常肺 ) - MURA(筋⾻格の異常/正常) image-image Retrieval(⼊⼒画像に近しい画像探索) - CheXpert 8x200 Retrieval Dataset Text-image Retrieval(⼊⼒画像の概要に近しい画像探索) - CheXpert 8x200 Retrieval Dataset 事前学習あり 事前学習なし 医⽤画像とテキストデータのペア学習は， 画像分類タスクにおいて⾼い性能を⽰す事ができた ・引⽤ Zhang, Yuhao, et al. "Contrastive Learning of Medical Visual Representations from Paired Images and Text." arXiv preprint arXiv:2010.00747 (2020).

Slide 74

Slide 74 text

© 20201228 @tdys13 74 他技術との融合(医⽤画像処理×⾃然⾔語処理) ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する① ・使⽤データセットは？ 事前学習 - MIMIC-CXR(画像とテキストのペアデータ) - private dataset(画像とテキストのペアデータ) Image classification(画像のクラス分類) - RSNA Pueumonia Detection (肺炎 / 正常) - CheXpert (14クラス) - COVIDx (COVID-19肺炎, 肺炎, 正常肺 ) - MURA(筋⾻格の異常/正常) image-image Retrieval(⼊⼒画像に近しい画像探索) - CheXpert 8x200 Retrieval Dataset Text-image Retrieval(⼊⼒画像の概要に近しい画像探索) - CheXpert 8x200 Retrieval Dataset 事前学習あり 事前学習なし COVID-19などの新規感染症に対しても効果が出る事が判明した． ・引⽤ Zhang, Yuhao, et al. "Contrastive Learning of Medical Visual Representations from Paired Images and Text." arXiv preprint arXiv:2010.00747 (2020).

Slide 75

Slide 75 text

© 20201228 @tdys13 75 他技術との融合(医⽤画像処理×⾃然⾔語処理) ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する① ・使⽤データセットは？ 事前学習 - MIMIC-CXR(画像とテキストのペアデータ) - private dataset(画像とテキストのペアデータ) Image classification(画像のクラス分類) - RSNA Pueumonia Detection (肺炎 / 正常) - CheXpert (14クラス) - COVIDx (COVID-19肺炎, 肺炎, 正常肺 ) - MURA(筋⾻格の異常/正常) image-image Retrieval(⼊⼒画像に近しい画像探索) - CheXpert 8x200 Retrieval Dataset Text-image Retrieval(⼊⼒画像の概要に近しい画像探索) - CheXpert 8x200 Retrieval Dataset 画像探索においても有⽤だと判明した． ・引⽤ Zhang, Yuhao, et al. "Contrastive Learning of Medical Visual Representations from Paired Images and Text." arXiv preprint arXiv:2010.00747 (2020).

Slide 76

Slide 76 text

© 20201228 @tdys13 76 他技術との融合(医⽤画像処理×⾃然⾔語処理) ・引⽤ Zhang, Yuhao, et al. "Contrastive Learning of Medical Visual Representations from Paired Images and Text." arXiv preprint arXiv:2010.00747 (2020). ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する① ・使⽤データセットは？ 事前学習 - MIMIC-CXR(画像とテキストのペアデータ) - private dataset(画像とテキストのペアデータ) Image classification(画像のクラス分類) - RSNA Pueumonia Detection (肺炎 / 正常) - CheXpert (14クラス) - COVIDx (COVID-19肺炎, 肺炎, 正常肺 ) - MURA(筋⾻格の異常/正常) image-image Retrieval(⼊⼒画像に近しい画像探索) - CheXpert 8x200 Retrieval Dataset Text-image Retrieval(⼊⼒画像の概要に近しい画像探索) - CheXpert 8x200 Retrieval Dataset ImageNetではなく医⽤画像&テキストデータで事前学習することで より近しい表現同⼠に収束する事が分かった

Slide 77

Slide 77 text

© 20201228 @tdys13 77 他技術との融合(医⽤画像処理×⾃然⾔語処理) ・引⽤ Tam, Leo K., et al. "Weakly supervised one-stage vision and language disease detection using large scale pneumonia and pneumothorax studies." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020. ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する② 医⽤画像(ラベル不使⽤)とテキストデータをそれぞれ学習し，画像内の病変を特定する研究 MICCAI2020 accpeted

Slide 78

Slide 78 text

© 20201228 @tdys13 78 他技術との融合(医⽤画像処理×⾃然⾔語処理) ・引⽤ Tam, Leo K., et al. "Weakly supervised one-stage vision and language disease detection using large scale pneumonia and pneumothorax studies." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020. ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する② ・どんな研究？ 医⽤画像とペアになるテキストデータをそれぞれ学習し 最終的に画像内の疾患候補部位を特定する研究 ・対象領域は？ 胸部X線&テキストデータ ・使⽤モデルは？ 提案モデル ‒ LITERATI YOLO v3 / BERT ・評価指標は？ IOU 提案モデル - LITERATI ⾃然⾔語部分にBERTを使⽤ 医⽤画像とテキストデータより疾患部位を特定する

Slide 79

Slide 79 text

© 20201228 @tdys13 79 他技術との融合(医⽤画像処理×⾃然⾔語処理) ・引⽤ Tam, Leo K., et al. "Weakly supervised one-stage vision and language disease detection using large scale pneumonia and pneumothorax studies." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020. ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する② ・使⽤データセットは？ ChestXray-14 MIMIC-CXR ・実験結果 Scene Label(ラベルが疾患名称データのみ)では 提案⼿法がIOU(0.1~0.3)は⾼い． Scene Label(疾患名称データのみ) Referring expression(疾患の状態データ) Referring disease emphasis(疾患名称と位置のデータ) の⽐較では Referring disease emphasis(疾患の名称と位置データ)が 最も精度に影響する 疾患名称のみでもある程度の精度が出る事が判明 現状は疾患の状態データより，疾患の名称+位置データが精度に直結する Scene Label Whole Label

Slide 80

Slide 80 text

© 20201228 @tdys13 80 今度さらに研究が期待される領域 ・引⽤ Ozyoruk, Kutsev Bengisu, et al. "Quantitative Evaluation of Endoscopic SLAM Methods: EndoSLAM Dataset.” arXiv preprint arXiv:2006.16670 (2020). https://github.com/CapsuleEndoscope/EndoSLAM ü 臓器内部の３次元構成研究 豚の臓器(not ⼈体)を対象とした内視鏡SLAMデータセット ※SLAM(Simultaneous Localization And Mapping)とは ⾃⼰位置推定と環境地図作成に⽤いられる技術です． ルンバが迷わずにお掃除できるのもSLAM技術のおかげ

Slide 81

Slide 81 text

© 20201228 @tdys13 81 今度さらに研究が期待される領域 ü 臓器内部の３次元構成研究 ⼈体内部の臓器を3次元再構成&経路を可視化． リアルタイムで⼈体内部から経路作成&3次元再構成が可能になったらどんな技術⾰新が起こる？ ・引⽤ Ozyoruk, Kutsev Bengisu, et al. "Quantitative Evaluation of Endoscopic SLAM Methods: EndoSLAM Dataset.” arXiv preprint arXiv:2006.16670 (2020). https://github.com/CapsuleEndoscope/EndoSLAM

Slide 82

Slide 82 text

© 20201228 @tdys13 82 今度さらに研究が期待される領域 ・引⽤ Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 (2018). ü Transformer系 他領域で話題となった技術が医⽤画像処理領域にも今後⼊ってくる (すでに⾃然⾔語×医⽤画像処理などの新ジャンルにおいて活⽤され始めている) ⾃然⾔語領域で話題となったBERT(Transformer系) Transformer系を画像処理に適応したViT ・引⽤ Dosovitskiy, Alexey, et al. "An image is worth 16x16 words: Transformers for image recognition at scale." arXiv preprint arXiv:2010.11929 (2020).

Slide 83

Slide 83 text

© 20201228 @tdys13 83 オープンデータセットやコンペティションの動向 前⽴腺癌のグレードを分類するコンペ*1 ，⽪膚病変を分類するコンペ*2 、 CT画像から肺活量を予測するコンペ*3 が2020年上半期で開催された。 引⽤： ・Kaggle Prostate cANcer graDe Assessment Challenge https://www.kaggle.com/c/prostate-cancer-grade-assessment ・ SIIM-ISIC Melanoma Classification https://www.kaggle.com/c/siim-isic-melanoma-classification ・ OSIC Pulmonary Fibrosis Progression https://www.kaggle.com/c/osic-pulmonary-fibrosis-progression/overview ü 医⽤画像に関するコンペティションが数多く開催された2020年

Slide 84

Slide 84 text

© 20201228 @tdys13 84 前⽴腺癌のグレードを分類するコンぺでは 上位10チームのうち1、４、６位が⽇本⼈所属チームとなった(全世界から1010チーム参加) オープンデータセットやコンペティションの動向 引⽤： ・Kaggle Prostate cANcer graDe Assessment Challenge https://www.kaggle.com/c/prostate-cancer-grade-assessment ü 医⽤画像に関するコンペティションが数多く開催された2020年

Slide 85

Slide 85 text

© 20201228 @tdys13 85 オープンデータセットやコンペティションの動向 CT画像から肺塞栓症が存在するかどうかを予測するコンペ*1 ， 腎臓の病理画像からPAS染⾊された顕微鏡データ中の⽷球体をセグメンテーションするコンペ*2 、 胸部X線画像からカテーテルとラインを検出するコンペ*3 が2020年下半期で開催されている。 引⽤： ・Kaggle RSNA STR Pulmonary Embolism Detection https://www.kaggle.com/c/rsna-str-pulmonary-embolism-detection ・Kaggle HuBMAP Hacking the Kidney https://www.kaggle.com/c/hubmap-kidney-segmentation ・Kaggle RANZCR CLiP ‒ Catheter and Line position Challenge https://www.kaggle.com/c/ranzcr-clip-catheter-line-classification ü 医⽤画像に関するコンペティションが数多く開催された2020年

Slide 86

Slide 86 text

© 20201228 @tdys13 86 CT画像から肺塞栓症が存在するかどうかを予測するコンペでは 上位10チーム中の４、６、８、９位が⽇本⼈所属チームとなった(全世界から784チーム参加) オープンデータセットやコンペティションの動向 引⽤： ・ Kaggle RSNA STR Pulmonary Embolism Detection https://www.kaggle.com/c/rsna-str-pulmonary-embolism-detection/leaderboard ü 医⽤画像に関するコンペティションが数多く開催された2020年

Slide 87

Slide 87 text

© 20201228 @tdys13 87 オープンデータセットやコンペティションの動向 引⽤： https://grand-challenge.org/ ü 医⽤画像に関するコンペティションが数多く開催された2020年 GrandChallengeでは21の医⽤画像コンペが開催された

Slide 88

Slide 88 text

© 20201228 @tdys13 88 オープンデータセットやコンペティションの動向 引⽤： https://medmnist.github.io/ ü 医⽤画像領域が⾝近になるようなオープンデータセットが数多く登場 医⽤画像版MNIST ‒ MedMNIST (2020.11 公開開始) ラベル付けもされており数も多い．28x28のサイズだが⼯夫すれば発展の可能性に満ちてる

Slide 89

Slide 89 text

© 20201228 @tdys13 89 オープンデータセットやコンペティションの動向 引⽤： https://github.com/lindawangg/COVID-Net ü 医⽤画像領域が⾝近になるようなオープンデータセットが数多く登場 COVID-Net(カナダのスタートアップ企業が主導してるオープンソース) ⾃⾝でデータセットを収集できる

Slide 90

Slide 90 text

© 20201228 @tdys13 90 『AI×医⽤画像』の現状と可能性(2020年下半期) まとめ ・医⽤画像×⾃然⾔語処理などの技術領域横断研究が増えた →より現場で必要な複雑性に対応する研究が増えていく？ ・深層学習×医⽤画像の領域でも，すぐには応⽤できないけれども 今後必要になりうるテーマが研究され始めた ・いろんなコンペで医⽤画像やCOVID-19題材のコンペが⾏われた

Slide 91

Slide 91 text

© 20201228 @tdys13 2. 3. 4. 1. 91 ⾃⼰紹介 世界の研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2020 - 部位別カオスマップ，技術紹介 まとめ

Slide 92

Slide 92 text

© 20201228 @tdys13 92 近年の医療AIに関して 2020年はついに ⽇本でも医療AIの ⼤合戦がついに起きるぞ (と、2019年頃から思っていた)

Slide 93

Slide 93 text

© 20201228 @tdys13 93 2020年のAI×医⽤画像に関する論⽂はDeepMindからスタートした(2020年1⽉1⽇発表@nature) 2020年の医療AI 引⽤： McKinney, Scott Mayer, et al. "International evaluation of an AI system for breast cancer screening." Nature 577.7788 (2020): 89-94.

Slide 94

Slide 94 text

© 20201228 @tdys13 94 世界的にも引き続きヘルスケア・AI領域への投資額は伸びている AIを⽤いた診断領域の市場 ・引⽤ Healthcare AI Trends To Watch https://www.cbinsights.com/research/report/ai-trends-healthcare/

Slide 95

Slide 95 text

© 20201228 @tdys13 95 しかし2019年末から中国・武漢を発祥源としてCOVID-19が世界的⼤流⾏。 COVID19 引⽤： 新型コロナウイルスに関連した患者の発⽣について https://www.bousai.metro.tokyo.lg.jp/taisaku/saigai/1007261/1007264.html

Slide 96

Slide 96 text

© 20201228 @tdys13 96 ⽇本でも罹患者が。 緊急事態であるが故に厚労省よりCOVID-19関連医薬品の優先審査が発表された(2020.04.13) COVID19 引⽤： 新型コロナウイルス感染症の発⽣に伴う 当⾯の医薬品、医療機器、体外診断⽤医薬品及び 再⽣医療等製品の 承認審査に関する取扱いについて https://www.pmda.go.jp/files/ 000234904.pdf?fbclid=IwAR0Ln3WkVneZLMW6akrEF1JIDuBHw7WcBGJ_aI9UveW1K75wt75qRZ-3S5s

Slide 97

Slide 97 text

© 20201228 @tdys13 97 近年の医療AIに関して 『あれ．．． どうなるの？？』 と⼼配したものの， 各社&世界の研究は加速． ということで..

Slide 98

Slide 98 text

© 20201228 @tdys13 98 ⽇本ではCOVID19を題材に医療AIで どんな取り組みをしてるの？ (密を防ぐおばちゃん達)

Slide 99

Slide 99 text

© 20201228 @tdys13 99 COVID19を題材とした⽇本における医療AI(会社⼀覧) 2020 1228 とどろき調べ

Slide 100

Slide 100 text

© 20201228 @tdys13 100 COVID19を題材とした⽇本における医療AI(会社×提携先or共同研究先) 2020 1228 とどろき調べ

Slide 101

Slide 101 text

© 20201228 @tdys13 101 COVID19を題材とした⽇本における医療AI とどろきが個⼈的に調べたものなので不⾜等あると思います！ 不⾜分は勉強させてください！！ ここのリスト、16企業+α ⼀挙に紹介するよ！！ (上半期スライドで紹介したものはサクッと紹介)

Slide 102

Slide 102 text

© 20201228 @tdys13 102 COVID19を題材とした⽇本における医療AI [ エムスリー株式会社 × Alibaba Cloud(中国) ] COVID-19肺炎画像解析プログラム Ali-M3 プログラム医療機器薬事承認&提供開始 ・⼀⾔ - クラウド型AIタイプのプログラム医療機器 - 中国で提供されているAIを ⽇本で臨床試験を⾏い、薬事申請 引⽤ エムスリーとアリババクラウド AI医療技術「COVID-19肺炎画像解析プログラム Ali-M3」医療機器製造販売の承認取得・提供開始 ・https://corporate.m3.com/press_release/2020/20200629_001616.html

Slide 103

Slide 103 text

© 20201228 @tdys13 103 COVID19を題材とした⽇本における医療AI [ 株式会社CESデカルト × InferVision (中国)] 肺画像解析プログラム InferRead CT Pneumonia プログラム医療機器薬事承認&提供開始 引⽤ CESデカルト COVID-19 感染症に関係する症状を対象とした医療機器承認取得 http://desc.co.jp/covid-19/ ・⼀⾔ - ⽇本初、COVID19関連で承認されたプログラム医療機器 - 中国で提供されているAIを ⽇本で臨床試験を⾏い、薬事申請

Slide 104

Slide 104 text

© 20201228 @tdys13 104 COVID19を題材とした⽇本における医療AI [ 富⼠フイルム株式会社 ×京都⼤学] AI技術を⽤いた新型コロナウイルス肺炎の診断⽀援技術開発を開始 引⽤ 富⼠フィルム株式会社 AI技術を⽤いた新型コロナウイルス肺炎の診断⽀援技術開発を開始 https://www.fujifilm.com/jp/ja/news/list/4968 ・⼀⾔ - 京都⼤学と共同研究をしていた間質性肺炎の 定量化技術をCOVID19向けに活⽤

Slide 105

Slide 105 text

© 20201228 @tdys13 105 COVID19を題材とした⽇本における医療AI [ 株式会社NTTデータ ×DeepTek(インド)] AI技術を⽤いた新型コロナウイルス肺炎の診断⽀援技術開発を開始 引⽤ AIを搭載した画像診断⽀援ソリューションがCOVID-19の診断⽀援に貢献 インドにてPOCを開始 https://www.nttdata.com/jp/ja/news/release/2020/052501/ ・⼀⾔ - インドの病院にてAIを活⽤したCOVID19診断⽀援を開始 - 今後、⽇本展開やAPAC展開を⾏う

Slide 106

Slide 106 text

© 20201228 @tdys13 106 COVID19を題材とした⽇本における医療AI [株式会社両備システムズ×岡⼭⼤学] X線画像からの新型コロナウイルス肺炎の解析を⾏うAI・臨床試験中 引⽤ ＡＩで新型コロナ肺炎を診断 岡⼭⼤⼤学院の河原教授ら開発 https://www.sanyonews.jp/article/1025348 COVID-Net https://medium.com/@sheldon.fernandez/ covid-net-an-open-source-neural-network-for-covid-19-detection-48b8a55e6d44 ・⼀⾔ - カナダのスタートアップDarwin AI社が開発した コロナ罹患者のX線画像を学習したCOVID-Netを使⽤ - 現在岡⼭⼤学で臨床試験中

Slide 107

Slide 107 text

© 20201228 @tdys13 107 COVID19を題材とした⽇本における医療AI [シーメンスヘルスケア株式会社] CT画像からの新型コロナウイルス肺炎の解析を⾏うAI提供開始 ・⼀⾔ - シーメンスヘルスケア(ドイツ)が開発したAIを シーメンスヘルスケア(⽇本)が⽇本で提供開始 引⽤ シーメンスヘルスケア AI技術によりCT画像を⽤いた新型コロナウイルス感染症の解析をサポートする 臨床研究⽤ソフトウェアの提供を開始 https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20200518-ct-ai-covid-19.html

Slide 108

Slide 108 text

© 20201228 @tdys13 108 COVID19を題材とした⽇本における医療AI [シーメンスヘルスケア株式会社] CT画像からの新型コロナウイルス肺炎の解析を⾏うAI提供開始 ・⼀⾔ - シーメンスヘルスケア(ドイツ)が開発したAIを シーメンスヘルスケア(⽇本)が⽇本で提供開始 京都⼤学の研究グループ以外は海外のCT画像やX線画像を学習したAI 引⽤ シーメンスヘルスケア AI技術によりCT画像を⽤いた新型コロナウイルス感染症の解析をサポートする 臨床研究⽤ソフトウェアの提供を開始 https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20200518-ct-ai-covid-19.html

Slide 109

Slide 109 text

© 20201228 @tdys13 109 COVID19を題材とした⽇本における医療AI [シーメンスヘルスケア株式会社] CT画像からの新型コロナウイルス肺炎の解析を⾏うAI提供開始 ・⼀⾔ - シーメンスヘルスケア(ドイツ)が開発したAIを シーメンスヘルスケア(⽇本)が⽇本で提供開始 ⼈種差ってあるの？ないの？ 引⽤ シーメンスヘルスケア AI技術によりCT画像を⽤いた新型コロナウイルス感染症の解析をサポートする 臨床研究⽤ソフトウェアの提供を開始 https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20200518-ct-ai-covid-19.html

Slide 110

Slide 110 text

© 20201228 @tdys13 110 多⼈種における性能差に関する調査 [ 株式会社NTTデータ×宮崎⼤学 ] AIを⽤いたがん検出において⼈種差が⽣じないかに関する研究 ・技術的視点 学習データ ： 腹部CT画像11万枚(アメリカ⼈患者5000⼈で学習。⽇本⼈患者は⼀切含めず) テストデータ ： 宮崎⼤学付属病院の⽇本⼈患者700名、上記学習画像と機材も環境も異なる。 (250名の腎癌患者，200名の腎臓疾患患者，250名の健康患者) モデル ： ??? 結果 ： 感度82.0%，特異度95.0% 引⽤ ・株式会社NTTデータ プレスリリース 2019 09.26 宮崎⼤学とNTTデータがAI画像診断の実証実験を実施 https://www.nttdata.com/jp/ja/news/release/2019/092600/

Slide 111

Slide 111 text

© 20201228 @tdys13 ・技術的視点 学習データ ： 腹部CT画像11万枚(アメリカ⼈患者5000⼈で学習。⽇本⼈患者は⼀切含めず) テストデータ ： 宮崎⼤学付属病院の⽇本⼈患者700名、上記学習画像と機材も環境も異なる。 (250名の腎癌患者，200名の腎臓疾患患者，250名の健康患者) モデル ： ??? 結果 ： 感度82.0%，特異度95.0% 111 多⼈種における性能差に関する調査 結論として⼈体画像に⼈種差はなかった。（撮像環境などの検証はこの研究では述べられていない） 引⽤ ・株式会社NTTデータ プレスリリース 2019 09.26 宮崎⼤学とNTTデータがAI画像診断の実証実験を実施 https://www.nttdata.com/jp/ja/news/release/2019/092600/ [ 株式会社NTTデータ×宮崎⼤学 ] AIを⽤いたがん検出において⼈種差が⽣じないかに関する研究

Slide 112

Slide 112 text

© 20201228 @tdys13 112 COVID19を題材とした⽇本における医療AI [ エムスリー株式会社×兵庫県⽴⼤学×兵庫県⽴尼崎総合医療センター] 新型コロナウイルス感染者の予後予測指標及び 予測モデルの開発 ・⼀⾔ - 感染者の予後予測と予測モデルの開発を発表． - 予測モデルではCOVID-19陽性者の重症化を確率的に予測し， 診療にて使える判断指標の提供を⽬指す 引⽤ COVID-19肺炎AIの無償⽀援プロジェクト拡⼤と重症化予測AI開発のお知らせ https://corporate.m3.com/press_release/2020/20200930_001637.html

Slide 113

Slide 113 text

© 20201228 @tdys13 113 COVID19を題材とした⽇本における医療AI [ CESデカルト株式会社×テラ株式会社] 新型コロナウイルス感染症の重症化予測AIプログラム開発を発表 ・⼀⾔ - COVID-19重症患者のCT画像含めたデータは テラ株式会社の⼦会社にて収集されたデータの提供を計画 引⽤ tella 新型コロナ感染症重症化予測AIシステムの開発に関する基本合意締結のお知らせ https://www.tella.jp/company/release/2020/11/2773/

Slide 114

Slide 114 text

© 20201228 @tdys13 114 COVID19を題材とした⽇本における医療AI [ 名古屋⼤学×国⽴情報学研究所×⽇本医学放射線学会] CT画像に映る新型コロナウイルス肺炎の解析⼿法の開発 ・⼀⾔ - 正常部と肺炎部のセグメンテーションを実現． - 正常部と肺炎部の識別性能83.3% 引⽤ 新型コロナウイルスによる肺炎CT画像のAIによる解析析⼿法開発 http://www.nagoya-u.ac.jp/about-nu/public-relations/researchinfo/upload_images/20200928_i1.pdf

Slide 115

Slide 115 text

© 20201228 @tdys13 115 COVID19を題材とした⽇本における医療AI [ 株式会社富⼠通×東品川病院] 新型コロナウイルス肺炎の診断⽀援を⾏うAI技術の共同研究開始 ・⼀⾔ - 診断⽀援に⽤いるAIは株式会社富⼠通研究所が開発． - CT画像の肺領域を分割し，肺炎候補部をヒートマップで表⽰ 引⽤ 新型コロナウイルス肺炎の診断を⽀援するAI技術の共同研究開発を開始 https://pr.fujitsu.com/jp/news/2020/09/2.html

Slide 116

Slide 116 text

© 20201228 @tdys13 116 COVID19を題材とした⽇本における医療AI [ キヤノンメディカルシステムズ株式会社×藤⽥医科⼤学] 新型コロナウイルス肺炎の診断⽀援を⾏うAI技術の臨床適⽤評価を開始 ・⼀⾔ - 新型コロナウイルス肺炎部の診断⽀援を⾏うAIを開発． - 臨床適⽤評価を開始した． - 2020.12.22 発売予定であった診断⽀援AIの発売中⽌を発表 引⽤ 新型コロナウイルス肺炎診断⽀援に関する臨床への適⽤評価を開始 https://jp.medical.canon/News/PressRelease/Detail/59221-834

Slide 117

Slide 117 text

© 20201228 @tdys13 117 COVID19を題材とした⽇本における医療AI [株式会社NTTデータ] 新型コロナウイルス画像診断AI向け学習⽤データの無償提供開始 ・⼀⾔ - 研究者向けに医⽤画像の無償公開を開始 - アノテーションは医師&開発したAIが⾏う 引⽤ 新型コロナウイルス画像診断AI向け学習⽤データの無償提供開始 https://www.nttdata.com/jp/ja/news/services_info/2020/100500/

Slide 118

Slide 118 text

© 20201228 @tdys13 118 COVID19を題材とした⽇本における医療AI [⼀般社団法⼈⽇本医療受診⽀援研究機構] AI受診相談サービス ユビー の提供開始 引⽤ AI受診相談サービス ユビー https://ubie.app/ ⾃宅で事前問診可能な「AI受診相談ユビー新型コロナウイルス版」を無償提供開始 https://prtimes.jp/main/html/rd/p/000000001.000057275.html ・⼀⾔ - Ubie社が提供するAI受診サービス ユビー - いくつかの質問を答えた後に対処法を提⽰してくれる

Slide 119

Slide 119 text

© 20201228 @tdys13 119 COVID19を題材とした⽇本における医療AI [塩野義製薬株式会社×株式会社SyntheticGestalt×北海道⼤学] AI創薬技術により選出されたCOVID-19治療薬候補化合物の探索研究 引⽤ 塩野義製薬プレスリリース https://www.shionogi.com/jp/ja/news/2020/06/200603_02.html ・⼀⾔ - SyntheticGestalt社が保有するAI創薬技術を⽤いて 選出されたCOVID19治療薬候補化合物を実⽤実験

Slide 120

Slide 120 text

© 20201228 @tdys13 120 COVID19を題材とした⽇本における医療AI [株式会社FRONTEO] ⾃然⾔語処理技術を応⽤して 新型コロナウイルス感染症（COVID-19）のパスウェイマップを構成する 引⽤ 株式会社FRONTEO https://www.fronteo.com/20200417 ・⼀⾔ - 事象ごとの関連性を可視化することで COVID19の治療薬に関する情報を羅列

Slide 121

Slide 121 text

© 20201228 @tdys13 121 COVID19を題材とした⽇本における医療AI [株式会社ELIX] AI創薬技術を応⽤してCOVID-19治療薬候補化合物の分⼦設計 引⽤ 株式会社Elix https://www.elix-inc.com/jp Screening for COVID-19: Japanese Startup Uses AI for Drug Discovery https://blogs.nvidia.com/blog/2020/07/08/elix-ai-covid-drug-discovery/ Nvidia GTC https://on-demand.gputechconf.com/gtc/2020/s2747/ ・⼀⾔ - グラフニューラルネットと呼ばれるモデルを⽤いて 薬剤候補のデータベースを分析し、特定の疾患を 治療するのに適した物理的・化学的特性を持つ薬剤を 推論する。

Slide 122

Slide 122 text

© 20201228 @tdys13 122 COVID19を題材とした⽇本における医療AI(番外編) [Kaggle] ・COVID-19の罹患者数予測コンペ ・COVID-19 Open Research Dataset Challenge（CORD-19） 引⽤ https://www.kaggle.com/c/covid19-global-forecasting-week-1 ・⼀⾔ - 罹患者数予測コンペは5回⾏われ、1回⽬の優勝者は⽇本⼈の医師兼エンジニア - CORD-19はホワイトハウス主導のコンペ。AIの⼒を⽤いてCOVID19に対する 新たな洞察をしてほしいという旨。約3万本のCOVID19関連論⽂から 新型コロナウイルスに関して分かっていることを導き出す。

Slide 123

Slide 123 text

© 20201228 @tdys13 123 『AI×医⽤画像』の現状と可能性(特別編) まとめ <ひと⼝メモ> ・⽇本におけるCOVID19関連のAI×医⽤画像は 海外製をリメイクなどして⽇本で性能検証したのちに 提供開始された。 ・COVID-19罹患者の重症度予測研究なども始まった

Slide 124

Slide 124 text

© 20201228 @tdys13 124 COVID19以外で 医療AIはどうなったの？ (いつものおばちゃん達)

Slide 125

Slide 125 text

© 20201228 @tdys13 125 2020年上半期の⽇本における医療AI(会社⼀覧) 2020 1228 とどろき調べ

Slide 126

Slide 126 text

© 20201228 @tdys13 126 2020年上半期の⽇本における医療AI(会社×協業先or共同研究先) 2020 1228 とどろき調べ

Slide 127

Slide 127 text

© 20201228 @tdys13 127 2020年下半期の⽇本における医療AI(会社⼀覧) 2020 1228 とどろき調べ

Slide 128

Slide 128 text

© 20201228 @tdys13 128 2020年下半期の⽇本における医療AI(会社×協業先or共同研究先) 2020 1228 とどろき調べ ΊͪΌͪ͘Ό ૿͑ͨͷͰ આ໌΋େมʂ خ͍͠

Slide 129

Slide 129 text

© 20201228 @tdys13 129 2020年上半期編 とどろきが個⼈的に調べたものなので不⾜等あると思います！ 不⾜分は勉強させてください！！ ここのリストの企業(44事業) ⼀挙に紹介するよ！！ (上半期に説明した企業はさらっとやるよ． 増えたね〜〜〜〜〜)

Slide 130

Slide 130 text

© 20201228 @tdys13 130 2020年上半期の⽇本における医療AI 引⽤ 京都⼤学iCeMs https://www.icems.kyoto-u.ac.jp/ja/news/5500 IEEE Access ”CGHF: A Computational Decision Support System for Glioma Classification Using Hybrid Radiomics- and Stationary Wavelet-Based Features” https://ieeexplore.ieee.org/document/9075214 ・⼀⾔ - 97.54%の精度で判別する機械学習法を開発 低グレード：グレードIの⽑様細胞性星状細胞腫、 グレードIIの低グレードグリオーマ。 ⾼グレード：グレードIIIの悪性神経膠腫、 グレードIVの多形性膠芽腫。 [京都⼤学×インド⼯科⼤学] 脳腫瘍を低グレード、⾼グレードに⾼精度に分類する⼿法の提案

Slide 131

Slide 131 text

© 20201228 @tdys13 131 2020年上半期の⽇本における医療AI [ATR×広島⼤学] fMRIとAIを⽤いたうつ病の新規診断⼿法 引⽤ 広島⼤学 【研究成果】10分間のMRI検査とAIを⽤いたうつ病の⾼い精度の判定による新たな診断法を開発しました https://www.hiroshima-u.ac.jp/news/56799 ・⼀⾔ - fMRIより全脳137領域から時系列データを抽出し 時系列相関をまとめたデータを作成。 このデータを⽤いてメランコリア特徴を伴ううつ病診断。 AUC0.94

Slide 132

Slide 132 text

© 20201228 @tdys13 132 2020年上半期の⽇本における医療AI [DeepEyeVision株式会社] クラウド型AI診断⽀援ソリューション“DeepEyeVision” 引⽤ DeepEyeVision https://deepeyevision.com/ ・⼀⾔ - ⾃治医科⼤学発スタートアップ クラウド型のAI画像解析サービス 糖尿病網膜症のフェーズを分類、円錐⾓膜を診断など HPより引⽤

Slide 133

Slide 133 text

© 20201228 @tdys13 133 2020年上半期の⽇本における医療AI [株式会社メニワン] 獣医師向け⽝猫の眼底疾患診断⽀援AI 引⽤ メニワン Fundus AIについて https://ai.meni-one.com/about ・⼀⾔ - 昨年9⽉にメニコンがサービスを発表と 発売開始をリリース - 眼領域のメニコンが⼈ではなく⽝猫に注⼒するのは 個⼈的に注⽬してます HPより引⽤

Slide 134

Slide 134 text

© 20201228 @tdys13 134 2020年上半期の⽇本における医療AI [兵庫医科⼤学×ツカザキ病院] AIを⽤いて眼底写真から脈絡膜の厚さを推定 引⽤ 兵庫医科⼤学 画像処理とAI（⼈⼯知能）により、眼底写真から脈絡膜の厚さを推定することが可能と証明 （眼科学 病院助⼿ ⼩椋 有貴） https://www.hyo-med.ac.jp/research_facilities/output/gyoseki/20200401-01.html Choroidal thickness estimation from colour fundus photographs by adaptive binarisation and deep learning, according to central serous chorioretinopathy status https://www.nature.com/articles/s41598-020-62347-7 ・⼀⾔ - VGG16を⽤いて眼底写真から脈絡膜厚の推測を⾏った カラー眼底写真から、網膜⾎管消去画像を作成。 脈絡膜⾎管を描出し、視神経乳頭を削除。 それによって得られた画像から特徴量（CVAI)を算出 特徴量と脈絡膜厚の実測値の相関を検討した。

Slide 135

Slide 135 text

© 20201228 @tdys13 135 2020年上半期の⽇本における医療AI [プラスマン合同会社×PSP株式会社] CT画像に映る肺結節をAIで表⽰する機能を持つプログラム医療機器 引⽤ Plus Lung.Nodule https://plusmanllc.co.jp/products/ プラスマン合同会社、PSP株式会社との協業に関して https://plusmanllc.co.jp/news/pr20200417/ ・⼀⾔ - オンプレ型とクラウド型で提供を⾏うプログラム医療機器 - 顧客第⼀号として三重⼤学医学部附属病院 - 肺結節、すりガラス陰影を表⽰可能

Slide 136

Slide 136 text

© 20201228 @tdys13 136 2020年上半期の⽇本における医療AI [三重⼤学] 胸部X線写真を⽤いた肺体⾎流⽐の類推による⼿術指針提⽰ 引⽤ Quantitative Analysis of Chest X-Ray Using Deep Learning to Predict Pulmonary to Systemic Flow Ratio in Patients With Congenital Heart Disease https://www.ahajournals.org/doi/abs/10.1161/circ.140.suppl_1.14250 AI outperforms clinicians for predicting pulmonary to systemic flow ratio in congenital heart disease https://www.healio.com/news/cardiology/20200122/ai-outperforms-clinicians-for-predicting- pulmonary-to-systemic-flow-ratio-in-congenital-heart-diseas Train：⼼臓カテーテル検査を受けた931例の胸部X線写真 ラベル：肺体⾎流⽐ Test：100例 結果：専⾨医よりも⾼い精度(詳細なし)

Slide 137

Slide 137 text

© 20201228 @tdys13 137 2020年上半期の⽇本における医療AI [富⼠フイルム株式会社] AIプラットフォーム「SYNAPSE SAI viewer」向け 肺結節⾃動検出プログラム提供開始 引⽤ 「肺結節検出機能」新発売 https://www.fujifilm.com/jp/ja/news/list/4963 SYNAPSE SAI viewer https://www.fujifilm.com/jp/ja/healthcare/healthcare-it/it-imaging/sai-viewer ⼀⾔ - 富⼠フイルムのAIプラットフォーム - 他にもセグメンテーションや部位トラッキング、 ４種の臓器に対応している HPより引⽤

Slide 138

Slide 138 text

© 20201228 @tdys13 138 2020年上半期の⽇本における医療AI [株式会社NTTデータ×岩⼿医科⼤学] AIを⽤いた⼤動脈瘤の画像診断を⾏う実証実験 引⽤ NTTデータ 岩⼿医科⼤学とAI画像診断の実証実験を実施 https://www.nttdata.com/jp/ja/news/release/2020/052901/ ⼀⾔ - 岩⼿医科⼤学にて検査をした患者約27,000⼈のCT画像を使⽤。 - 4,500例の⼤動脈瘤患者、22,500例のその他の患者 - 2020年6⽉19⽇から2023年1⽉31⽇まで（実証実験期間） HPより引⽤

Slide 139

Slide 139 text

© 20201228 @tdys13 139 2020年上半期の⽇本における医療AI [株式会社HACARUS×神⼾⼤学、京都⼤学] (神⼾⼤学)AIを⽤いたMRIに映る肝細胞癌(HCC)の分類 (京都⼤学)AIを⽤いた⼦宮頸癌の予防、早期診断AIの開発に関する共同開発 引⽤ HACARUSと神⼾⼤学、 肝細胞がんのMRI画像解析と診断⽀援AIの共同研究を開始 https://hacarus.com/ja/press-release/20200518-kobe-liver-cancer/ HACARUSと京都⼤学、⼦宮頸がんの予防・早期診断AI⽀援システムの共同研究を開始 https://hacarus.com/ja/press-release/20200427-kyoto-university-cervical-cancer/ ⼀⾔ - スパースモデリングに強いHACARUS社 - 医療領域のAI開発にも注⼒をしている

Slide 140

Slide 140 text

© 20201228 @tdys13 140 2020年上半期の⽇本における医療AI [オリンパス株式会社] DeepLearning機能を搭載したプログラム医療機器 EndoBrain-EYE発売開始 引⽤ AIを搭載した内視鏡画像診断⽀援ソフトウェア「EndoBRAIN-EYE」を発売 https://www.olympus.co.jp/news/2020/nr01577.html 初代EndoBRAINとの類似点 - 機械学習 / 深層学習 - クラス３ / クラス２ - 病変を分類して表⽰ / 病変が画像内にある際に警告 HPより引⽤

Slide 141

Slide 141 text

© 20201228 @tdys13 141 2020年上半期の⽇本における医療AI 引⽤ ⼈⼯知能(AI)により潰瘍性⼤腸炎の内視鏡画像評価が可能に！ http://www.tmd.ac.jp/archive-tmdu/kouhou/20200302_1.pdf Development and Validation of a Deep Neural Network for Accurate Evaluation of Endoscopic Images From Patients With Ulcerative Colitis https://pubmed.ncbi.nlm.nih.gov/32060000/ ⼀⾔メモ -「内視鏡的な寛解」に対する精度は 90.1％、 「組織学的な寛解」に対する精度は 92.9％ [SONY株式会社×東京医科⻭科⼤学] AIを⽤いた潰瘍性⼤腸炎の内視鏡画像評価の実現

Slide 142

Slide 142 text

© 20201228 @tdys13 142 2020年上半期の⽇本における医療AI [富⼠フイルム株式会社] AIを⽤いた⼿術後の残存ガーゼ認識機能 引⽤ AI技術を活⽤した「⼿術⽤ガーゼの認識機能」新発売 https://www.fujifilm.com/jp/ja/news/list/3202 ⼀⾔メモ -超軽量移動型デジタルX線撮影装置 「FUJIFILM DR CALNEO AQRO (カルネオアクロ)」 のオプション機能として販売

Slide 143

Slide 143 text

© 20201228 @tdys13 143 2020年上半期の⽇本における医療AI [カシオ計算機×信州⼤学] ダーモカメラで撮影した画像にAIを⽤いた⽪膚がん(メラノーマ)診断⽀援システム 引⽤ ダーモカメラ https://dz-image.casio.jp/?fbclid=IwAR39U9y4hM_Vyf6dMZU4_Mwa50xnzeQTGKd_G5jWck61Dz7jJVn2WTvwlXQ 医療の現場にもAIが! - ⽪膚がんのAI診断を可能にするカシオのカメラ技術 https://news.mynavi.jp/kikaku/20200107-950832/ ⼀⾔メモ - 2019年にAMED「先進的医療機器・システム等開発プロジェクト」に採択 - 2017年にはメラノーマ分類コンペで世界１位 - ⽪膚撮影⽤デジカメ ダーモカメラで撮影した画像共有サイトなどもある ダーモカメラ HPより引⽤

Slide 144

Slide 144 text

© 20201228 @tdys13 144 2020年上半期の⽇本における医療AI 引⽤ PidPort https://pidport.medmain.com/ 「AIで病気を瞬時に判定できる時代に」 病理解析AIの商⽤化に成功。国内外受賞歴多数。 デジタル病理画像AI解析ソリューション「PidPort」の海外にむけたサービス提供を正式に開始 https://prtimes.jp/main/html/rd/p/000000009.000034505.html ⼀⾔メモ - ⽇本国内におけるAI提供はまだ先。 - 海外から先に販売開始 [メドメイン株式会社] 病理解析AI「PidPort」の商⽤化

Slide 145

Slide 145 text

© 20201228 @tdys13 145 2020年上半期の⽇本における医療AI 引⽤ どんな薬のどんな副作⽤、効能でも予測できる⼈⼯知能（ＡＩ）を開発 https://www.jst.go.jp/pr/announce/20200110/index.html ⼀⾔メモ - 現在流通している薬剤をマウスに投与した際の副作⽤と ⼈に投与した際の副作⽤をセットでAIに学習させる - そこからヒトへの副作⽤が未知な薬剤をマウスに 投与した際の副作⽤からヒトへの予測値を返す [ATR×Karydo Therapeutix] ヒトでの副作⽤・有害事象および効能を、薬の種類を問わず に予測できる、ＡＩシステムの開発に成功

Slide 146

Slide 146 text

© 20201228 @tdys13 146 2020年上半期の⽇本における医療AI 引⽤ ⼤⽇本住友製薬 プレスリリース ⼤⽇本住友製薬と Exscientia Ltd.の共同研究 ⼈⼯知能（AI）を活⽤して創製された新薬候補化合物のフェーズ 1 試験を開始 https://www.ds-pharma.co.jp/ir/news/pdf/ne20200130_2.pdf 群⾺⼤学 治験についての３ステップ https://ciru.dept.showa.gunma-u.ac.jp/general/cr-steps/ ⼀⾔メモ - 強迫性障害治療剤候補 - 健康な成⼈に対して少しずつ量を増やし 安全性を確認する [⼤⽇本住友製薬×Exscientia(イギリス)] 共同研究されていたAIによる新薬候補化合物がフェーズ１を開始

Slide 147

Slide 147 text

© 20201228 @tdys13 147 2020年上半期の⽇本における医療AI 引⽤ エムスリー、医⽤画像診断⽀援AIプラットフォーム事業を開始 https://corporate.m3.com/press_release/2020/20200507_001587.html ⼀⾔メモ - 今年の⼤本命(⽕⼒が強い) - クラウドAI - NOBORIのエッジサーバーがベンダーレス仕様 [エムスリー株式会社×株式会社NOBORI] 医⽤画像診断⽀援AIプラットフォーム事業を開始

Slide 148

Slide 148 text

© 20201228 @tdys13 148 2020年上半期の⽇本における医療AI 引⽤ 胸部全体のCT画像解析を⾏うAIソフトウェア「AI-Rad Companion 」を⽤いた 胸部CT画像AI解析受託サービスを開始 https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20200629-ai-rad-chest-ct.html ⼀⾔メモ - 受託解析サービス - 院内に新たに機器を設置する必要などもなく簡便 - infomity(コニカミノルタ)を導⼊している病院ですぐ導⼊可能 [シーメンス株式会社×コニカミノルタ株式会社] AIを⽤いた医⽤画像受託解析サービスの開始

Slide 149

Slide 149 text

© 20201228 @tdys13 149 『AI×医⽤画像』の現状と可能性(特別編) まとめ <ひと⼝メモ> ・プログラム医療機器の認可を取得し、販売する企業も多く現れた ・個⼈的には統合プラットフォームや受託解析サービスに注⽬しています あとはメニワン(⽝猫の眼底画像が⼈間と同じなのか純粋に気になる)

Slide 150

Slide 150 text

© 20201228 @tdys13 150 2020年下半期の⽇本における医療AI 引⽤ 認知症へとつながるアルツハイマー病の発症時期が予測可能に https://prtimes.jp/main/html/rd/p/000000147.000034112.html Nakagawa, Tomonori, et al. "Prediction of conversion to Alzheimerʼs disease using deep survival analysis of MRI images." Brain communications 2.1 (2020): fcaa057. ⼀⾔メモ - 島根⼤学との共同研究 - アルツハイマーに発症する確率を個⼈レベルで推定した [株式会社ERISA×島根⼤学(追⼿⾨学院⼤学)] アルツハイマー病の発症時期を予測する深層学習の提案

Slide 151

Slide 151 text

© 20201228 @tdys13 151 2020年下半期の⽇本における医療AI 引⽤ 認知症へとつながるアルツハイマー病の発症時期が予測可能に https://prtimes.jp/main/html/rd/p/000000147.000034112.html Nakagawa, Tomonori, et al. "Prediction of conversion to Alzheimerʼs disease using deep survival analysis of MRI images." Brain communications 2.1 (2020): fcaa057. 技術的視点 - 使⽤データ：MRI 2,142症例 - 使⽤モデル：4層のNN (https://github.com/onodak1/demo) - 評価：深層テイラー分析により算出 (左図，⻩⾊いほど予測確率が⾼い) [株式会社ERISA×島根⼤学(追⼿⾨学院⼤学)] アルツハイマー病の発症時期を予測する深層学習の提案 提案モデルの概略図 引⽤ https://github.com/onodak1/demo

Slide 152

Slide 152 text

© 20201228 @tdys13 152 2020年下半期の⽇本における医療AI 引⽤ ディープラーニングを⽤いて設計した読影⽀援ソリューションの販売開始 https://jp.medical.canon/News/PressRelease/Detail/58721-834 Avicenna.AI Partners With Canon Medical on AI Stroke Detection https://avicenna.ai/partnership-avicenna-ai-canon-medical/ ⼀⾔メモ - 初期費⽤込みで700万円(税別)での販売 [キヤノンメディカルシステムズ× Avicenna.ai(フランス)] Avicenna.ai(フランス)が開発する脳卒中検出AI CINA Headを⽇本で販売 Avicenna.AIのHPより

Slide 153

Slide 153 text

© 20201228 @tdys13 153 2020年下半期の⽇本における医療AI 引⽤ 糖尿病網膜症，AIで診断 https://www.niigata-nippo.co.jp/news/economics/20201218588022.html ⼀⾔メモ - カメラで撮影した網膜画像から疾患位置と軽重度合いを推測 - 推測された結果を診断書として出⼒し医師のが確認． - 既に約8,000件の画像を学習 [株式会社オーヒラ×新潟⼤学] 糖尿病網膜症を診断⽀援するAIの開発 研究を進めている⼩型カメラ

Slide 154

Slide 154 text

© 20201228 @tdys13 154 2020年下半期の⽇本における医療AI 引⽤ 株式会社OUI https://www.ouiinc.jp/company/ ⼀⾔メモ - ⽬を撮影する専⽤のスマホカメラアタッチメントを開発 - ⽩内障か否かを判別するAIを⽤いて海外での臨床研究を⾏う - CEOが医師 [株式会社OUI] スマートフォンアタッチメントのカメラ(Smart Eye Camera)の開発 遠隔診断により，⽩内障か否か判別するAIの開発

Slide 155

Slide 155 text

© 20201228 @tdys13 155 2020年下半期の⽇本における医療AI 引⽤ ⼈⼯知能画像解析による⻭科医院向けパノラマレントゲン画像からの⻭⽛全⾃動認識の確⽴ https://www.atpress.ne.jp/news/234218 ⼀⾔メモ - 開発したAIシステムは今後， ナルコーム社の患者管理ソフトへ機能追加される [株式会社ナルコーム×兵庫県⽴⼤学] AI技術を⽤いた⻭科パノラマレントゲン画像の ⻭⽛認識システムの開発

Slide 156

Slide 156 text

© 20201228 @tdys13 156 2020年下半期の⽇本における医療AI 引⽤ Mahdi, Fahad Parvez, Kota Motoki, and Syoji Kobashi. "Optimization technique combined with deep learning method for teeth recognition in dental panoramic radiographs." Scientific Reports 10.1 (2020): 1-12. 技術的視点 - RPNで抽出した特徴情報をFast R-CNNに追加し検出を⾏う - モデル：上図のモデル - パノラマレントゲン画像 - Train：900枚，Test：100枚 - 評価指標：IOU [株式会社ナルコーム×兵庫県⽴⼤学] AI技術を⽤いた⻭科パノラマレントゲン画像の ⻭⽛認識システムの開発 提案モデル パノラマレントゲン画像

Slide 157

Slide 157 text

© 20201228 @tdys13 157 2020年下半期の⽇本における医療AI 引⽤ NTTデータとNTT東⽇本関東病院，胸部CTの診断プロセスへのAI画像診断技術の適⽤を⽬指し 共同検証を開始 https://www.nttdata.com/jp/ja/news/release/2020/120700/ ⼀⾔メモ - 胸部CT画像から胸部全体の異常箇所の⾃動検出を⾏う - 実際の診断業務に組み込み課題を洗い出す(~2021.03.31) - COVID-19による異常の⾃動検出も今後⾏う [株式会社NTTデータ×NTT東⽇本 関東病院] 胸部CT画像のAI画像診断技術適⽤に向けた共同検証の開始 画⾯の⼀例

Slide 158

Slide 158 text

© 20201228 @tdys13 158 2020年下半期の⽇本における医療AI 引⽤ 胸部X線画像から「肺がん」が疑われる肺結節候補を検出する，医⽤画像解析ソフトウェア EIRL Chest Noduleを発売 https://lpixel.net/news/press-release/2020/10089/ ⼀⾔メモ - 5mm~30mmの肺結節を検出するAI医療機器 - EIRL Chest Noduleを使うことで 医師の診断精度向上が認められた [エルピクセル株式会社] 胸部X線画像から肺結節を診断⽀援する AI医療機器EIRL Chest Noduleの薬事承認取得及び発売開始 画⾯の⼀例

Slide 159

Slide 159 text

© 20201228 @tdys13 159 2020年下半期の⽇本における医療AI 引⽤ アルム、医療アプリJoinのクラウドとAI診断プログラムを連携したAI診断サポートソリューション「Join AI Connect」を発表 〜エルピクセル「EIRL」との連携でAIプログラムの臨床利⽤を加速〜 https://www.allm.net/2020/11/09/9339/ ⼀⾔メモ - 肺結節検出⽀援のEIRL Chest Nodule， 脳動脈瘤検出⽀援のEIRL Brain Aneurysmの提供を発表 [エルピクセル株式会社×株式会社アルム] 医療アプリJoinのクラウドにて LPIXEL社の医療AIサービスの提供を発表 画⾯の⼀例

Slide 160

Slide 160 text

© 20201228 @tdys13 160 2020年下半期の⽇本における医療AI 引⽤ 徳島⼤学 胸部単純X線画像から肺⾼⾎圧を⼈⼯知能で検出 https://www.tokushima-u.ac.jp/docs/23442.html ⼀⾔メモ - ⼀般的に利⽤される単純X線画像にて検出を可能にした - COVID-19などへの応⽤を⽬指す [徳島⼤学×帝京⼤学] 胸部単純X線画像から肺⾼⾎圧を検出するAIの開発 肺⾼⾎圧がある部分に注⽬

Slide 161

Slide 161 text

© 20201228 @tdys13 161 2020年下半期の⽇本における医療AI 引⽤ Kusunose, Kenya, et al. "Deep learning to predict elevated pulmonary artery pressure in patients with suspected pulmonary hypertension using standard chest X ray." Scientific reports 10.1 (2020): 1-8. 技術的視点 - モデル：capsule network - タスク：2クラス分類(肺⾼⾎圧 or 正常肺) - 事前学習：Kaggle RSNA Pneumonia Detection Challenge Dataset - Train：900症例，Test：90症例 - 評価指標：AUC [徳島⼤学×帝京⼤学] 胸部単純X線画像から肺⾼⾎圧を検出するAIの開発 Grad-CAMによる AIの注⽬場所の可視化結果

Slide 162

Slide 162 text

© 20201228 @tdys13 162 2020年下半期の⽇本における医療AI 引⽤ Innavi net ⼈⼯知能による胸部CT解析-間質性肺炎における定量評価「QZIP-ILD」 https://www.innervision.co.jp/ad/suite/ziosoft/ziovision/20200802 ⼀⾔メモ - 100症例のCT画像を元にAIを構築 - QZIP-ILD (Quantification by Ziosoft Informatics Platform for Interstitial Lung Disease) - COVID-19への応⽤も視野に． [ザイオソフト株式会社] びまん性肺疾患⽤，胸部CT解析システム「QZIP-ILD」

Slide 163

Slide 163 text

© 20201228 @tdys13 163 2020年下半期の⽇本における医療AI 引⽤ エムスリーと⽇本ベーリンガーインゲルハイム 間質性肺疾患を含む肺疾患に対するAI等を活⽤した診断⽀援に関する業務提携 https://www.boehringer-ingelheim.jp/press-release/20201208_01 ⼀⾔メモ - 間質性肺疾患を検出するAI開発を⾏う [エムスリー株式会社×⽇本ベーリンガーインゲルハイム株式会社] 間質性肺疾患を含む肺疾患に対するAIを活⽤した診断⽀援開発

Slide 164

Slide 164 text

© 20201228 @tdys13 164 2020年下半期の⽇本における医療AI 引⽤ 画像診断⽀援ＡＩ 徳洲会とシーメンスヘルスケア共同研究 https://www.tokushukai.or.jp/media/newspaper/1245/article-10.php 徳洲会グループとシーメンスヘルスケア、AI共同研究、検体検査の完全⾃動化、 ⼈材最適化を図る研修プログラムに関するパートナーシップを締結 https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20190205-tokushukai.html ⼀⾔メモ - 匿名化したデータは徳洲会インフォメーションシステムが提供 - [シーメンスヘルスケア×⼀般社団法⼈徳洲会] ⼼臓，⼤動脈，脊椎などの胸部全体の画像診断⽀援AIを開発する共同研究

Slide 165

Slide 165 text

© 20201228 @tdys13 165 2020年下半期の⽇本における医療AI 引⽤ 株式会社PreferredNetworks 京都府の肺がん検診にPreferred Networks開発の胸部X線画像診断補助ツールを試験導⼊ https://preferred.jp/ja/news/pr20201012/ ⼀⾔メモ - Kaggle RSNA Pneumonia Detection Challengeで 世界6位になった画像解析技術を応⽤ - NOBORI社のクラウドサービス「NOBORI」にて使⽤ [株式会社PreferredNetworks×株式会社NOBORI×⼀般社団法⼈京都府医師会] 京都府の肺がん検診にて肺がん診断補助ツールを試験導⼊

Slide 166

Slide 166 text

© 20201228 @tdys13 166 2020年下半期の⽇本における医療AI 引⽤ テラ株式会社 医療AI「乳がん診断⽀援医療機器」に関する基本合意のお知らせ https://www.tella.jp/company/release/2020/11/2804/ ⼀⾔メモ - CESデカルド社が開発する乳がん診断⽀援AIを テラ株式会社が独占販売権及び権利譲渡を報告． - 乳がん診断⽀援医療機器は現在薬事承認を申請中． [ CESデカルト株式会社×テラ株式会社] 乳がん診断⽀援医療機器システムの販売を合意

Slide 167

Slide 167 text

© 20201228 @tdys13 167 2020年下半期の⽇本における医療AI 引⽤ 順天堂⼤学 臨床研究「内視鏡診断AIシステムの開発」 https://www.juntendo.ac.jp/hospital/clinic/shokaki/about/treatment/endoscope_ai.html ⼀⾔メモ - 早期胃癌をターゲットにAIを学習させた [株式会社AIメディカルサービス×順天堂⼤学] NBI併⽤胃拡⼤内視鏡より早期胃癌を診断するAIの開発

Slide 168

Slide 168 text

© 20201228 @tdys13 168 2020年下半期の⽇本における医療AI 引⽤ Ueyama, Hiroya, et al. "Application of artificial intelligence using a convolutional neural network for diagnosis of early gastric cancer based on magnifying endoscopy with narrow‐band imaging.” Journal of Gastroenterology and Hepatology (2020). [株式会社AIメディカルサービス×順天堂⼤学] NBI併⽤胃拡⼤内視鏡より早期胃癌を診断するAIの開発 技術的視点 - モデル：ResNet50 - タスク：2クラス分類(胃がん or ⾮がん) - 事前学習：ImageNet - Train：5,500枚，Test：2,300枚 - 評価指標：AUC AIによる出⼒結果 左2つが胃がん，右２つが⾮がん ⼊⼒画像

Slide 169

Slide 169 text

© 20201228 @tdys13 169 2020年下半期の⽇本における医療AI 引⽤ 富⼠フィルム株式会社 AI技術を活⽤して⼤腸ポリープ等の病変のリアルタイム検出・鑑別を⽀援 内視鏡診断⽀援機能「CAD EYE™（キャド アイ）」新発売 https://www.fujifilm.com/jp/ja/news/list/5581 ⼀⾔メモ - CAD EYEには『疾患検出モード(CADe)』と『疾患鑑別モード(CADx)』が搭載． - 検出モードではポリープを⾒つけるとアラート⾳で知らせる - 鑑別モードでは画像内のポリープの位置と， ⾮腫瘍性(⻩⾊) / 腫瘍性(緑) の鑑別結果を表⽰ [ 富⼠フイルム株式会社] 内視鏡診断⽀援AI医療機器 CAD EYEの薬事承認取得を発表 & 発売開始 鑑別モードの⼀例

Slide 170

Slide 170 text

© 20201228 @tdys13 170 2020年下半期の⽇本における医療AI 引⽤ オリンパス株式会社 AI を活⽤した内視鏡 CADプラットフォーム「ENDO-AID」を発売 https://www.olympus.co.jp/news/2020/contents/nr01856/nr01856_00001.pdf ⼀⾔メモ - ENDO-AID CADeは最新鋭の内視鏡とセットで販売される - ⽇本ではまだ発売されない [ オリンパス株式会社] AI医療機器，ENDO-AID CADeの販売を発表(欧州とアジア⼀部 ※⽇本は対象外)

Slide 171

Slide 171 text

© 20201228 @tdys13 171 2020年下半期の⽇本における医療AI 引⽤ 会津⼤学 会津⼤学と県⽴医⼤との共同研究（⼤腸内視鏡⾃動診断装置）を公表、⼈⼯知能（AI）の技術により⼩さなポリープが発⾒可能に! https://www.u-aizu.ac.jp/information/ai-20200530.html ⼀⾔メモ - 5mm以下のポリープをターゲットに絞りAIを開発した． - モニターに1秒以上出現する5mm以下のポリープをほぼ全て検出 [会津⼤学×福島県⽴医科⼤学] ⼤腸内視鏡から5mm以下のポリープを検出するAIの開発を発表

Slide 172

Slide 172 text

© 20201228 @tdys13 172 2020年下半期の⽇本における医療AI 引⽤ NPO 名古屋整形外科地域医療連携⽀援センター AI研究部⾨ https://www.fracture-ai.org/ ⼀⾔メモ - ⾻折×AIの領域で既に多数の論⽂を出している医師を中⼼としたチーム． (1本の論⽂を次ページで紹介．) - 2020年に本格始動． [NPO 名古屋整形外科地域医療連携⽀援センター AI研究部⾨] 医師主導の⾻折×AIにフォーカスした研究拠点

Slide 173

Slide 173 text

© 20201228 @tdys13 173 2020年下半期の⽇本における医療AI 引⽤Sato, Yoichi, et al. "A Computer-Aided Diagnosis System Using Artificial Intelligence for Proximal Femoral Fractures Enables Residents to Achieve a Diagnostic Rate Equivalent to Orthopedic Surgeons--multi-institutional joint development research." arXiv preprint arXiv:2003.12443 (2020). 技術的視点 - タスク：2クラス分類(⾻折 or 正常) - モデル：EfficientNet-B4 - 事前学習：ImageNet - データ：3病院から集められたX線画像，計10,484枚 - Train：8,484枚 / Val：1,000枚 / Test：1,000枚 - 評価指標：AUC - AIを使った医師と使っていない医師の結果⽐較も実施 AIによる⾻折候補部の出⼒ [NPO 名古屋整形外科地域医療連携⽀援センター AI研究部⾨] 医師主導の⾻折×AIにフォーカスした研究拠点

Slide 174

Slide 174 text

© 20201228 @tdys13 174 2020年下半期の⽇本における医療AI 引⽤ SPORTS-SYNAPS Melano-Checker(⽪膚悪性腫瘍の診断⽀援システム)の開発 https://www.spo-labo.com/research-1/cosmetic-dermatology-r-1/melanochecker-r/ ⼀⾔メモ - ダーモスコピー検査にて取得した写真を迅速にスマホでAI解析をする [SPORTS-SYNAPS] ダーモスコピーで撮影した写真をスマホアプリにてAI解析 メラノーマの診断⽀援システム

Slide 175

Slide 175 text

© 20201228 @tdys13 175 2020年下半期の⽇本における医療AI 引⽤ BonBon株式会社 https://bon-bon.co.jp/ ⼀⾔メモ - 病理位向けのwebサービスや，医療従事者向けの知識共有プラットフォームも開発している - 病理医サポートAIとして病理画像から間質性肺炎を判断するAIを開発している - CEOが医師 [BonBon株式会社] ⼈⼯知能の信頼性に関する技術開発事業にてNEDO採択． 病理画像と病理報告書を合わせた病理診断AIの研究開発

Slide 176

Slide 176 text

© 20201228 @tdys13 176 2020年下半期の⽇本における医療AI 引⽤ 国⽴研究開発法⼈ ⽇本医療研究開発機構 “光⽣検”切らずにその場でがんをすぐ診断―イメージングで組織を傷つけずに⽴体観察、AIが⾃動診断― https://www.amed.go.jp/news/release_20200723.html ⼀⾔メモ - ⼦宮頸部の正常組織，上⽪内がん(⾮浸潤がん)，浸潤がんの画像を 定量的に分類可能となった [株式会社ニコン×⼤阪⼤学] AIを⽤いた，⼦宮頸部組織を切り取らずにその場で診断する診断⽅法の発明

Slide 177

Slide 177 text

© 20201228 @tdys13 177 2020年下半期の⽇本における医療AI 引⽤ Matsui, Takahiro, et al. "Nonlinear optics with near-infrared excitation enable real-time quantitative diagnosis of human cervical cancers." Cancer Research 80.17 (2020): 3745-3754. 技術的視点 - タスク：クラス分類 - モデル：Segmentation-UNet，Classification-SVM - Train：96枚，Val：32枚 - 評価指標：AUC [株式会社ニコン×⼤阪⼤学] AIを⽤いた，⼦宮頸部組織を切り取らずにその場で診断する診断⽅法の発明

Slide 178

Slide 178 text

© 20201228 @tdys13 178 2020年下半期の⽇本における医療AI 引⽤ Southern Gateway WSI⾻髄細胞病理システム https://www.southerngateway.co.jp/ai-cytopathology/ ⼀⾔メモ - ⾻髄細胞形態の顕微鏡検査にAI技術を応⽤する [株式会社SouthernGateway] AI技術を搭載したWSI⾻髄細胞病理システムの開発

Slide 179

Slide 179 text

© 20201228 @tdys13 179 2020年下半期の⽇本における医療AI 引⽤ 株式会社iMedTechnologies https://imed-tech.co.jp/ ⼀⾔メモ - 術中に脳内の⾎管を破る事故を防ぐために ⾎管造影画像を元に危ないシーンで医師に注意を促すAIの開発 - ⾃社保有の頭部X線画像が100万枚 - CEOが脳外科医 [株式会社iMed Technologies] 脳⾎管内⼿術の⼿術⽀援AI開発

Slide 180

Slide 180 text

© 20201228 @tdys13 180 2020年下半期の⽇本における医療AI 引⽤ アナウト株式会社 https://anaut-surg.com/ ⼀⾔メモ - ⼿術⽀援，術中の臓器の歪み等をリアルタイムマッピング， 外科医の資格認識を⽀援 - CEOが外科医 [アナウト株式会社] 外科⼿術をより成功に導くための ⼈体の地図(Precision Map)を開発するスタートアップ

Slide 181

Slide 181 text

© 20201228 @tdys13 181 『AI×医⽤画像』の現状と可能性(特別編) まとめ <ひと⼝メモ> ・AI医療機器の薬事承認取得がさらに増え， 海外のAIサービスを⽇本で提供し始める企業なども登場した ・医師主導のスタートアップもさらに増えた

Slide 182

Slide 182 text

© 20201228 @tdys13 182 ここからおまけ CADの話& ⽇本で薬事承認された AI医療機器を全部紹介

Slide 183

Slide 183 text

© 20201228 @tdys13 183 医療機器には『医療機器分類』と分類に紐づく『規制』が設けられている 国際基準に合わせ，⼈体へのリスクより『クラスⅠ~Ⅳの分類』が適⽤される (おまけ)医療機器とは 引⽤： 新医療機器等と改良・後発医療機器の 区分および審査内容の違いについて https://www.pmda.go.jp/files/000155726.pdf

Slide 184

Slide 184 text

© 20201228 @tdys13 184 医療機器における『医療機器分類』と分類に紐づく『規制』の概略図 AI医療機器などのCADシステムは基本的に薬事承認が必要 (おまけ)医療機器とは

Slide 185

Slide 185 text

© 20201228 @tdys13 185 薬事承認を申請する際は3区分の中から該当する医療機器区分を申請 (おまけ)医療機器とは 引⽤： 新医療機器等と改良・後発医療機器の 区分および審査内容の違いについて https://www.pmda.go.jp/files/000155726.pdf p 新医療機器 - 既に製造販売の承認を受けている医療機器 (法第14 条の4第1項第1号及び第2号に規定する再審査期間を経過していないものを除く。以下、「既承認医療機器」 という。)と 構造，使⽤⽅法，効果または性能が明らかに異なる医療機器 p 改良医療機器 - 新医療機器にも後発医療機器にも該当しない医療機器 p 後発医療機器 - 既承認医療機器と構造、使⽤⽅法、効能、効果及び 性能が同⼀性を有すると認められる医療機器。 すなわち、既承認医療機器と構造、使⽤⽅法、効能、効果及び性能が実質的に同等であるもの 治験 臨床ありのみ 治験

Slide 186

Slide 186 text

© 20201228 @tdys13 186 (おまけ)コンピュータ診断⽀援機器(CAD)の話 CAD :コンピュータ診断⽀援（Computer-Aided Diagnosis）とは、X 線画像 に代表される放射線画像をはじめとする医⽤画像に対して、コンピュータで 定量的に解析された結果 を『第 2 の意⾒』として利⽤する『医師による診断 の⽀援』である。 引⽤：薬⽣機審発0523 第2号 PMDA 令和元年5⽉23⽇ 次世代医療機器評価指標の公表について https://www.pmda.go.jp/files/000229738.pdf

Slide 187

Slide 187 text

© 20201228 @tdys13 187 (おまけ)コンピュータ診断⽀援機器(CAD)の話 発⾒ 鑑別 ⽣検 治療 ⼿術 CAD :コンピュータ診断⽀援（Computer-Aided Diagnosis）とは、X 線画像 に代表される放射線画像をはじめとする医⽤画像に対して、コンピュータで 定量的に解析された結果 を『第 2 の意⾒』として利⽤する『医師による診断 の⽀援』である。 CADe(Computer-Aided Detection) : 画像上で病変の疑いのある部位をコンピュータが⾃動検出し、 その位置をマーキングする機能を有する単体ソフトウェア⼜は当該ソフトウェアが組み込まれている装置。 コンピュータにより医⽤画像データのみ⼜は医⽤画像データと検査データの両⽅を処理し、 病変⼜は異常値の検出を⽀援する。 引⽤：薬⽣機審発0523 第2号 PMDA 令和元年5⽉23⽇ 次世代医療機器評価指標の公表について https://www.pmda.go.jp/files/000229738.pdf

Slide 188

Slide 188 text

© 20201228 @tdys13 188 (おまけ)コンピュータ診断⽀援機器(CAD)の話 発⾒ 鑑別 ⽣検 治療 ⼿術 CAD :コンピュータ診断⽀援（Computer-Aided Diagnosis）とは、X 線画像 に代表される放射線画像をはじめとする医⽤画像に対して、コンピュータで 定量的に解析された結果 を『第 2 の意⾒』として利⽤する『医師による診断 の⽀援』である。 CADx(Computer-Aided Diagnosis) : 病変の疑いのある部位の検出に加え、病変候補に関する良悪性鑑別や疾病の進⾏度等の定量的なデータを 数値やグラフ等として出⼒する機能を有する単体ソフトウェア⼜は 当該ソフトウェアが組み込まれている装置。 診断結果の候補やリスク評価に関する情報 等の提供等により診断⽀援を⾏うものを含む。 引⽤：薬⽣機審発0523 第2号 PMDA 令和元年5⽉23⽇ 次世代医療機器評価指標の公表について https://www.pmda.go.jp/files/000229738.pdf

Slide 189

Slide 189 text

© 20201228 @tdys13 189 (おまけ)⽇本国内で薬事承認を取得したAI医療機器 引⽤： PMDA資料 薬事承認に関する最近の取り組みより(P.16 ) https://www.pmda.go.jp/files/000237546.pdf

Slide 190

Slide 190 text

© 20201228 @tdys13 190 (おまけ)⽇本国内で薬事承認を取得したAI医療機器 引⽤： PMDA資料 薬事承認に関する最近の取り組みより(P.16 ) https://www.pmda.go.jp/files/000237546.pdf

Slide 191

Slide 191 text

© 20201228 @tdys13 191 (おまけ)⽇本国内で薬事承認を取得したAI医療機器 引⽤： PMDA資料 薬事承認に関する最近の取り組みより(P.16 ) https://www.pmda.go.jp/files/000237546.pdf

Slide 192

Slide 192 text

© 20201228 @tdys13 192 (おまけ)⽇本国内で薬事承認を取得したAI医療機器 引⽤： PMDA資料 薬事承認に関する最近の取り組みより(P.16 ) https://www.pmda.go.jp/files/000237546.pdf

Slide 193

Slide 193 text

© 20201228 @tdys13 193 最後に 今年起きた 医⽤画像領域以外の ヘルスケアニュースをお届け

Slide 194

Slide 194 text

© 20201228 @tdys13 194 (おまけ)2020年のビッグニュース-医⽤画像以外 引⽤： CureApp 禁煙治療領域で世界初、「治療アプリ®」の公的医療保険適⽤を中医協が了承 https://prtimes.jp/main/html/rd/p/000000047.000015777.html 株式会社CureAppの禁煙アプリ(⾏動変容アプリ)が薬事承認，保険適⽤ 2020.12からアプリが患者に処⽅され始めた Apple Incの⼼電計プログラムが薬事承認 AppleWatchにてプログラム医療機器が使えるように (2020.12.28現在 まだアプリはない) 引⽤： 公益財団法⼈医療機器センター http://www.jaame.or.jp/ Apple Watch ECG appの国内承認から⾒る「医療機器プログラム」 https://dht.micin.jp/samd/samd01/

Slide 195

Slide 195 text

© 20201228 @tdys13 195 (おまけ)2020年のビッグニュース-医⽤画像以外 引⽤： 厚労省 オンライン診療に関するホームページ https://www.mhlw.go.jp/stf/seisakunitsuite/bunya/kenkou_iryou/iryou/rinsyo/index_00010.html DeepMindのAlphaFold2 タンパク質の3次元構造予測コンペで2位と圧倒的な差をつけて優勝 考案者は“ImageNet moment”とコメント (深層学習がブレイクするきっかけとなった ILSVRCコンペにて2位と圧倒的な差をつけて優勝した歴史に合わせて) COVID-19の流⾏を鑑みて オンライン診療の取り扱いが可能に 引⽤： AlphaFold: a solution to a 50-year-old grand challenge in biology https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology

Slide 196

Slide 196 text

© 20201228 @tdys13 196 (おまけ)2020年のビッグニュース-医⽤画像以外 引⽤： 慢性疾患の発症リスクを早期に予測する疾病予測AIソリューションを開発 https://www.nttdata.com/jp/ja/news/release/2020/073100/ ⾮侵襲データ＋医療保険データから 慢性疾患の発症リスクを予測するAI 引⽤： http://www.medicaroid.com/product/hinotori/ ⽇本初の⼿術ロボットが誕⽣ hinotori

Slide 197

Slide 197 text

© 20201228 @tdys13 197 『AI×医⽤画像』の現状と可能性(特別編) まとめ <ひと⼝メモ> ・2020.12.28現在，AI医療機器の薬事承認取得はさらに増えた ・医⽤画像領域以外では禁煙アプリやオンライン診療⼀時解禁など 新たな可能性が増えた

Slide 198

Slide 198 text

© 20201228 @tdys13 2. 3. 4. 1. 198 ⾃⼰紹介 世界の研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2020 - 部位別カオスマップ，技術紹介 まとめ

Slide 199

Slide 199 text

© 20201228 @tdys13 199 まとめ 様々な技術がニーズと共に進化した． テクノロジー×医療はやっぱり⾯⽩い！！！