Tweet
Tweet

Slide 1

Slide 1 text

© 20191228 @tdys13 『 AI×医⽤画像 』 の現状と可能性 轟 佳⼤ 1 2019年版

Slide 2

Slide 2 text

© 20191228 @tdys13 今年も「AI×医⽤画像の現状と可能性」をお伝えする季節がきました． 本スライドは昨年，製作者・轟が趣味でリサーチしていたものをまとめ， 公表したスライドの2019年版です．(※今年度も趣味で⾏なっています．) 昨年と同様，今回も2019年に発表されたプレスリリース&論⽂をベースとしたまとめになっております 昨年度以上にAIへの関⼼度が⼤きくなった1年で また，医療の領域でも社会実装が動き始めたような気がしました． 昨年からの進み具合を楽しんで⾒ていただければ幸いです では，このスライドを⼿に取ってくれる⽅に AI×医療の難しさと⾯⽩さが伝わりますことを願って． 2019 1228 轟佳⼤ 2

Slide 3

Slide 3 text

© 20191228 @tdys13 2. 3. 4. 1. 3 ⾃⼰紹介 世界の研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2019 - 部位別カオスマップ，技術紹介 まとめ

Slide 4

Slide 4 text

© 20191228 @tdys13 2. 3. 4. 1. 4 ⾃⼰紹介 世界の研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2019 - 部位別カオスマップ，技術紹介 まとめ

Slide 5

Slide 5 text

© 20191228 @tdys13 -所属- アイリス株式会社 AIエンジニア 国⽴研究開発法⼈ 産業技術総合研究所 ⼈⼯知能コンソーシアム 医⽤画像WG -略歴- 2017.4 ⽴命館⼤学 ⼤学院 情報理⼯学研究科 ⼊学 (知的画像処理研究室 OB) 2017.8 ~ 11 シンガポール国⽴情報研究所 (A*star/i2r Knowledge-Assisted Vision Lab) 2019.3 ⽴命館⼤学 ⼤学院 修了 2019.4 ~ 現職 -活動- 研究 深層学習×医⽤画像処理(2015~2019) 講演 医学⽣・医師・社会⼈向け 医療AIに関して(2018~) 連載 M3.com「医療AIトレンドを追う」(2019~) 外部PJ 産総研 医⽤画像WGプロジェクト リーダー(2019~) -好きなもの- #最新テクノロジー，#ヘルスケア，#アイス 5 轟 佳⼤ (ﾄﾄﾞﾛｷ ﾖｼﾋﾛ) ：@Tdys13

Slide 6

Slide 6 text

© 20191228 @tdys13 6 御礼 昨年度，このスライドを 多くの⽅に⾒て頂く事が出来ました 「SNSの⼒はすごい」と実感しました 本当にありがとうございます！ では今年の振り返りへ⾏きましょう！ 引⽤： ・AI×医⽤画像の現状と可能性/AI×medical imaging in japan(2018) https://speakerdeck.com/tdys13/aixmedical-imaging-in-japan-2018

Slide 7

Slide 7 text

© 20191228 @tdys13 2. 3. 4. 1. 7 ⾃⼰紹介 世界の研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2019 - 部位別カオスマップ，技術紹介 まとめ

Slide 8

Slide 8 text

© 20191228 @tdys13 8 まずは⼈⼯知能についての説明

Slide 9

Slide 9 text

© 20191228 @tdys13 9 技術が『 動⼒ 』を拡張した あらゆる分野は技術との融合により進歩する

Slide 10

Slide 10 text

© 20191228 @tdys13 10 技術が『 医師の診る⼒ 』を拡張した あらゆる分野は技術との融合により進歩する

Slide 11

Slide 11 text

© 20191228 @tdys13 11 誰が⼈⼯知能を研究・開発している？ エンジニアとお医者さんって概念が少し似てる(気がする)

Slide 12

Slide 12 text

© 20191228 @tdys13 12 知識・興味程度に他の技術も知っていることはあるけれど それぞれが専⾨分野を持っている！ 誰が⼈⼯知能を研究・開発している？ エンジニア ・webアプリエンジニア ・iOSエンジニア ・アンドロイドエンジニア ・フロントサイドエンジニア ・バックサイドエンジニア ・サーバーサイドエンジニア ・機械学習エンジニア ・フルスタックエンジニア お医者さん ・外科医 ・⿇酔科医 ・消化器内科医 ・⽿⿐咽喉科医 ・整形外科医 ・読影医 ・救急医 ・総合診療医 ・家庭医

Slide 13

Slide 13 text

© 20191228 @tdys13 13 機械学習領域にいる⽅が研究・開発していることが多い 誰が⼈⼯知能を研究・開発している？ エンジニア ・webアプリエンジニア ・iOSエンジニア ・アンドロイドエンジニア ・フロントサイドエンジニア ・バックサイドエンジニア ・サーバーサイドエンジニア ・機械学習エンジニア ・フルスタックエンジニア

Slide 14

Slide 14 text

© 20191228 @tdys13 14 3度⽬のブーム＆ついに社会実装期に突⼊ ⼈⼯知能とは？ 引⽤： ・総務省 情報通信⽩書 http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h28/html/nc142120.html

Slide 15

Slide 15 text

© 20191228 @tdys13 15 ⼈⼯知能≒「様々な技術の複合体の総称」 現状はとりわけ機械学習・深層学習が使われているもの ⼈⼯知能とは？ 引⽤： ・AI demystified https://www.callaghaninnovation.govt.nz/blog/ai-demystified

Slide 16

Slide 16 text

© 20191228 @tdys13 16 現状の⼈⼯知能はデータ，複合技術，計算資源あたりが基本構成 ⼈⼯知能とは？ ) (

Slide 17

Slide 17 text

© 20191228 @tdys13 17 将来的には外装が付いて，より⽇常⽣活に溶け込んでいく ⼈⼯知能とは？ ) (

Slide 18

Slide 18 text

© 20191228 @tdys13 18 ひとやすみ ・⼈⼯知能＝「機械学習or深層学習 × その他の技術」の総称 ・3度⽬のブーム＆社会実装フェーズ ・将来的にはさらに⽇常に溶け込んでいきそう 次のページから深層学習のお話

Slide 19

Slide 19 text

© 20191228 @tdys13 19 深層学習とは？

Slide 20

Slide 20 text

© 20191228 @tdys13 20 深層学習とは？

Slide 21

Slide 21 text

© 20191228 @tdys13 21 「最終⽬的」を実現するために 「⽬的に沿った深層学習モデル」をベースモデルとして使⽤する 深層学習とは？ ) < > = ) < (

Slide 22

Slide 22 text

© 20191228 @tdys13 22 画像系(医⽤画像も含む)では検出，分類，セグメンテーション，⽣成のタスクが多い 深層学習×画像処理の研究ジャンルについて

Slide 23

Slide 23 text

© 20191228 @tdys13 23 最近は「あるジャンルで提案されたモデルを別ジャンルにて応⽤する」 「各ジャンルの優れたモデルを融合させる」など展開が加速している 深層学習×画像処理の研究ジャンルについて

Slide 24

Slide 24 text

© 20191228 @tdys13 24 各ジャンルで結果を出している優秀なモデル 例）モデルの融合について ResNet ‒ 主に分類ジャンル ・ILSVRC2015 画像分類コンペティション 優勝モデル ・Residual Blockを持つ構造 UNet ‒ 主にセグメンテーションジャンル ・ISBI2015 医⽤画像セグメンテーションチャレンジ 優勝モデル ・short cut pathを持つU-Netというモデル He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015.

Slide 25

Slide 25 text

© 20191228 @tdys13 25 Res Blockを⽤いた残差学習⼿法を提案した ResNet セグメンテーションの⾼精度化を実現した U-Net 例）モデルの融合について ResNet ‒ 主に分類ジャンル UNet ‒ 主にセグメンテーションジャンル He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015. ResBlock U-Net

Slide 26

Slide 26 text

© 20191228 @tdys13 26 これらのモデルを組み合わせる 例）モデルの融合について ResNet ‒ 主に分類ジャンル UNet ‒ 主にセグメンテーションジャンル × He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015. ResBlock U-Net

Slide 27

Slide 27 text

© 20191228 @tdys13 27 Res U-Net : ResBlockを持つU-net，両モデルの良いところを合わせたモデル 例）モデルの融合について × Zhang, Zhengxin, Qingjie Liu, and Yunhong Wang. "Road extraction by deep residual u-net." IEEE Geoscience and Remote Sensing Letters 15.5 (2018): 749-753.

Slide 28

Slide 28 text

© 20191228 @tdys13 28 ResUNetのみならず，多くの組み合わせモデルが存在する 例）モデルの融合について × Zhang, Zhengxin, Qingjie Liu, and Yunhong Wang. "Road extraction by deep residual u-net." IEEE Geoscience and Remote Sensing Letters 15.5 (2018): 749-753.

Slide 29

Slide 29 text

© 20191228 @tdys13 29 ひとやすみ ・深層学習×画像処理(医⽤画像処理) では 各ジャンルにて結果を出したモデルを融合して SoTA (State of The Art : “最⾼の”という意)を ⽬指すことが多い ・この領域は進歩が早いので⽇々論⽂チェックしたり， コンペティションやTwitterをチェックして情報収集する 次のページから 『AIの医療応⽤について』 『2019年の深層学習×医⽤画像処理の研究トレンドまとめ』

Slide 30

Slide 30 text

© 20191228 @tdys13 30 遺伝⼦解析 検診・早期発⾒ 診断 治療 予兆・予防 AIの医療応⽤

Slide 31

Slide 31 text

© 20191228 @tdys13 31 遺伝⼦解析 ◎検診・早期発⾒ ◎診断 治療 予兆・予防 診断⽀援の際に⽤いることを前提に 研究や実⽤化されていることが多い(医⽤画像を⽤いたもの) AIの医療応⽤

Slide 32

Slide 32 text

© 20191228 @tdys13 32 遺伝⼦解析 検診・早期発⾒ 診断 治療 予兆・予防 2019年は予防や治療⽀援に関する研究や事業も出てきた！ AIの医療応⽤

Slide 33

Slide 33 text

© 20191228 @tdys13 33 深層学習×医⽤画像の研究トレンド 医⽤画像処理のトップカンファレンス Computer Vision分野の トップカンファレンス 機械学習分野の トップカンファレンス 放射線分野の トップカンファレンス

Slide 34

Slide 34 text

© 20191228 @tdys13 34 深層学習×医⽤画像の研究トレンド 医⽤画像処理タスクを取り扱う世界的コンペティション 引⽤： ・kaggle https://www.kaggle.com/competitions?sortBy=grouped&group=inClass ・Grand Challenges in Biomedical Image Analysis https://grand-challenge.org/challenges/

Slide 35

Slide 35 text

© 20191228 @tdys13 35 深層学習×医⽤画像の研究トレンド 肺気胸をセグメンテーションするコンペ*1 ，脳出⾎を検出するコンペ*2 などが今年は開催された そして⽇本⼈が上位⼊賞した！ 引⽤： ・*1 気胸コンペ12位 ‒ エルピクセル社チーム ・*2 株式会社DeNA プレスリリース 2019 12.16 世界最⼤の年次医療会議の1つであるThe Radiological Society of North America(RSNA)にて、 DeNAの⼤越、菅原が登壇しました https://dena.ai/news/201912-rsna/ 引⽤： ・Kaggle SIIM-ACR Pneumothorax Segmentation https://www.kaggle.com/c/siim-acr-pneumothorax-segmentation ・Kaggle RSNA Intracranial Hemorrhage Detection https://www.kaggle.com/c/rsna-intracranial-hemorrhage-detection

Slide 36

Slide 36 text

© 20191228 @tdys13 36 深層学習×医⽤画像の研究トレンド 引⽤： Santini, Gianmarco, Noémi Moreau, and Mathieu Rubeaux. "Kidney tumor segmentation using an ensembling multi-stage deep learning approach. A contribution to the KiTS19 challenge." arXiv preprint arXiv:1909.00735 (2019). 2019年のみで33コンペが開催された(全て医⽤画像処理タスク) 医⽤画像処理学会が⽀援してコンペが開催されていることも多く， 上位⼊賞者は学会にて成果報告を⾏い，論⽂としてPublishすることが多い 引⽤： ・Grand Challenges in Biomedical Image Analysis https://grand-challenge.org/challenges/

Slide 37

Slide 37 text

© 20191228 @tdys13 37 個⼈的に考えた2019年の深層学習×医⽤画像処理の研究トレンドまとめ① • SOTA：4ジャンルにて精度向上のために何をするか？ - ⾃然画像での事前学習って医⽤画像タスクにおいて有⽤なの？ - 画像⽔増し時にGANはどうなの？ - マルチモダール研究(CTとMRIを⽤いた研究) • データ収集：医⽤画像をどうやって集めるか？ - ⾃動収集 - DB内から⾃動的に関連画像のみ収集 - 集めるのでなく，⽣成 - GANに関する議論活性化 - GANで⽣成をする際に気をつけるべきこと - CTからMRIに画像変換(モダリティ変換) • 予測 - ⼈の脳の形状から病気予測を⾏う - ⼿術⽀援

Slide 38

Slide 38 text

© 20191228 @tdys13 38 個⼈的に考えた2019年の深層学習×医⽤画像処理の研究トレンドまとめ② • 新たな研究：エンジニアリングをした事がない医師でも実現可能 - AutoMLやNASなどのモデル⾃動探索ネットワークを⽤いた研究 • 新たな研究：Radiomics(医⽤画像×患者情報) - 患者情報と医⽤画像からの結果を深層学習に⽤いる • これから来そう：他領域での技術の応⽤ - 強化学習の応⽤ - Data AugmentationにおけるCG活⽤ • 社会実装が加速 - 病院での実証実験研究 - 海外のスタートアップらが開発したAI医療機器の研究成果が続々と論⽂化

Slide 39

Slide 39 text

© 20191228 @tdys13 39 SOTA編：4ジャンルにて精度向上のために何をするか？ ü ①⾃然画像での事前学習って医⽤画像タスクにおいて有⽤なの？ NeurlPs2019 採択 『医⽤画像タスク』において『⾃然画像(ImageNet)での事前学習って本当に有効なのか』を検証した 引⽤： Raghu, Maithra, et al. "Transfusion: Understanding transfer learning with applications to medical imaging." arXiv preprint arXiv:1902.07208 (2019).

Slide 40

Slide 40 text

© 20191228 @tdys13 40 SOTA編：4ジャンルにて精度向上のために何をするか？ ü ①⾃然画像での事前学習って医⽤画像タスクにおいて有⽤なの？ ・どんな研究？ 『医⽤画像タスクにおいて⾃然画像(ImageNet)での 事前学習って本当に有効なのか』を検証した ・対象領域は？ 胸部X線画像，眼底画像 ・使⽤モデルは？ ResNet50，Inception v3，CBR (CBR : 2層のConvolution, Batch Normalization, Relu) ・検証⽅法は？ ImageNetにて取得した重みを転移する場合と モデルの重み(初期値)をランダムにした場合の精度⽐較 NeurlPs2019 採択 引⽤： Raghu, Maithra, et al. "Transfusion: Understanding transfer learning with applications to medical imaging." arXiv preprint arXiv:1902.07208 (2019).

Slide 41

Slide 41 text

© 20191228 @tdys13 41 学習の収束が早くなるが，精度にはほぼ影響を与えない(衝撃) SOTA編：4ジャンルにて精度向上のために何をするか？ ü ①⾃然画像での事前学習って医⽤画像タスクにおいて有⽤なの？ ・検証⽅法は？ ImageNetにて取得した重みを転移する場合と モデルの重み(初期値)をランダムにした場合の精度⽐較 →ほぼ精度は変わらない ・何が嬉しい？ 学習の収束速度が早まる 引⽤： Raghu, Maithra, et al. "Transfusion: Understanding transfer learning with applications to medical imaging." arXiv preprint arXiv:1902.07208 (2019).

Slide 42

Slide 42 text

© 20191228 @tdys13 42 では医⽤画像タスク向けに事前学習を⼯夫している研究などはある？ SOTA編：4ジャンルにて精度向上のために何をするか？ ü ①⾃然画像での事前学習って医⽤画像タスクにおいて有⽤なの？ ・検証⽅法は？ ImageNetにて取得した重みを転移する場合と モデルの重み(初期値)をランダムにした場合の精度⽐較 →ほぼ精度は変わらない ・何が嬉しい？ 学習の収束速度が早まる 引⽤： Raghu, Maithra, et al. "Transfusion: Understanding transfer learning with applications to medical imaging." arXiv preprint arXiv:1902.07208 (2019).

Slide 43

Slide 43 text

© 20191228 @tdys13 43 SOTA編：4ジャンルにて精度向上のために何をするか？ ü ①⾃然画像での事前学習って医⽤画像タスクにおいて有⽤なの？ 引⽤： Qu, Jia, et al. "Gastric pathology image classification using stepwise fine-tuning for deep neural networks.” Journal of healthcare engineering 2018 (2018). 胃病理画像に適応させるため，転移学習を2度⾏う ( ImageNet->胃病理画像(広域)->胃病理画像(拡⼤) )

Slide 44

Slide 44 text

© 20191228 @tdys13 44 ImageNet依存による局所解に陥ることを避け，分類精度向上 SOTA編：4ジャンルにて精度向上のために何をするか？ ü ①⾃然画像での事前学習って医⽤画像タスクにおいて有⽤なの？ Small Large 結果(ROC曲線) ImageNet→胃の病理画像(広域)→胃の病理画像(拡⼤) Task : 悪性と良性分類 Model : Inception v3 Dataset：Small-1,080 images Large ‒ 10,800images 引⽤： Qu, Jia, et al. "Gastric pathology image classification using stepwise fine-tuning for deep neural networks.” Journal of healthcare engineering 2018 (2018).

Slide 45

Slide 45 text

© 20191228 @tdys13 45 SOTA編：4ジャンルにて精度向上のために何をするか？ ü ②画像⽔増し時にGANはどうなの？ 引⽤： Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019). 「深層学習による診断を本当に信じるか？」という少し緊張の⾛るタイトルの論⽂ →具体的には『医⽤画像領域におけるドメインシフト問題』を取り上げている

Slide 46

Slide 46 text

© 20191228 @tdys13 46 SOTA編：4ジャンルにて精度向上のために何をするか？ ü ②画像⽔増し時にGANはどうなの？ ※ドメインシフト問題とは？ 「開発時に集めた胸部X線の訓練画像とテスト画像では上⼿くいく」が， 「臨床時に集められた胸部X線画像では上⼿くいかない」といった 特定のタスク解決に特化したモデルが出来上がってしまう問題 解決するためには？ 右上図のような「機材などの影響で映り⽅が異なる医⽤画像」に対して 汎化性能を担保できるかが肝となる 引⽤： Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).

Slide 47

Slide 47 text

© 20191228 @tdys13 47 ドメインシフトが⽣じているのでは？という視点から検証， 最終的に『汎化性能を担保するためにはどうすべきか？』で締めた ü ②画像⽔増し時にGANはどうなの？ SOTA編：4ジャンルにて精度向上のために何をするか？ ※ドメインシフト問題とは？ 「開発時に集めた胸部X線の訓練画像とテスト画像では上⼿くいく」が， 「臨床時に集められた胸部X線画像では上⼿くいかない」といった 特定のタスク解決に特化したモデルが出来上がってしまう問題 解決するためには？ 右上図のような「機材などの影響で映り⽅が異なる医⽤画像」に対して 汎化性能を担保できるかが肝となる 引⽤： Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).

Slide 48

Slide 48 text

© 20191228 @tdys13 48 SOTA編：4ジャンルにて精度向上のために何をするか？ ü ②画像⽔増し時にGANはどうなの？ ・どんな研究？ タイトル通り，『AIの診断は信じれますか？』 という視点からAIの汎化性能について検証した ・対象領域は？ 胸部X線画像 ・使⽤モデルは？ DenceNet101 ・検証⽅法は？ ３つの各データセットを学習したモデルを⽤いて ３つのデータセットをテストした際の精度検証 ３つのデータセット詳細 引⽤： Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).

Slide 49

Slide 49 text

© 20191228 @tdys13 49 SOTA編：4ジャンルにて精度向上のために何をするか？ ü ②画像⽔増し時にGANはどうなの？ 実験結果 ・実験結果 学習時のデータセットと，テスト時のデータセットが 同じ時に最も分類精度が⾼くなる ↓ 別のデータセットで学習した際は劣ってしまうのは 汎化性能が担保されていないのでは？ 引⽤： Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).

Slide 50

Slide 50 text

© 20191228 @tdys13 50 著者らは『GANなどの⽣成モデルを“闇雲なデータ⽔増し”のためでなく， “ドメイン適応(⾜りないバリエーションを補うために増やす)”に使うべきでは？』と述べて締めた ü ②画像⽔増し時にGANはどうなの？ 近年，放射線画像に関する⼤規模データを ⽣成する研究が多くされてるにもかかわらず， ドメインシフトに関して考慮されてないことが多い 実験結果 SOTA編：4ジャンルにて精度向上のために何をするか？ 引⽤： Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).

Slide 51

Slide 51 text

© 20191228 @tdys13 51 この論⽂がQiitaなどでまとめられると同時に 『AI領域におけるGANでの⽔増しはどうなのか？』という議論がTwitterにて巻き起こった ü ②画像⽔増し時にGANはどうなの？ 実験結果 SOTA編：4ジャンルにて精度向上のために何をするか？ 近年，放射線画像に関する⼤規模データを ⽣成する研究が多くされてるにもかかわらず， ドメインシフトに関して考慮されてないことが多い 引⽤： Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).

Slide 52

Slide 52 text

© 20191228 @tdys13 52 GANでの⽔増しを⼯夫している研究はある？ ü ②画像⽔増し時にGANはどうなの？ 実験結果 SOTA編：4ジャンルにて精度向上のために何をするか？ 近年，放射線画像に関する⼤規模データを ⽣成する研究が多くされてるにもかかわらず， ドメインシフトに関して考慮されてないことが多い 引⽤： Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).

Slide 53

Slide 53 text

© 20191228 @tdys13 53 遺伝⼦情報×医⽤画像(胸部X線画像)を⽤いたConditional-GANによる画像⽣成 ü ②画像⽔増し時にGANはどうなの？ SOTA編：4ジャンルにて精度向上のために何をするか？ 引⽤： Xu, Ziyue, et al. "Correlation via synthesis: end-to-end nodule image generation and radiogenomic map learning based on generative adversarial network." arXiv preprint arXiv:1907.03728 (2019). 実験結果 ←訓練画像(腫瘍) ←背景画像(腫瘍なし) ←結果画像(従来⼿法) ←結果画像(提案⼿法) 提案⼿法

Slide 54

Slide 54 text

© 20191228 @tdys13 54 遺伝⼦情報と医⽤画像を組み合わせて⽣成することで より本物に近い画像の⽣成が可能(≒画像のバリエーションを増やすことも容易) ü ②画像⽔増し時にGANはどうなの？ SOTA編：4ジャンルにて精度向上のために何をするか？ 引⽤： Xu, Ziyue, et al. "Correlation via synthesis: end-to-end nodule image generation and radiogenomic map learning based on generative adversarial network." arXiv preprint arXiv:1907.03728 (2019). 実験結果 ←訓練画像(腫瘍) ←背景画像(腫瘍なし) ←結果画像(従来⼿法) ←結果画像(提案⼿法) 提案⼿法

Slide 55

Slide 55 text

© 20191228 @tdys13 55 ü ③マルチモダリティ系 引⽤： Wei, Dongming, et al. "Synthesis and Inpainting-Based MR-CT Registration for Image-Guided Thermal Ablation of Liver Tumors." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019. SOTA編：4ジャンルにて精度向上のために何をするか？ ※マルチモダリティ系とは 複数種類の画像(CT画像やMR画像，X線画像など)を 複合的に⽤いる研究 現場などではCT，MRIなど複合的に⾒た上で 判断することが多く，より臨床に近い形へと近づけている MR画像とCT画像を⽤いて両画像の特徴を持ったMR-CT画像を作成し，肝臓腫瘍候補を検出する研究

Slide 56

Slide 56 text

© 20191228 @tdys13 56 ü ③マルチモダリティ系 SOTA編：4ジャンルにて精度向上のために何をするか？ ・どんな研究？ MR画像とCT画像を使ってMR-CT画像を作り その画像を元に肝臓腫瘍を⾒つける研究 ・対象領域は？ 腹部CT画像 ・使⽤モデルは？ 新規提案モデル① (mutual-information based Cycle GAN-左図) MR-CT画像の⽣成のため ・検証⽅法は？ 腫瘍のセグメンテーション精度 (評価指標 : Dice) 引⽤： Wei, Dongming, et al. "Synthesis and Inpainting-Based MR-CT Registration for Image-Guided Thermal Ablation of Liver Tumors." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.

Slide 57

Slide 57 text

© 20191228 @tdys13 57 ü ③マルチモダリティ系 SOTA編：4ジャンルにて精度向上のために何をするか？ ・どんな研究？ MR画像とCT画像を使ってMR-CT画像を作り その画像を元に肝臓腫瘍を⾒つける研究 ・対象領域は？ 腹部CT画像 ・使⽤モデルは？ 新規提案モデル② (unsupervised registration network-左図) MR-CT画像から腫瘍候補部を検出するため ・検証⽅法は？ 腫瘍のセグメンテーション精度 (評価指標 : Dice) 引⽤： Wei, Dongming, et al. "Synthesis and Inpainting-Based MR-CT Registration for Image-Guided Thermal Ablation of Liver Tumors." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.

Slide 58

Slide 58 text

© 20191228 @tdys13 58 MR画像とCT画像を⽤いてMR-CT画像を作り学習することで モダリティが変化してもロバストにセグメンテーションする事が出来た ü ③マルチモダリティ系 SOTA編：4ジャンルにて精度向上のために何をするか？ ・どんな研究？ MR画像とCT画像を使ってMR-CT画像を作り その画像を元に肝臓腫瘍を⾒つける研究 ・対象領域は？ 腹部CT画像 ・使⽤モデルは？ 新規提案モデル② (unsupervised registration network-左図) MR-CT画像から腫瘍候補部を検出するため ・検証⽅法は？ 腫瘍のセグメンテーション精度 (評価指標 : Dice) 引⽤： Wei, Dongming, et al. "Synthesis and Inpainting-Based MR-CT Registration for Image-Guided Thermal Ablation of Liver Tumors." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.

Slide 59

Slide 59 text

© 20191228 @tdys13 59 データ収集編：医⽤画像をどうやって集める？ ü ①PACS内から⾃動収集 引⽤： Zhou, Bo, et al. "CT Data Curation for Liver Patients: Phase Recognition in Dynamic Contrast-Enhanced CT." Domain Adaptation and Representation Transfer and Medical Image Learning with Less Labels and Imperfect Data. Springer, Cham, 2019. 139-147. MICCAI2019採択 PACS内にある腹部CT画像から，造影剤の影を捉えた上で求める相の画像のみを抽出する研究 医師が注⽬する場所→

Slide 60

Slide 60 text

© 20191228 @tdys13 60 データ収集編：医⽤画像をどうやって集める？ ü ①PACS内から⾃動収集 ・どんな研究？ 読影医が⾒ている造影剤による臓器の変化を AIにも学習させて，⾃動的にキュレーションさせる ・対象領域は？ 腹部CT画像 ・使⽤モデルは？ SENet ・検証⽅法は？ 医師が相を⾒抜く際に注⽬する部分(前ページ参照)を AIも注⽬できるか，Grad-CAMを⽤いて検証 引⽤： Zhou, Bo, et al. "CT Data Curation for Liver Patients: Phase Recognition in Dynamic Contrast-Enhanced CT." Domain Adaptation and Representation Transfer and Medical Image Learning with Less Labels and Imperfect Data. Springer, Cham, 2019. 139-147.

Slide 61

Slide 61 text

© 20191228 @tdys13 61 AIによる注⽬部を可視化した結果， 読影医とほぼ同じ部分を注⽬した上で，相を認識していることが分かった データ収集編：医⽤画像をどうやって集める？ ü ①PACS内から⾃動収集 医師が注⽬する場所→ 引⽤： Zhou, Bo, et al. "CT Data Curation for Liver Patients: Phase Recognition in Dynamic Contrast-Enhanced CT." Domain Adaptation and Representation Transfer and Medical Image Learning with Less Labels and Imperfect Data. Springer, Cham, 2019. 139-147.

Slide 62

Slide 62 text

© 20191228 @tdys13 62 データ収集編：医⽤画像をどうやって集める？ ü ②集めるのではなく⽣成する ※モダリティ変換とは CT画像をMRI (T1強調画像)やX線画像といった別画像に 擬似変換する 引⽤： Yuan, Wenguang, et al. "Unified Attentional Generative Adversarial Network for Brain Tumor Segmentation from Multimodal Unpaired Images." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019. GANを⽤いてペアになっていない画像からペア画像を⽣成し， 他のモダリティに映る病変を⾃動セグメンテーションする研究

Slide 63

Slide 63 text

© 20191228 @tdys13 63 データ収集編：医⽤画像をどうやって集める？ ü ②集めるのではなく⽣成する ・どんな研究？ GANを⽤いて画像を変換した上で 各画像に映る腫瘍をセグメンテーションする研究 ・対象領域は？ CT画像，MRI画像 ・使⽤モデルは？ UAGAN(提案モデル，左図) ・検証⽅法は？ 病変部位をセグメンテーションできるか (評価指標 : Dice係数) 引⽤： Yuan, Wenguang, et al. "Unified Attentional Generative Adversarial Network for Brain Tumor Segmentation from Multimodal Unpaired Images." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.

Slide 64

Slide 64 text

© 20191228 @tdys13 64 データ収集編：医⽤画像をどうやって集める？ ü ②集めるのではなく⽣成する ⾜りないモダリティをGANにより⽣成した上で訓練を⾏う事で 未知のモダリティに対してもロバストにセグメンテーションを⾏う事が可能になった 引⽤： Yuan, Wenguang, et al. "Unified Attentional Generative Adversarial Network for Brain Tumor Segmentation from Multimodal Unpaired Images." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.

Slide 65

Slide 65 text

© 20191228 @tdys13 65 予測・⽀援編 ü ①病気罹患予測 引⽤： Guo, Jiaming, et al. "Predicting Alzheimer's Disease by Hierarchical Graph Convolution from Positron Emission Tomography Imaging.” arXiv preprint arXiv:1910.00185 (2019). PET画像からアルツハイマー(軽度認知障害)を予測する研究

Slide 66

Slide 66 text

© 20191228 @tdys13 66 予測・⽀援編 ü ①病気罹患予測 PET画像からアルツハイマー(軽度認知障害)を予測・分類する研究 ・どんな研究？ PET画像を⽤いて軽度認知障害を予測・分類した ・対象領域は？ PET画像 ・使⽤モデルは？ PETNet(提案モデル) ・検証⽅法は？ 機械学習⼿法との⽐較 (評価指標 : Accuracy) 引⽤： Guo, Jiaming, et al. "Predicting Alzheimer's Disease by Hierarchical Graph Convolution from Positron Emission Tomography Imaging.” arXiv preprint arXiv:1910.00185 (2019).

Slide 67

Slide 67 text

© 20191228 @tdys13 67 次の論⽂は⼿術画像が映ります！！ 苦⼿な⽅は3ページ⾶ばしてください！！

Slide 68

Slide 68 text

© 20191228 @tdys13 68 予測・⽀援編 ü ②⼿術⽀援 引⽤： Ni, Zhen-Liang, et al. "Attention-Guided Lightweight Network for Real-Time Segmentation of Robotic Surgical Instruments." arXiv preprint arXiv:1910.11109 (2019). ※なぜ⼿術器具のセグメンテーションを⾏う？ ↓ ⼿術ロボット制御のために⾮常に重要． ロボットが持つ器具を正確に判断し， 器具がどの姿勢を保っているかを推定するため ⼿術画像から術器具のセグメンテーションを⾏う研究

Slide 69

Slide 69 text

© 20191228 @tdys13 69 予測・⽀援編 ü ②⼿術⽀援 ・どんな研究？ ⼿術画像から術器具をセグメンテーションする研究 ・対象領域は？ ⼿術画像 ・使⽤モデルは？ Attention-guided Lightweight Network (LWANet) (提案モデル，左図) ・検証⽅法は？ 術器具部位をセグメンテーションできるか (評価指標 : Dice係数) 引⽤： Ni, Zhen-Liang, et al. "Attention-Guided Lightweight Network for Real-Time Segmentation of Robotic Surgical Instruments." arXiv preprint arXiv:1910.11109 (2019).

Slide 70

Slide 70 text

© 20191228 @tdys13 70 予測・⽀援編 ü ②⼿術⽀援 ⼿術画像から術器具のリアルタイムセグメンテーションを⾏う研究 →今後ロボット⼿術などに応⽤されていく ・どんな研究？ ⼿術画像から術器具をセグメンテーションする研究 ・対象領域は？ ⼿術画像 ・使⽤モデルは？ Attention-guided Lightweight Network (LWANet) (提案モデル，左図) ・検証⽅法は？ 術器具部位をセグメンテーションできるか (評価指標 : Dice係数) 引⽤： Ni, Zhen-Liang, et al. "Attention-Guided Lightweight Network for Real-Time Segmentation of Robotic Surgical Instruments." arXiv preprint arXiv:1910.11109 (2019).

Slide 71

Slide 71 text

© 20191228 @tdys13 71 ひとやすみ ・提案モデルは既存のSOTAを組み合わせたものが多い ・今年はさらに現場使⽤を想定した研究が増えてきた 次のページからも引き続き 「個⼈的に考えたトレンドまとめ」

Slide 72

Slide 72 text

© 20191228 @tdys13 72 新たな研究領域編 ü ①臨床医がAutoMLを⽤いて病変分類モデル構築 引⽤： Faes, Livia, et al. "Automated deep learning design for medical image classification by health-care professionals with no coding experience: a feasibility study." The Lancet Digital Health 1.5 (2019): e232-e242. AIの専⾨知識を持たない臨床医が機械学習⽀援ツール「AutoML」を⽤いて、 疾患分類の⾼精度モデルを構築することに成功した

Slide 73

Slide 73 text

© 20191228 @tdys13 73 新たな研究領域編 ü ①臨床医がAutoMLを⽤いて病変分類モデル構築 ・どんな研究？ AIの知識を持たない臨床医がAutoMLを⽤いて疾患分類 (「医⽤画像を整形する」，「整形した画像を Google Cloud Auto MLプラットフォーム上に流す」 という基礎研修を10時間受けた臨床医) ・対象領域は？ 2クラス： (B)眼底画像，(E)⼩児胸部X線画像 4クラス： (A)OCT画像データセット 7クラス： (C)⽪膚画像 １５クラス： (D)成⼈胸部X線画像 ・使⽤モデルは？ AutoML ・検証⽅法は？ 病変部位を分類できるか (評価指標 : AUPRC) 引⽤： Faes, Livia, et al. "Automated deep learning design for medical image classification by health-care professionals with no coding experience: a feasibility study." The Lancet Digital Health 1.5 (2019): e232-e242.

Slide 74

Slide 74 text

© 20191228 @tdys13 74 NAS(Neural Architecture Search)系が実証実験を通して評価された ・どんな研究？ AIの知識を持たない臨床医がAutoMLを⽤いて疾患分類 (「医⽤画像を整形する」，「整形した画像を Google Cloud Auto MLプラットフォーム上に流す」 という基礎研修を10時間受けた臨床医) ・対象領域は？ 2クラス： (B)眼底画像，(E)⼩児胸部X線画像 4クラス： (A)OCT画像データセット 7クラス： (C)⽪膚画像 １５クラス： (D)成⼈胸部X線画像 ・使⽤モデルは？ AutoML ・検証⽅法は？ 病変部位を分類できるか (評価指標 : AUPRC) ü ①臨床医がAutoMLを⽤いて病変分類モデル構築 正 解 予測 (結果の⾒⽅) 正解列のクラス名を⾒て，予測⾏のクラス名を⾒る 新たな研究領域編 引⽤： Faes, Livia, et al. "Automated deep learning design for medical image classification by health-care professionals with no coding experience: a feasibility study." The Lancet Digital Health 1.5 (2019): e232-e242.

Slide 75

Slide 75 text

© 20191228 @tdys13 75 新たな研究領域編 ü ②Radiomics系(画像データ＋患者情報) 「患者の画像データ」と「患者データ」を組み合わせて，脳腫瘍をセグメンテーションする研究 MICCAI BraTs Challenge 2019(34ページ，Grand Challenge内の脳腫瘍コンペ) 引⽤： Wang, Shuo, et al. "Automatic Brain Tumour Segmentation and Biophysics-Guided Survival Prediction." arXiv preprint arXiv:1911.08483 (2019). ⾚部 : 腫瘍 緑部 : 浮腫 ⻩部 : 膠芽腫

Slide 76

Slide 76 text

© 20191228 @tdys13 76 新たな研究領域編 ü ②Radiomics系(画像データ＋患者情報) ・どんな研究？ 頭部MR画像から脳腫瘍をセグメンテーションして ⽣存時間を予測する ・対象領域は？ MR画像&患者データ(clinical factors) ・使⽤モデルは？ 3D U-Net + regression model ・検証⽅法は？ 腫瘍部をセグメンテーションできるか (評価指標 : Dice係数) 引⽤： Wang, Shuo, et al. "Automatic Brain Tumour Segmentation and Biophysics-Guided Survival Prediction." arXiv preprint arXiv:1911.08483 (2019).

Slide 77

Slide 77 text

© 20191228 @tdys13 77 Radiomicsでの結果を⽤いて患者の⽣存時間まで予測しようとする研究 ü ②Radiomics系(画像データ＋患者情報) 新たな研究領域編 ・どんな研究？ 頭部MR画像から脳腫瘍をセグメンテーションして ⽣存時間を予測する ・対象領域は？ MR画像&患者データ(clinical factors) ・使⽤モデルは？ 3D U-Net + regression model ・検証⽅法は？ 腫瘍部をセグメンテーションできるか (評価指標 : Dice係数) 引⽤： Wang, Shuo, et al. "Automatic Brain Tumour Segmentation and Biophysics-Guided Survival Prediction." arXiv preprint arXiv:1911.08483 (2019).

Slide 78

Slide 78 text

© 20191228 @tdys13 78 これから来そうな研究領域編 ü ①強化学習系 引⽤： Man, Yunze, et al. "Deep Q Learning Driven CT Pancreas Segmentation with Geometry-Aware U-Net." IEEE transactions on medical imaging (2019). 深層強化学習×U-Netを⽤いた膵臓の⾃動セグメンテーション研究

Slide 79

Slide 79 text

© 20191228 @tdys13 79 深層強化学習を⽤いて腹部CTの中から膵臓部を⾃動判別したのちに セグメンテーションを⾏う これから来そうな研究領域編 ü ①強化学習系 ・どんな研究？ 頭部MR画像から脳腫瘍をセグメンテーションする ・対象領域は？ MR画像&患者データ ・使⽤モデルは？ 3D U-Net + regression model ・検証⽅法は？ 腫瘍部をセグメンテーションできるか (評価指標 : Dice係数) 引⽤： Man, Yunze, et al. "Deep Q Learning Driven CT Pancreas Segmentation with Geometry-Aware U-Net." IEEE transactions on medical imaging (2019).

Slide 80

Slide 80 text

© 20191228 @tdys13 80 強化学習を含めた提案⼿法のセグメンテーション精度(Dice値)が最も⾼くなった これから来そうな研究領域編 ü ①強化学習系 ・どんな研究？ 頭部MR画像から脳腫瘍をセグメンテーションする ・対象領域は？ MR画像&患者データ ・使⽤モデルは？ 3D U-Net + regression model ・検証⽅法は？ 腫瘍部をセグメンテーションできるか (評価指標 : Dice係数) 引⽤： Man, Yunze, et al. "Deep Q Learning Driven CT Pancreas Segmentation with Geometry-Aware U-Net." IEEE transactions on medical imaging (2019).

Slide 81

Slide 81 text

© 20191228 @tdys13 81 ゲームなどに使われるCGのみを深層学習モデルに学習させて， 実際の⾞道画像で⾞の検出実験をした研究 ü ②Data AugmentationにおけるCG活⽤ これから来そうな研究領域編 引⽤： Prakash, Aayush, et al. "Structured domain randomization: Bridging the reality gap by context-aware synthetic data." 2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019.

Slide 82

Slide 82 text

© 20191228 @tdys13 82 社会実装が加速 ü ①病院での実証実験をホワイトペーパー NVIDIA製AI SDKであるCLARAが放射線科医のワークフローを変えずに 臨床現場に医療AIを導⼊した 引⽤： NVIDIAによるオハイオ州⽴⼤学で実証実験をした医療AIのホワイトペーパー https://news.developer.nvidia.com/wp-content/uploads/2019/09/ Clara_AI_at_Ohio_State_University_Whitepaper_NVIDIA_Sept_2019.pdf

Slide 83

Slide 83 text

© 20191228 @tdys13 83 社会実装が加速 ü ②海外スタートアップ企業らの成果が論⽂化 海外の医療AIスタートアップの成果が続々と論⽂化した VoxelCloud，アメリカ 2016年創設 AIによる医⽤画像解析 肺，網膜，⼼臓領域 引⽤： Hwang, Eui Jin, et al. "Deep Learning for Chest Radiograph Diagnosis in the Emergency Department." Radiology 293.3 (2019): 573-580. Lunit，韓国 2013年創設 AIによる医⽤画像解析 肺，乳がん領域 引⽤： Tajbakhsh, Nima, et al. "Surrogate Supervision for Medical Image Analysis: Effective Deep Learning From Limited Quantities of Labeled Data. " arXiv preprint arXiv:1901.08707 (2019).

Slide 84

Slide 84 text

© 20191228 @tdys13 84 ひとやすみ ・様々な研究が発展しており， 従来の定⽯などをもう⼀度検証する研究なども出てきた ・海外のスタートアップが出した製品の結果が 論⽂としてpublishされ始めた ・⽇本でも様々な研究やコンペにて結果を出し始めている 次のページから 『⽇本のビジネストレンド紹介2019』

Slide 85

Slide 85 text

© 20191228 @tdys13 2. 3. 4. 1. 85 ⾃⼰紹介 世界の研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2019 - 部位別カオスマップ，技術紹介 まとめ

Slide 86

Slide 86 text

© 20191228 @tdys13 86 AI×ヘルスケア領域のスタートアップへ2013年以降，計$4.3Bの投資がされている (2018年調べより) AI×ヘルスケアの市場 引⽤： ・CB INSIGHTS https://app.cbinsights.com/research/report/ai-trends-healthcare/

Slide 87

Slide 87 text

© 20191228 @tdys13 87 中でも，診断領域は近年のさらなる発展が注⽬されている AI×ヘルスケアの市場 引⽤： ・CB INSIGHTS https://www.cbinsights.com/research/digital-health-startups-redefining-healthcare/

Slide 88

Slide 88 text

© 20191228 @tdys13 88 AIを⽤いた診断領域は今春FDA認可されるなど，最もホットな領域 海外では AI-as-a-medical-deviceなどと呼ばれる(まだsaasなどの略称はない) AIを⽤いた診断領域の市場 引⽤： ・CB INSIGHTS https://app.cbinsights.com/research/report/ai-trends-healthcare/

Slide 89

Slide 89 text

© 20191228 @tdys13 89 AI in HealthCareへの投資額はますます増えている AIを⽤いた診断領域の市場 引⽤： ・CB INSIGHTS https://www.cbinsights.com/research/ai-artificial-intelligence-healthcare-funding-q3-19/

Slide 90

Slide 90 text

© 20191228 @tdys13 90 AIを搭載した医療機器は全世界的に益々承認され始めている AIを⽤いた診断領域の市場 ・引⽤ 次世代医療機器評価指標検討会より 平成３０年度 次世代医療機器・再⽣医療等製品 評価指標作成事業 ⼈⼯知能分野 審査WG報告書より http://dmd.nihs.go.jp/jisedai/Imaging_AI_for_public/H30_AI_report.pdf

Slide 91

Slide 91 text

© 20191228 @tdys13 91 世界は進んでる！ ⽇本はどうなの！ (1年ぶりにおばちゃんらも出動)

Slide 92

Slide 92 text

© 20191228 @tdys13 92 ⽇本におけるAI×医⽤画像診断(会社⼀覧) 2019 1222 とどろき調べ ⽇本で事業を⾏う会社(研究⽤途・研究段階含む)&プレスリリースを⾏なっている限定

Slide 93

Slide 93 text

© 20191228 @tdys13 93 ⽇本におけるAI×医⽤画像診断(会社×共同研究先) 2019 1222 とどろき調べ ⽇本で事業を⾏う会社(研究⽤途・研究段階含む)&プレスリリースを⾏なっている限定

Slide 94

Slide 94 text

© 20191228 @tdys13 94 ⽇本におけるAI×医⽤画像診断(会社×共同研究先) とどろきが個⼈的に調べたものなので不⾜等あると思います！ 不⾜分は勉強させてください！！ ここのリストの企業(35事業) ⼀挙に紹介するよ！！

Slide 95

Slide 95 text

© 20191228 @tdys13 95 ⽇本におけるAI×医⽤画像診断(会社×共同研究先) とどろきが個⼈的に調べたものなので不⾜等あると思います！ 不⾜分は勉強させてください！！ 技術公開している事業のみ 技術紹介もやるよ！

Slide 96

Slide 96 text

© 20191228 @tdys13 96 ⽇本におけるAI×医⽤画像診断(詳細) [ LPIXEL × ⼤阪市⽴⼤学 ] 脳動脈瘤診断⽀援ツール EIRL aneurysm （エイル アニュリズム） ・⼀⾔ - 医師が読影をするワークステーションに 病変候補部をマーキングして出⼒ - 深層学習を搭載したプログラム医療機器としては初 (機械学習と深層学習の違い) 引⽤ ・2019.10.15 LPIXEL社 プレスリリース 医⽤画像解析ソフトウェア EIRL aneurysm （エイル アニュリズム）を発売 https://lpixel.net/news/press-release/2019/9757/ プレスリリースより引⽤

Slide 97

Slide 97 text

© 20191228 @tdys13 97 ⽇本におけるAI×医⽤画像診断(詳細) [ iMed Technologies ] 脳梗塞・くも膜下出⾎に対する⼿術⽀援AI開発スタートアップ ・⼀⾔ - CEOが脳神経外科医として16年間勤務 - ⼿術⽀援システムを開発するスタートアップ 引⽤ ・iMed Technologies https://imed-tech.co.jp/ ・PR TIMES iMed Technologies代表取締役 河野健⼀の事業テーマがNEDOに採択 https://prtimes.jp/main/html/rd/p/000000004.000046244.html

Slide 98

Slide 98 text

© 20191228 @tdys13 98 ⽇本におけるAI×医⽤画像診断(詳細) [ ERISA × 滋賀医科⼤学 ] アルツハイマーおよび，軽度認知障害の早期発⾒ ・メモ - 認知症領域で多くの研究成果を発表する - 滋賀医科⼤学 椎野先⽣との共同研究にて国内特許を取得 -脳MR画像，性別，年齢から機械学習を⽤いて 3年以内に軽度認知障害罹患者がアルツハイマー病へ進⾏する確率を85%で予測 引⽤ ・株式会社 ERISA https://www.erisa.co.jp/ ・PR TIMES アルツハイマー病に進⾏するＭＣＩ患者を識別する技術に関する国内特許を取得 https://prtimes.jp/main/html/rd/p/000000007.000041196.html (PR TIMESより引⽤)

Slide 99

Slide 99 text

© 20191228 @tdys13 99 ⽇本におけるAI×医⽤画像診断(詳細) [富⼠フイルム株式会社 ] アルツハイマーおよび，軽度認知障害の早期発⾒ 脳⾎管障害の早期検出 ・⼀⾔ - 脳MRIから深層学習を⽤いて 1年後に軽度認知障害罹患者がアルツハイマー病へ進⾏する確率を90%で予測 - 他にも脳⾎管障害のセグメンテーションなど広く研究を⾏う - 後ほどREiLIについて紹介あり 引⽤ ・2019 10/21 ⽇本経済新聞 認知症診断、AIに活路 富⼠フイルム、脳画像から予測 失敗続く新薬開発に光 https://www.nikkei.com/nkd/industry/article/ ?DisplayType=2&n_m_code=071&ng=DGKKZO51132840Y9A011C1TJM000 ・FUJIFILM REiLI http://reili.fujifilm.com/ja/

Slide 100

Slide 100 text

© 20191228 @tdys13 100 ⽇本におけるAI×医⽤画像診断(詳細) [ 株式会社オプティム ] 眼底画像から視神経乳頭陥凹(かんおう)領域を抽出して 体積を計測する簡易システムの開発 ・⼀⾔ - 研究を⾏なっていた眼底画像領域のシステムを医療機器として認証を取得した - オプティムは他にもプラットフォーム事業も⾏う(後ほど紹介) 引⽤ ・株式会社オプティム 2019.05.23 プレスリリース 「眼底画像診断⽀援システム OPTiM Doctor Eye」医療機器プログラムの認証を取得 https://www.optim.co.jp/newsdetail/20190523-pressrelease

Slide 101

Slide 101 text

© 20191228 @tdys13 101 ⽇本におけるAI×医⽤画像診断(詳細) [ イーグロース株式会社 × ツカザキ病院 ] GANを⽤いた網膜剥離画像⾃動⽣成研究 ・⼀⾔ - 元の広⾓眼底画像に映る⾎管特徴などは維持したまま， 網膜剥離病変をGANを⽤いて擬似的に⽣成した 引⽤ ・イーグロース株式会社 https://www.egrowth.co.jp/ ・プレスリリース 2019 06.06 AIを⽤いた本物そっくりな網膜剥離画像⽣成技術を開発 https://www.egrowth.co.jp/archives/931 プレスリリースより抜粋

Slide 102

Slide 102 text

© 20191228 @tdys13 102 ⽇本におけるAI×医⽤画像診断(詳細) [ キャノン株式会社 ] 深層学習を⽤いた眼底三次元画像の⾼画質化 が可能な光⼲渉断層計 ・⼀⾔ - 深層学習を⽤いてノイズ除去を⾏い，⾎管細部まで⾼精細化された画像を⽣成する - 医⽤画像の超解像領域では⽇本&世界のトップランナーであるキャノン 引⽤ ・キャノン株式会社 プレスリリース 2019 04.15 AI技術により検査画像の⾼画質化と検査時間の短縮を両⽴ 光⼲渉断層計の新ブランド「Xephilio」として"OCT-A1"を発売 https://canon.jp/newsrelease/2019-04/pr-oct-a1.html プレスリリースより抜粋

Slide 103

Slide 103 text

© 20191228 @tdys13 103 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×東北⼤学 ] マルチモダリティ眼底画像を⽤いた緑内障⾃動診断AI 引⽤ ・理化学研究所 プレスリリース 2019 03.28 ⼈⼯知能による⾼精度緑内障⾃動診断 https://www.riken.jp/press/2019/20190328_2/#note13

Slide 104

Slide 104 text

© 20191228 @tdys13 104 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×東北⼤学 ] マルチモダリティ眼底画像を⽤いた緑内障⾃動診断AI ・技術的視点 モデル ：VGG19(pretrain-ImageNet)→ランダムフォレスト データ ：左下5種(緑内障208眼，健全眼149眼) a - 眼底画像のG(RGBのうち)のみ b - 視神経乳頭，神経線維層の層厚マップ c - 視神経乳頭，神経線維層のデビエーションマップ d - ⻩斑，神経節細胞複合体層の層厚マップ e -⻩斑，神経節細胞複合体層のデビエーションマップ タスク ：分類問題 引⽤ ・理化学研究所 プレスリリース 2019 03.28 ⼈⼯知能による⾼精度緑内障⾃動診断 https://www.riken.jp/press/2019/20190328_2/#note13

Slide 105

Slide 105 text

© 20191228 @tdys13 105 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×東北⼤学 ] マルチモダリティ眼底画像を⽤いた緑内障⾃動診断AI ・技術的視点 モデル ：VGG19(pretrain-ImageNet)→ランダムフォレスト データ ：左下5種(緑内障208眼，健全眼149眼) a - 眼底画像のG(RGBのうち)のみ b - 視神経乳頭，神経線維層の層厚マップ c - 視神経乳頭，神経線維層のデビエーションマップ d - ⻩斑，神経節細胞複合体層の層厚マップ e -⻩斑，神経節細胞複合体層のデビエーションマップ 引⽤ ・理化学研究所 プレスリリース 2019 03.28 ⼈⼯知能による⾼精度緑内障⾃動診断 https://www.riken.jp/press/2019/20190328_2/#note13 引⽤： ・An, Guangzhou, et al. "Glaucoma Diagnosis with Machine Learning Based on Optical Coherence Tomography and Color Fundus Images." Journal of healthcare engineering 2019 (2019).

Slide 106

Slide 106 text

© 20191228 @tdys13 106 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×東北⼤学 ] マルチモダリティ眼底画像を⽤いた緑内障⾃動診断AI ・技術的視点 モデル ：VGG19(pretrain-ImageNet)→ランダムフォレスト データ ：左下5種(緑内障208眼，健全眼149眼) a - 眼底画像のG(RGBのうち)のみ b - 視神経乳頭，神経線維層の層厚マップ c - 視神経乳頭，神経線維層のデビエーションマップ d - ⻩斑，神経節細胞複合体層の層厚マップ e -⻩斑，神経節細胞複合体層のデビエーションマップ タスク ：分類問題 検証 ：K-folds Cross Validation (K=10) 評価指標：AUC 結果 ：AUC=0.963 引⽤ ・理化学研究所 プレスリリース 2019 03.28 ⼈⼯知能による⾼精度緑内障⾃動診断 https://www.riken.jp/press/2019/20190328_2/#note13 ・An, Guangzhou, et al. "Glaucoma Diagnosis with Machine Learning Based on Optical Coherence Tomography and Color Fundus Images." Journal of healthcare engineering 2019 (2019).

Slide 107

Slide 107 text

© 20191228 @tdys13 107 ⽇本におけるAI×医⽤画像診断(詳細) [ 株式会社NTTドコモ×東北⼤学 ] スマホで撮影した画像から⻭周病を発⾒するAIの開発 引⽤ ・株式会社NTTドコモ プレスリリース 2019 02.21 東北⼤学とドコモ、⻭周病発⾒AIの共同研究を開始 -スマートフォンを使って⻭周病検診の受診率向上をめざす- https://www.nttdocomo.co.jp/info/news_release/2019/02/21_00.html

Slide 108

Slide 108 text

© 20191228 @tdys13 108 ⽇本におけるAI×医⽤画像診断(詳細) [ ライオン株式会社×Automagi株式会社×株式会社エムティーアイ ] お⼝を開いて撮影するだけで⻭茎の状態がわかる ⻭茎チェックツール「HAGUKI CHECKER」 引⽤ ・ライオン株式会社 プレスリリース 2019 07.22 “イ〜ッ”とお⼝を開いて撮影するだけで⻭ぐきの状態がわかる ⻭ぐきチェックツール「HAGUKI CHECKER(ハグキチェッカー)」サービス開始 https://www.lion.co.jp/ja/company/press/2019/2970 ・HAGUKI CHECKER https://haguki-check.lion-apps.jp/pc.html

Slide 109

Slide 109 text

© 20191228 @tdys13 109 ⽇本におけるAI×医⽤画像診断(詳細) [ シーメンスヘルスケア株式会社 ] 胸部CT画像における「AI画像解析受託サービス」トライアル提供開始 肺結節の検出・測定，⼤動脈の直径の測定 引⽤ ・シーメンスヘルスケア株式会社 プレスリリース 2019 04.11 胸部CT画像における「AI画像解析受託サービス」のトライアル提供を開始 https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20190411-ai-rad.html ・⼀⾔ - シーメンス社製クラウドサービスを使うのが前提

Slide 110

Slide 110 text

© 20191228 @tdys13 110 ⽇本におけるAI×医⽤画像診断(詳細) [ コニカミノルタ株式会社 ] 胸部単純X線画像から異常部位を検出するAIを開発 引⽤ ・コニカミノルタ株式会社 プレスリリース 2019 04.10 胸部単純X線画像から異常部位を検出するAIを共同開発 https://www.konicaminolta.com/jp-ja/newsroom/topics/2019/0410-02-01.html

Slide 111

Slide 111 text

© 20191228 @tdys13 111 ⽇本におけるAI×医⽤画像診断(詳細) [ ⽇⽴株式会社 ] 胸部CT画像に映る肺結節の⾃動検出 引⽤ ・⽇⽴評論 2019 Vol.101 No.3 画像診断を⾰新するAI技術 https://www.hitachihyoron.com/jp/archive/2010s/2019/03/05b04/index.html ・技術的視点 モデル ： MK-CNN(⽇⽴独⾃) データ ：胸部CT画像(3D)，学習-816症例，テスト-202症例 タスク ：検出 ポイント：⾎管を学習することで，⾎管以外に検出が向かうよう設計 結果 ：肺結節 検出率 93.4% ⽇⽴評論より抜粋

Slide 112

Slide 112 text

© 20191228 @tdys13 112 ⽇本におけるAI×医⽤画像診断(詳細) [ Panasonic ‒ AIST Advanced AI Research Laboratory ] 胸部X線画像に映る異常部のセグメンテーション 引⽤ ・advanced AI Research Laboratory 研究テーマ https://unit.aist.go.jp/pana-aaicrl/Research.html#cp3 ・近藤堅司, et al. "U-Net を⽤いた胸部 X 線画像からの解剖学的構造の領域抽出." ⼈⼯知能学会全国⼤会論⽂集 第 32 回全国⼤会 (2018). ⼀般社団法⼈ ⼈⼯知能学会, 2018. ・技術的視点 モデル ： UNet データ ：胸部X線画像，学習-697症例，テスト-70症例 タスク ：セグメンテーション 評価指標：Dice係数 結果 ：Dice＝0.902 論⽂より抜粋

Slide 113

Slide 113 text

© 20191228 @tdys13 113 ⽇本におけるAI×医⽤画像診断(詳細) [ 富⼠フイルム株式会社×京都⼤学 ] AI技術を⽤いたCT画像に映る間質性肺炎の診断⽀援研究 引⽤ ・富⼠フイルム株式会社 プレスリリース 2019 04.09 富⼠フイルムと京都⼤学 AI技術を⽤いた間質性肺炎（*1）の診断⽀援技術の共同開発に成功 https://www.fujifilm.co.jp/corporate/news/articleffnr_1417.html プレスリリースより抜粋

Slide 114

Slide 114 text

© 20191228 @tdys13 114 ⽇本におけるAI×医⽤画像診断(詳細) [ みずほ総合研究所×福島県⽴医科⼤学 ] 肺がん検診におけるAI実⽤化に向けた共同研究 引⽤ ・福島県⽴医科⼤学 プレスリリース 2019 07.29 肺がん検診におけるAI実⽤化に向けた共同研究を開始 https://www.fmu.ac.jp/univ/daigaku/topics/20190729.html

Slide 115

Slide 115 text

© 20191228 @tdys13 115 ⽇本におけるAI×医⽤画像診断(詳細) [ GEヘルスケア×⼩倉記念病院 ] 冠動脈内腔の⾃動セグメンテーション 引⽤ ・GEヘルスケア プレスリリース 2019 09.03 ⼩倉記念病院とGEヘルスケア・ジャパン、AI技術を活⽤した冠動脈内腔⾃動検出の成果を⽰す http://www3.gehealthcare.co.jp/ja-jp/event_and_news/news_and_initiatives/2019/press14 ϦΞϧλΠϜ ࣗಈηάϝϯςʔγϣϯ γεςϜ ・技術的視点 Trainデータ : ⼼臓CT画像20,000例 ネットワーク : 事前学習+3D-UNet Testデータ : 未知のCT画像 出⼒結果 : 冠動脈内腔の⾃動セグメンテーション

Slide 116

Slide 116 text

© 20191228 @tdys13 116 ⽇本におけるAI×医⽤画像診断(詳細) [ テルモ株式会社×菊名記念病院 ] AIによる⼼臓カテーテル治療⽀援 引⽤ ・テルモ株式会社 プレスリリース 2019 10.31 テルモと菊名記念病院、AIによる⼼臓カテーテル治療⽀援の共同研究を開始 https://www.terumo.co.jp/pressrelease/detail/20191031/1007/ ・⼀⾔ 今まで医師が⾏ってきたことをAIで再現できるかに挑戦する研究 →⾎管径やプラーク断⾯積の⾃動計測， 患者に最適なサイズのステント選択など

Slide 117

Slide 117 text

© 20191228 @tdys13 117 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×富⼠通×昭和⼤学 ] AIを⽤いた超⾳波検査における影の⾃動検出 引⽤ ・国⽴がん研究センター プレスリリース 2019 07.26 AIを⽤いた超⾳波検査における影の⾃動検出 ラベルなしデータ学習で胎児⼼臓スクリーニング技術に進展 https://www.ncc.go.jp/jp/information/pr_release/2019/0726/index.html

Slide 118

Slide 118 text

© 20191228 @tdys13 118 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×富⼠通×昭和⼤学 ] AIを⽤いた超⾳波検査における影の⾃動検出 引⽤ ・Yasutomi, Suguru, Tatsuya Arakaki, and Ryuji Hamamoto. "Shadow Detection for Ultrasound Images Using Unlabeled Data and Synthetic Shadows." (2019). ・技術的視点 データ : 正常胎児⼼臓の超⾳波動画 (訓練：93videos/37,378枚，検証：9videos/61枚， テスト：9videos/52枚) ネットワーク : エンコーダデコーダモデル 出⼒結果 :超⾳波に映る影の検出

Slide 119

Slide 119 text

© 20191228 @tdys13 119 ⽇本におけるAI×医⽤画像診断(詳細) [ 株式会社フィックスターズ×慶應義塾⼤学 ] 乳房超⾳波検査リアルタイム解析システムによる乳がん検出 引⽤ ・株式会社フィックスターズ プレスリリース 2019 07.11 慶應義塾⼤学医学部と共同研究で、⽇本初のAIを⽤いた乳房超⾳波検査リアルタイム解析システムを学会で発表 https://www.fixstars.com/ja/news/2125/

Slide 120

Slide 120 text

© 20191228 @tdys13 120 ⽇本におけるAI×医⽤画像診断(詳細) [ 岡⼭⼤学×株式会社両備システムズ ] ⼈⼯知能（AI）を⽤いた早期胃がん内視鏡診断システムを開発 引⽤ ・岡⼭⼤学 プレスリリース 2019 05.23 ⼈⼯知能（AI）を⽤いた早期胃がん内視鏡診断システムを開発 https://www.okayama-u.ac.jp/up_load_files/press2019/press20190523-5.pdf ・技術的視点 データ : 内視鏡的切除術をした粘膜内がん100例，粘膜下層浸潤がん 50 例 外科⼿術をした粘膜下層浸潤がん 50 例 モデル : ResNet152層 結果 : (画像単位ごと)感度82.7%，特異度63.0% (症例ごと)感度82.0%，特異度71.0%

Slide 121

Slide 121 text

© 20191228 @tdys13 121 ⽇本におけるAI×医⽤画像診断(詳細) [ 株式会社AIメディカルサービス ] 内視鏡画像診断⽀援AIの開発 引⽤ ・株式会社AIメディカルサービス プレスリリース 2019 10.04 臨床試験の推進等に約46億円を調達 https://www.ai-ms.com/20191004/347/ ・株式会社AIメディカルサービス プレスリリース 2019 11.07 ⽶国FDAからブレイクスルーデバイス指定を受けました https://www.ai-ms.com/20191107/363/ ・⼀⾔ ⼤型資⾦調達も2019年に⾏い， アメリカFDAよりブレイクスルーデバイスの指定もされた

Slide 122

Slide 122 text

© 20191228 @tdys13 122 ⽇本におけるAI×医⽤画像診断(詳細) [ 株式会社LPIXEL] ⼤腸内視鏡画像診断⽀援AIの開発 引⽤ ・「MICCAI 2019」にエルピクセル福⽥が登壇し、⼤腸内視鏡AIの開発成果を発表いたしました https://lpixel.net/news/information/2019/9810/ ・「⼈⼯知能による⾻⾁腫X線診断ツール」の研究成果を発表 https://eirl.ai/ja/news/2019/07/12/576/ ・精⼦の運動性を⾼精度に算出するAIを開発 https://lpixel.net/news/press-release/2019/9865/ ・⼀⾔ 多くの領域で共同研究を⾏なっているエルピクセル 他にも⾻⾁腫診断⽀援，精⼦の運動性を算出するAIなど多くの研究を⾏う また，⾃社製品としてもEIRLなどの統合的なソフトウェアを開発している

Slide 123

Slide 123 text

© 20191228 @tdys13 123 ⽇本におけるAI×医⽤画像診断(詳細) [ オリンパス株式会社 ] AI搭載 内視鏡画像診断ソフトウェアEndoBRAIN発売開始 引⽤ ・オリンパス株式会社 プレスリリース 2019 02.25 AI を搭載した内視鏡画像診断⽀援ソフトウェア「EndoBRAIN®」を発売 https://www.olympus.co.jp/news/2019/contents/nr01157/nr01157_00002.pdf ・⼀⾔ AI(機械学習)を搭載した内視鏡画像診断⽀援ソフトウェアが ⽇本で初めて薬事承認され，発売された

Slide 124

Slide 124 text

© 20191228 @tdys13 124 ⽇本におけるAI×医⽤画像診断(詳細) [ 株式会社NTTデータ×宮崎⼤学 ] AIを⽤いたがん検出において⼈種差が⽣じないかに関する研究 引⽤ ・株式会社NTTデータ プレスリリース 2019 09.26 宮崎⼤学とNTTデータがAI画像診断の実証実験を実施 https://www.nttdata.com/jp/ja/news/release/2019/092600/ ・技術的視点 学習データ ： 腹部CT画像11万枚(アメリカ⼈患者5000名) テストデータ ： 宮崎⼤学付属病院の患者700名 (250名の腎癌患者，200名の腎臓疾患患者，250名の健康患者) モデル ： ??? 結果 ： 感度82.0%，特異度95.0%

Slide 125

Slide 125 text

© 20191228 @tdys13 125 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×⽇本医科⼤学 ] がんの未知なる特徴をAIが発⾒ 引⽤ ・理化学研究所 プレスリリース 2019 12.18 がんの未知なる特徴をAIが発⾒ https://www.riken.jp/press/2019/20191218_2/index.html ・技術的視点 学習データ ： 病理画像13,188枚(AI学習⽤換算≒860億枚) テストデータ ： 病理画像2,276枚(AI学習⽤換算≒100億枚) モデル ： Deep AutoEncoder 結果 ： AUC=0.82

Slide 126

Slide 126 text

© 20191228 @tdys13 126 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×⽇本医科⼤学 ] がんの未知なる特徴をAIが発⾒ 引⽤ Yamamoto, Yoichiro, et al. "Automated acquisition of explainable knowledge from unannotated histopathology images." Nature Communications 10.1 (2019): 1-9. ・技術的視点 学習データ ： 病理画像13,188枚(AI学習⽤換算≒860億枚) テストデータ ： 病理画像2,276枚(AI学習⽤換算≒100億枚) モデル ： Deep AutoEncoder 結果 ： AUC=0.82

Slide 127

Slide 127 text

© 20191228 @tdys13 127 ⽇本におけるAI×医⽤画像診断(詳細) [ 九州⼤学×国⽴情報学研究所 ] 病理医の読影⽅法を模倣した⼿法の提案(研究-CVPR2019) 引⽤ ・国⽴情報学研究所 医療ビックデータ研究センター より http://research.nii.ac.jp/rc4mb/publication/2019/06/09/bise-cvpr2019.html

Slide 128

Slide 128 text

© 20191228 @tdys13 128 ⽇本におけるAI×医⽤画像診断(詳細) [ 九州⼤学×国⽴情報学研究所 ] 病理医の読影⽅法を模倣した⼿法の提案(研究-CVPR2019) 引⽤ ・Tokunaga, Hiroki, et al. "Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019. ・技術的視点 データ ： 29⼈の患者から採取された病理画像 (29枚- 最⼤54,000×108,000ピクセル) 2クラス時→167,766枚 / 4クラス時→20,848枚 タスク ： セグメンテーション モデル ： AWMF-CNN (Adaptive-Weighting-Multi-Field-of-View CNN ) 評価指標 ： mIoU 結果 ： 2クラス(腫瘍部orその他)時mIoU=0.831， 4クラス(腫瘍4種類)時mIoU=0.536

Slide 129

Slide 129 text

© 20191228 @tdys13 129 ⽇本におけるAI×医⽤画像診断(詳細) [ 九州⼤学×国⽴情報学研究所 ] 病理医の読影⽅法を模倣した⼿法の提案(研究-CVPR2019) ・技術的視点 モデル ： AWMF-CNN (Adaptive-Weighting-Multi-Field-of-View CNN ) 詳細モデル ： Expert CNN(Unetベース) ： Weighting CNN(Xceptionベース) ： 各モデルからの出⼒にWeighting CNNにて 算出した重みを掛け合わせConcat. 5層の畳み込み層を掛けてsoftmaxにてクラス分類 引⽤ ・Tokunaga, Hiroki, et al. "Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.

Slide 130

Slide 130 text

© 20191228 @tdys13 130 ⽇本におけるAI×医⽤画像診断(詳細) [ 九州⼤学×国⽴情報学研究所 ] 病理医の読影⽅法を模倣した⼿法の提案(研究-CVPR2019) 2クラスセグメンテーション結果 (腫瘍部orその他) 4クラスセグメンテーション結果 (腫瘍部4種類) a : 元画像 b : アノテーション画像 c : U-Net h : 提案⼿法(Fixed) I : 提案⼿法(Adaptive) 結果画像 引⽤ ・Tokunaga, Hiroki, et al. "Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.

Slide 131

Slide 131 text

© 20191228 @tdys13 131 ⽇本におけるAI×医⽤画像診断(詳細) [ 九州⼤学×国⽴情報学研究所 ] 病理医の読影⽅法を模倣した⼿法の提案(研究-CVPR2019) 引⽤ ・Han, Changhee, et al. "Learning more with less: conditional PGGAN-based data augmentation for brain metastases detection using highly-rough annotation on MR images." arXiv preprint arXiv:1902.09856 (2019). ・⼀⾔ この研究のみならず，多くの研究を⾏い，著名学会にて研究成果を発表している 例) 医療ビックデータ研究センター×東⼤×ケンブリッジ⼤学×国⽴医療研究センター病院の共同研究 →精度を向上させるため，医⽤画像のバリエーションをConditional-PGGANを⽤いて増やす研究

Slide 132

Slide 132 text

© 20191228 @tdys13 132 ⽇本におけるAI×医⽤画像診断(詳細) [ 国⽴情報学研究所×⽇本病理学会×福島県 ] 病理医不⾜が深刻な現場にて胃⽣検AIシステムの実証実験 引⽤ ・福島県⽴医科⼤学 プレスリリース 2019 03.15 AMED研究事業「⾃⽴性・持続性を持った病理診断⽀援システムを構築するための地域実証実験モデル」 による成果報告 http://p-wsi.jp/press_release/%E3%83%97%E3%83%AC%E3%82%B9%E3%83%AA%E3%83%AA%E3%83%BC%E3%82%B9/

Slide 133

Slide 133 text

© 20191228 @tdys13 133 ⽇本におけるAI×医⽤画像診断(詳細) [ 国⽴情報学研究所×学会 ] データベースの構築および医療AIの構築 引⽤ ・国⽴情報学研究所より AMED 「臨床研究等ICT基盤構築・⼈⼯知能実装研究事業」 https://www.nii.ac.jp/research/projects/amed/ ・⼀⾔ 参加学会は⽇本眼科学会，⽇本⽪膚科学会，⽇本病理学会， ⽇本超⾳波医学会，⽇本医学放射線学会，⽇本消化器内視鏡学会

Slide 134

Slide 134 text

© 20191228 @tdys13 134 ⽇本におけるAI×医⽤画像診断(詳細) [ 三栄会 ツカザキ病院 ] 院内画像によるデータベース構築 引⽤ ・Tsukazaki Optos Public Project https://tsukazaki-ai.github.io/optos_dataset/ ・⼀⾔ 病院で集めた眼底画像をデータセットとして公開した

Slide 135

Slide 135 text

© 20191228 @tdys13 135 ⽇本におけるAI×医⽤画像診断(詳細) [ オリンパス株式会社×⼤分⼤学×福岡⼯業⼤学 ×東京⼤学×国⽴がん研究センター東病院 ] ⼿術ナビゲーションAIの研究および統合⼿術⽀援 引⽤ ・オリンパス株式会社 プレスリリース 2019 03.07 オリンパス・⼤分⼤学・福岡⼯業⼤学の共同開発プロジェクトが 世界初の AI ナビゲーション外科⼿術※の成功に貢献 https://www.olympus.co.jp/news/2019/contents/nr01159/nr01159_00000.pdf ・⽇本経済新聞 2019 10.25 オリンパス、AIとロボットで⼿術⽀援へ https://www.nikkei.com/article/DGXMZO51381000V21C19A0XB0000/

Slide 136

Slide 136 text

© 20191228 @tdys13 136 ⽇本におけるAI×医⽤画像診断(詳細) [ 株式会社オプティム ] 統合画像診断プラットフォームAMIAS 引⽤ ・株式会社オプティム プレスリリース 2019 04.11 医療画像診断⽀援AI統合オープンプラットフォーム 「AMIAS」（アミアス）を提供開始 https://www.optim.co.jp/newsdetail/20190411-pressrelease ・AMIAS https://www.optim.co.jp/medical/amias/ ・⼀⾔ Infervision : 中国，肺結節など ERISA : ⽇本(島根)，認知症早期検出 vuno : 韓国，⾻年齢や⾻折を判定する LPIXEL : 10種類以上の疾患を判定する(EIRL)

Slide 137

Slide 137 text

© 20191228 @tdys13 137 ⽇本におけるAI×医⽤画像診断(詳細) [ 富⼠フイルム株式会社 ] 統合画像診断プラットフォームREiLI(怜悧) 引⽤ ・フジフィルム REiLI(怜悧) http://reili.fujifilm.com/ja/ ・⼀⾔ ReiLI楽しみ&⾊々と知りたいなぁ

Slide 138

Slide 138 text

© 20191228 @tdys13 138 ⽇本におけるAI×医⽤画像診断(詳細) [ アイリス株式会社 ] AIを搭載したインフルエンザ診断医療機器 引⽤ ・アイリス株式会社 https://aillis.jp/ ・⼀⾔ ハードウェア，ソフトウェア，AIを開発するスタートアップ පӃͳͲ

Slide 139

Slide 139 text

© 20191228 @tdys13 139 ⽇本におけるAI×医⽤画像診断(おまけ) [ ⼀般社団法⼈ライフデータイニシアティブ×株式会社NTTデータ ] 次世代医療基盤法に基づく匿名加⼯事業者の認定 引⽤ ・内閣官房健康・医療戦略室 内閣府⽇本医療研究開発機構・医療情報基盤担当室 次世代医療基盤法とは https://www8.cao.go.jp/iryou/gaiyou/pdf/seidonogaiyou.pdf オプトインのみならずオプトアウトにより取得したデータを 国が定めた認定匿名加⼯事業者は出来るようになった 更なる研究の為の法整備，事業者整備がいよいよ始動 引⽤ ・内閣府 プレスリリース 2019 12.19 次世代医療基盤法に基づく事業者の認定について（令和元年12⽉19⽇） https://www8.cao.go.jp/iryou/nintei/nintei/jigyousha/jigyoushanintei.html

Slide 140

Slide 140 text

© 20191228 @tdys13 140 『AI×医⽤画像』の現状と可能性(ビジネストレンド編) まとめ <ひと⼝メモ> 結果 ：何がしたいのか(検出，セグメンテーションなど) データ：どこから取ってくるか，⾜りない場合はどうするか モデル：何がしたいからどんなモデルを選ぶのか 技術⾯：それを論⽂にして技術証明をするのか

Slide 141

Slide 141 text

© 20191228 @tdys13 141 AIは“ブラックボックス化”を避けられないのか？ ブラックボックス化とは… ⾼精度な結果が出るものの，なぜ導き出されるのか 解明が出来ない問題のこと 引⽤： ・Can Healthcare Avoid “Black Box” Artificial Intelligence Tools? https://healthitanalytics.com/news/can-healthcare-avoid-black-box-artificial-intelligence-tools 出てきている課題と解決⽅針

Slide 142

Slide 142 text

© 20191228 @tdys13 142 出てきている課題と解決⽅針 引⽤： ・総務省「AI開発ガイドライン」 http://www.soumu.go.jp/main_content/000499625.pdf

Slide 143

Slide 143 text

© 20191228 @tdys13 143 出てきている課題と解決⽅針 引⽤： ・Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI) https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8466590 説明可能(Explainable)なAI研究が急速に発展 →とりわけ医療系においては “納得感”を得られるAI研究が⾮常に重要だと(個⼈的に)思う

Slide 144

Slide 144 text

© 20191228 @tdys13 2. 3. 4. 1. 144 ⾃⼰紹介 世界の研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2019 - 部位別カオスマップ，技術紹介 まとめ

Slide 145

Slide 145 text

© 20191228 @tdys13 145 エピローグ いよいよAIが実社会に実装され始めることを感じた元年でした。 医療領域でもそれは感じる事ができました これをきっかけに来年以降も益々盛り上がっていくのだろうなと思いを馳せつつ、 １ファン(ヘルスケア好き)としては， 『この瞬間に⽴ち会えてとても幸せ』 １当事者(医⽤画像処理，機械学習エンジニア)としては， 『より良く使える技術を現場に届けたい』 と強く感じました。

Slide 146

Slide 146 text

© 20191228 @tdys13 146 最後に AI × 医⽤画像処理 は難しいけど、やっぱり⾯⽩い！！！！！！

Slide 147

Slide 147 text

© 20191228 @tdys13 147 各種連絡① 講演依頼は yoshihiro.todoroki@aillis.jp または アイリス株式会社 お問い合わせページ までお願いします 講演実績 (2019年は11回登壇しました-講演会，勉強会など) ・病院における医療AI導⼊について ・医療AIの現状(画像以外も含む) ・医療AIの現状(画像のみ) などなど 轟佳⼤ トドロキヨシヒロ

Slide 148

Slide 148 text

© 20191228 @tdys13 148 各種連絡② 現在、 国⽴研究開発法⼈ 産業技術総合研究所 ⼈⼯知能コンソーシアム 医⽤画像WGにてリーダーをしています。 プロジェクト内容は「⽇本における医療AI事業・研究をさらに進めるため」に ⾃由に使⽤できる医⽤画像データセット作成に関するプロジェクトを推し進めております。 興味・関⼼がある事業者さん、または病院関係者さんは⼀度詳しくお話をしませんか？

Slide 149

Slide 149 text

© 20191228 @tdys13 149 各種連絡③ 来年はアジア版とかEU版とかのスライドを、賛同してくれる⽅と作りたいな！