AI×医用画像の現状と可能性_2019年版/AI×medical imaging in japan(2019)

AI×医用画像の現状と可能性_2019年版/AI×medical imaging in japan(2019)

AI×医用画像の現状と可能性_2019年度版です
2019年に論文発表またはプレスリリースされた物を中心に振り返ります
このスライドを手に取られる方にAI×医用画像の難しさと面白さが伝わることを願って。

[編集]
2019 12/29
52~54枚目スライド,139枚目スライド追加

835671ae91e49b2637313b91dacda1db?s=128

YoshihiroTodoroki

December 28, 2019
Tweet

Transcript

  1. 3.

    © 20191228 @tdys13 2. 3. 4. 1. 3 ⾃⼰紹介 世界の研究トレンド紹介

    - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2019 - 部位別カオスマップ,技術紹介 まとめ
  2. 4.

    © 20191228 @tdys13 2. 3. 4. 1. 4 ⾃⼰紹介 世界の研究トレンド紹介

    - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2019 - 部位別カオスマップ,技術紹介 まとめ
  3. 5.

    © 20191228 @tdys13 -所属- アイリス株式会社 AIエンジニア 国⽴研究開発法⼈ 産業技術総合研究所 ⼈⼯知能コンソーシアム 医⽤画像WG

    -略歴- 2017.4 ⽴命館⼤学 ⼤学院 情報理⼯学研究科 ⼊学 (知的画像処理研究室 OB) 2017.8 ~ 11 シンガポール国⽴情報研究所 (A*star/i2r Knowledge-Assisted Vision Lab) 2019.3 ⽴命館⼤学 ⼤学院 修了 2019.4 ~ 現職 -活動- 研究 深層学習×医⽤画像処理(2015~2019) 講演 医学⽣・医師・社会⼈向け 医療AIに関して(2018~) 連載 M3.com「医療AIトレンドを追う」(2019~) 外部PJ 産総研 医⽤画像WGプロジェクト リーダー(2019~) -好きなもの- #最新テクノロジー,#ヘルスケア,#アイス 5 轟 佳⼤ (トドロキ ヨシヒロ) :@Tdys13
  4. 7.

    © 20191228 @tdys13 2. 3. 4. 1. 7 ⾃⼰紹介 世界の研究トレンド紹介

    - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2019 - 部位別カオスマップ,技術紹介 まとめ
  5. 12.

    © 20191228 @tdys13 12 知識・興味程度に他の技術も知っていることはあるけれど それぞれが専⾨分野を持っている! 誰が⼈⼯知能を研究・開発している? エンジニア ・webアプリエンジニア ・iOSエンジニア

    ・アンドロイドエンジニア ・フロントサイドエンジニア ・バックサイドエンジニア ・サーバーサイドエンジニア ・機械学習エンジニア ・フルスタックエンジニア お医者さん ・外科医 ・⿇酔科医 ・消化器内科医 ・⽿⿐咽喉科医 ・整形外科医 ・読影医 ・救急医 ・総合診療医 ・家庭医
  6. 13.

    © 20191228 @tdys13 13 機械学習領域にいる⽅が研究・開発していることが多い 誰が⼈⼯知能を研究・開発している? エンジニア ・webアプリエンジニア ・iOSエンジニア ・アンドロイドエンジニア

    ・フロントサイドエンジニア ・バックサイドエンジニア ・サーバーサイドエンジニア ・機械学習エンジニア ・フルスタックエンジニア
  7. 24.

    © 20191228 @tdys13 24 各ジャンルで結果を出している優秀なモデル 例)モデルの融合について ResNet ‒ 主に分類ジャンル ・ILSVRC2015

    画像分類コンペティション 優勝モデル ・Residual Blockを持つ構造 UNet ‒ 主にセグメンテーションジャンル ・ISBI2015 医⽤画像セグメンテーションチャレンジ 優勝モデル ・short cut pathを持つU-Netというモデル He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015.
  8. 25.

    © 20191228 @tdys13 25 Res Blockを⽤いた残差学習⼿法を提案した ResNet セグメンテーションの⾼精度化を実現した U-Net 例)モデルの融合について

    ResNet ‒ 主に分類ジャンル UNet ‒ 主にセグメンテーションジャンル He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015. ResBlock U-Net
  9. 26.

    © 20191228 @tdys13 26 これらのモデルを組み合わせる 例)モデルの融合について ResNet ‒ 主に分類ジャンル UNet

    ‒ 主にセグメンテーションジャンル × He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015. ResBlock U-Net
  10. 27.

    © 20191228 @tdys13 27 Res U-Net : ResBlockを持つU-net,両モデルの良いところを合わせたモデル 例)モデルの融合について ×

    Zhang, Zhengxin, Qingjie Liu, and Yunhong Wang. "Road extraction by deep residual u-net." IEEE Geoscience and Remote Sensing Letters 15.5 (2018): 749-753.
  11. 28.

    © 20191228 @tdys13 28 ResUNetのみならず,多くの組み合わせモデルが存在する 例)モデルの融合について × Zhang, Zhengxin, Qingjie

    Liu, and Yunhong Wang. "Road extraction by deep residual u-net." IEEE Geoscience and Remote Sensing Letters 15.5 (2018): 749-753.
  12. 29.

    © 20191228 @tdys13 29 ひとやすみ ・深層学習×画像処理(医⽤画像処理) では 各ジャンルにて結果を出したモデルを融合して SoTA (State

    of The Art : “最⾼の”という意)を ⽬指すことが多い ・この領域は進歩が早いので⽇々論⽂チェックしたり, コンペティションやTwitterをチェックして情報収集する 次のページから 『AIの医療応⽤について』 『2019年の深層学習×医⽤画像処理の研究トレンドまとめ』
  13. 31.

    © 20191228 @tdys13 31 遺伝⼦解析 ◎検診・早期発⾒ ◎診断 治療 予兆・予防 診断⽀援の際に⽤いることを前提に

    研究や実⽤化されていることが多い(医⽤画像を⽤いたもの) AIの医療応⽤
  14. 35.

    © 20191228 @tdys13 35 深層学習×医⽤画像の研究トレンド 肺気胸をセグメンテーションするコンペ*1 ,脳出⾎を検出するコンペ*2 などが今年は開催された そして⽇本⼈が上位⼊賞した! 引⽤:

    ・*1 気胸コンペ12位 ‒ エルピクセル社チーム ・*2 株式会社DeNA プレスリリース 2019 12.16 世界最⼤の年次医療会議の1つであるThe Radiological Society of North America(RSNA)にて、 DeNAの⼤越、菅原が登壇しました https://dena.ai/news/201912-rsna/ 引⽤: ・Kaggle SIIM-ACR Pneumothorax Segmentation https://www.kaggle.com/c/siim-acr-pneumothorax-segmentation ・Kaggle RSNA Intracranial Hemorrhage Detection https://www.kaggle.com/c/rsna-intracranial-hemorrhage-detection
  15. 36.

    © 20191228 @tdys13 36 深層学習×医⽤画像の研究トレンド 引⽤: Santini, Gianmarco, Noémi Moreau,

    and Mathieu Rubeaux. "Kidney tumor segmentation using an ensembling multi-stage deep learning approach. A contribution to the KiTS19 challenge." arXiv preprint arXiv:1909.00735 (2019). 2019年のみで33コンペが開催された(全て医⽤画像処理タスク) 医⽤画像処理学会が⽀援してコンペが開催されていることも多く, 上位⼊賞者は学会にて成果報告を⾏い,論⽂としてPublishすることが多い 引⽤: ・Grand Challenges in Biomedical Image Analysis https://grand-challenge.org/challenges/
  16. 37.

    © 20191228 @tdys13 37 個⼈的に考えた2019年の深層学習×医⽤画像処理の研究トレンドまとめ① • SOTA:4ジャンルにて精度向上のために何をするか? - ⾃然画像での事前学習って医⽤画像タスクにおいて有⽤なの? -

    画像⽔増し時にGANはどうなの? - マルチモダール研究(CTとMRIを⽤いた研究) • データ収集:医⽤画像をどうやって集めるか? - ⾃動収集 - DB内から⾃動的に関連画像のみ収集 - 集めるのでなく,⽣成 - GANに関する議論活性化 - GANで⽣成をする際に気をつけるべきこと - CTからMRIに画像変換(モダリティ変換) • 予測 - ⼈の脳の形状から病気予測を⾏う - ⼿術⽀援
  17. 38.

    © 20191228 @tdys13 38 個⼈的に考えた2019年の深層学習×医⽤画像処理の研究トレンドまとめ② • 新たな研究:エンジニアリングをした事がない医師でも実現可能 - AutoMLやNASなどのモデル⾃動探索ネットワークを⽤いた研究 •

    新たな研究:Radiomics(医⽤画像×患者情報) - 患者情報と医⽤画像からの結果を深層学習に⽤いる • これから来そう:他領域での技術の応⽤ - 強化学習の応⽤ - Data AugmentationにおけるCG活⽤ • 社会実装が加速 - 病院での実証実験研究 - 海外のスタートアップらが開発したAI医療機器の研究成果が続々と論⽂化
  18. 40.

    © 20191228 @tdys13 40 SOTA編:4ジャンルにて精度向上のために何をするか? ü ①⾃然画像での事前学習って医⽤画像タスクにおいて有⽤なの? ・どんな研究? 『医⽤画像タスクにおいて⾃然画像(ImageNet)での 事前学習って本当に有効なのか』を検証した

    ・対象領域は? 胸部X線画像,眼底画像 ・使⽤モデルは? ResNet50,Inception v3,CBR (CBR : 2層のConvolution, Batch Normalization, Relu) ・検証⽅法は? ImageNetにて取得した重みを転移する場合と モデルの重み(初期値)をランダムにした場合の精度⽐較 NeurlPs2019 採択 引⽤: Raghu, Maithra, et al. "Transfusion: Understanding transfer learning with applications to medical imaging." arXiv preprint arXiv:1902.07208 (2019).
  19. 41.

    © 20191228 @tdys13 41 学習の収束が早くなるが,精度にはほぼ影響を与えない(衝撃) SOTA編:4ジャンルにて精度向上のために何をするか? ü ①⾃然画像での事前学習って医⽤画像タスクにおいて有⽤なの? ・検証⽅法は? ImageNetにて取得した重みを転移する場合と

    モデルの重み(初期値)をランダムにした場合の精度⽐較 →ほぼ精度は変わらない ・何が嬉しい? 学習の収束速度が早まる 引⽤: Raghu, Maithra, et al. "Transfusion: Understanding transfer learning with applications to medical imaging." arXiv preprint arXiv:1902.07208 (2019).
  20. 42.

    © 20191228 @tdys13 42 では医⽤画像タスク向けに事前学習を⼯夫している研究などはある? SOTA編:4ジャンルにて精度向上のために何をするか? ü ①⾃然画像での事前学習って医⽤画像タスクにおいて有⽤なの? ・検証⽅法は? ImageNetにて取得した重みを転移する場合と

    モデルの重み(初期値)をランダムにした場合の精度⽐較 →ほぼ精度は変わらない ・何が嬉しい? 学習の収束速度が早まる 引⽤: Raghu, Maithra, et al. "Transfusion: Understanding transfer learning with applications to medical imaging." arXiv preprint arXiv:1902.07208 (2019).
  21. 43.

    © 20191228 @tdys13 43 SOTA編:4ジャンルにて精度向上のために何をするか? ü ①⾃然画像での事前学習って医⽤画像タスクにおいて有⽤なの? 引⽤: Qu, Jia,

    et al. "Gastric pathology image classification using stepwise fine-tuning for deep neural networks.” Journal of healthcare engineering 2018 (2018). 胃病理画像に適応させるため,転移学習を2度⾏う ( ImageNet->胃病理画像(広域)->胃病理画像(拡⼤) )
  22. 44.

    © 20191228 @tdys13 44 ImageNet依存による局所解に陥ることを避け,分類精度向上 SOTA編:4ジャンルにて精度向上のために何をするか? ü ①⾃然画像での事前学習って医⽤画像タスクにおいて有⽤なの? Small Large

    結果(ROC曲線) ImageNet→胃の病理画像(広域)→胃の病理画像(拡⼤) Task : 悪性と良性分類 Model : Inception v3 Dataset:Small-1,080 images Large ‒ 10,800images 引⽤: Qu, Jia, et al. "Gastric pathology image classification using stepwise fine-tuning for deep neural networks.” Journal of healthcare engineering 2018 (2018).
  23. 45.

    © 20191228 @tdys13 45 SOTA編:4ジャンルにて精度向上のために何をするか? ü ②画像⽔増し時にGANはどうなの? 引⽤: Pooch, Eduardo

    HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019). 「深層学習による診断を本当に信じるか?」という少し緊張の⾛るタイトルの論⽂ →具体的には『医⽤画像領域におけるドメインシフト問題』を取り上げている
  24. 46.

    © 20191228 @tdys13 46 SOTA編:4ジャンルにて精度向上のために何をするか? ü ②画像⽔増し時にGANはどうなの? ※ドメインシフト問題とは? 「開発時に集めた胸部X線の訓練画像とテスト画像では上⼿くいく」が, 「臨床時に集められた胸部X線画像では上⼿くいかない」といった

    特定のタスク解決に特化したモデルが出来上がってしまう問題 解決するためには? 右上図のような「機材などの影響で映り⽅が異なる医⽤画像」に対して 汎化性能を担保できるかが肝となる 引⽤: Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).
  25. 47.

    © 20191228 @tdys13 47 ドメインシフトが⽣じているのでは?という視点から検証, 最終的に『汎化性能を担保するためにはどうすべきか?』で締めた ü ②画像⽔増し時にGANはどうなの? SOTA編:4ジャンルにて精度向上のために何をするか? ※ドメインシフト問題とは?

    「開発時に集めた胸部X線の訓練画像とテスト画像では上⼿くいく」が, 「臨床時に集められた胸部X線画像では上⼿くいかない」といった 特定のタスク解決に特化したモデルが出来上がってしまう問題 解決するためには? 右上図のような「機材などの影響で映り⽅が異なる医⽤画像」に対して 汎化性能を担保できるかが肝となる 引⽤: Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).
  26. 48.

    © 20191228 @tdys13 48 SOTA編:4ジャンルにて精度向上のために何をするか? ü ②画像⽔増し時にGANはどうなの? ・どんな研究? タイトル通り,『AIの診断は信じれますか?』 という視点からAIの汎化性能について検証した

    ・対象領域は? 胸部X線画像 ・使⽤モデルは? DenceNet101 ・検証⽅法は? 3つの各データセットを学習したモデルを⽤いて 3つのデータセットをテストした際の精度検証 3つのデータセット詳細 引⽤: Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).
  27. 49.

    © 20191228 @tdys13 49 SOTA編:4ジャンルにて精度向上のために何をするか? ü ②画像⽔増し時にGANはどうなの? 実験結果 ・実験結果 学習時のデータセットと,テスト時のデータセットが

    同じ時に最も分類精度が⾼くなる ↓ 別のデータセットで学習した際は劣ってしまうのは 汎化性能が担保されていないのでは? 引⽤: Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).
  28. 50.

    © 20191228 @tdys13 50 著者らは『GANなどの⽣成モデルを“闇雲なデータ⽔増し”のためでなく, “ドメイン適応(⾜りないバリエーションを補うために増やす)”に使うべきでは?』と述べて締めた ü ②画像⽔増し時にGANはどうなの? 近年,放射線画像に関する⼤規模データを ⽣成する研究が多くされてるにもかかわらず,

    ドメインシフトに関して考慮されてないことが多い 実験結果 SOTA編:4ジャンルにて精度向上のために何をするか? 引⽤: Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).
  29. 51.

    © 20191228 @tdys13 51 この論⽂がQiitaなどでまとめられると同時に 『AI領域におけるGANでの⽔増しはどうなのか?』という議論がTwitterにて巻き起こった ü ②画像⽔増し時にGANはどうなの? 実験結果 SOTA編:4ジャンルにて精度向上のために何をするか?

    近年,放射線画像に関する⼤規模データを ⽣成する研究が多くされてるにもかかわらず, ドメインシフトに関して考慮されてないことが多い 引⽤: Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).
  30. 52.

    © 20191228 @tdys13 52 GANでの⽔増しを⼯夫している研究はある? ü ②画像⽔増し時にGANはどうなの? 実験結果 SOTA編:4ジャンルにて精度向上のために何をするか? 近年,放射線画像に関する⼤規模データを

    ⽣成する研究が多くされてるにもかかわらず, ドメインシフトに関して考慮されてないことが多い 引⽤: Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).
  31. 53.

    © 20191228 @tdys13 53 遺伝⼦情報×医⽤画像(胸部X線画像)を⽤いたConditional-GANによる画像⽣成 ü ②画像⽔増し時にGANはどうなの? SOTA編:4ジャンルにて精度向上のために何をするか? 引⽤: Xu,

    Ziyue, et al. "Correlation via synthesis: end-to-end nodule image generation and radiogenomic map learning based on generative adversarial network." arXiv preprint arXiv:1907.03728 (2019). 実験結果 ←訓練画像(腫瘍) ←背景画像(腫瘍なし) ←結果画像(従来⼿法) ←結果画像(提案⼿法) 提案⼿法
  32. 54.

    © 20191228 @tdys13 54 遺伝⼦情報と医⽤画像を組み合わせて⽣成することで より本物に近い画像の⽣成が可能(≒画像のバリエーションを増やすことも容易) ü ②画像⽔増し時にGANはどうなの? SOTA編:4ジャンルにて精度向上のために何をするか? 引⽤:

    Xu, Ziyue, et al. "Correlation via synthesis: end-to-end nodule image generation and radiogenomic map learning based on generative adversarial network." arXiv preprint arXiv:1907.03728 (2019). 実験結果 ←訓練画像(腫瘍) ←背景画像(腫瘍なし) ←結果画像(従来⼿法) ←結果画像(提案⼿法) 提案⼿法
  33. 55.

    © 20191228 @tdys13 55 ü ③マルチモダリティ系 引⽤: Wei, Dongming, et

    al. "Synthesis and Inpainting-Based MR-CT Registration for Image-Guided Thermal Ablation of Liver Tumors." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019. SOTA編:4ジャンルにて精度向上のために何をするか? ※マルチモダリティ系とは 複数種類の画像(CT画像やMR画像,X線画像など)を 複合的に⽤いる研究 現場などではCT,MRIなど複合的に⾒た上で 判断することが多く,より臨床に近い形へと近づけている MR画像とCT画像を⽤いて両画像の特徴を持ったMR-CT画像を作成し,肝臓腫瘍候補を検出する研究
  34. 56.

    © 20191228 @tdys13 56 ü ③マルチモダリティ系 SOTA編:4ジャンルにて精度向上のために何をするか? ・どんな研究? MR画像とCT画像を使ってMR-CT画像を作り その画像を元に肝臓腫瘍を⾒つける研究

    ・対象領域は? 腹部CT画像 ・使⽤モデルは? 新規提案モデル① (mutual-information based Cycle GAN-左図) MR-CT画像の⽣成のため ・検証⽅法は? 腫瘍のセグメンテーション精度 (評価指標 : Dice) 引⽤: Wei, Dongming, et al. "Synthesis and Inpainting-Based MR-CT Registration for Image-Guided Thermal Ablation of Liver Tumors." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.
  35. 57.

    © 20191228 @tdys13 57 ü ③マルチモダリティ系 SOTA編:4ジャンルにて精度向上のために何をするか? ・どんな研究? MR画像とCT画像を使ってMR-CT画像を作り その画像を元に肝臓腫瘍を⾒つける研究

    ・対象領域は? 腹部CT画像 ・使⽤モデルは? 新規提案モデル② (unsupervised registration network-左図) MR-CT画像から腫瘍候補部を検出するため ・検証⽅法は? 腫瘍のセグメンテーション精度 (評価指標 : Dice) 引⽤: Wei, Dongming, et al. "Synthesis and Inpainting-Based MR-CT Registration for Image-Guided Thermal Ablation of Liver Tumors." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.
  36. 58.

    © 20191228 @tdys13 58 MR画像とCT画像を⽤いてMR-CT画像を作り学習することで モダリティが変化してもロバストにセグメンテーションする事が出来た ü ③マルチモダリティ系 SOTA編:4ジャンルにて精度向上のために何をするか? ・どんな研究?

    MR画像とCT画像を使ってMR-CT画像を作り その画像を元に肝臓腫瘍を⾒つける研究 ・対象領域は? 腹部CT画像 ・使⽤モデルは? 新規提案モデル② (unsupervised registration network-左図) MR-CT画像から腫瘍候補部を検出するため ・検証⽅法は? 腫瘍のセグメンテーション精度 (評価指標 : Dice) 引⽤: Wei, Dongming, et al. "Synthesis and Inpainting-Based MR-CT Registration for Image-Guided Thermal Ablation of Liver Tumors." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.
  37. 59.

    © 20191228 @tdys13 59 データ収集編:医⽤画像をどうやって集める? ü ①PACS内から⾃動収集 引⽤: Zhou, Bo,

    et al. "CT Data Curation for Liver Patients: Phase Recognition in Dynamic Contrast-Enhanced CT." Domain Adaptation and Representation Transfer and Medical Image Learning with Less Labels and Imperfect Data. Springer, Cham, 2019. 139-147. MICCAI2019採択 PACS内にある腹部CT画像から,造影剤の影を捉えた上で求める相の画像のみを抽出する研究 医師が注⽬する場所→
  38. 60.

    © 20191228 @tdys13 60 データ収集編:医⽤画像をどうやって集める? ü ①PACS内から⾃動収集 ・どんな研究? 読影医が⾒ている造影剤による臓器の変化を AIにも学習させて,⾃動的にキュレーションさせる

    ・対象領域は? 腹部CT画像 ・使⽤モデルは? SENet ・検証⽅法は? 医師が相を⾒抜く際に注⽬する部分(前ページ参照)を AIも注⽬できるか,Grad-CAMを⽤いて検証 引⽤: Zhou, Bo, et al. "CT Data Curation for Liver Patients: Phase Recognition in Dynamic Contrast-Enhanced CT." Domain Adaptation and Representation Transfer and Medical Image Learning with Less Labels and Imperfect Data. Springer, Cham, 2019. 139-147.
  39. 61.

    © 20191228 @tdys13 61 AIによる注⽬部を可視化した結果, 読影医とほぼ同じ部分を注⽬した上で,相を認識していることが分かった データ収集編:医⽤画像をどうやって集める? ü ①PACS内から⾃動収集 医師が注⽬する場所→

    引⽤: Zhou, Bo, et al. "CT Data Curation for Liver Patients: Phase Recognition in Dynamic Contrast-Enhanced CT." Domain Adaptation and Representation Transfer and Medical Image Learning with Less Labels and Imperfect Data. Springer, Cham, 2019. 139-147.
  40. 62.

    © 20191228 @tdys13 62 データ収集編:医⽤画像をどうやって集める? ü ②集めるのではなく⽣成する ※モダリティ変換とは CT画像をMRI (T1強調画像)やX線画像といった別画像に

    擬似変換する 引⽤: Yuan, Wenguang, et al. "Unified Attentional Generative Adversarial Network for Brain Tumor Segmentation from Multimodal Unpaired Images." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019. GANを⽤いてペアになっていない画像からペア画像を⽣成し, 他のモダリティに映る病変を⾃動セグメンテーションする研究
  41. 63.

    © 20191228 @tdys13 63 データ収集編:医⽤画像をどうやって集める? ü ②集めるのではなく⽣成する ・どんな研究? GANを⽤いて画像を変換した上で 各画像に映る腫瘍をセグメンテーションする研究

    ・対象領域は? CT画像,MRI画像 ・使⽤モデルは? UAGAN(提案モデル,左図) ・検証⽅法は? 病変部位をセグメンテーションできるか (評価指標 : Dice係数) 引⽤: Yuan, Wenguang, et al. "Unified Attentional Generative Adversarial Network for Brain Tumor Segmentation from Multimodal Unpaired Images." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.
  42. 64.

    © 20191228 @tdys13 64 データ収集編:医⽤画像をどうやって集める? ü ②集めるのではなく⽣成する ⾜りないモダリティをGANにより⽣成した上で訓練を⾏う事で 未知のモダリティに対してもロバストにセグメンテーションを⾏う事が可能になった 引⽤:

    Yuan, Wenguang, et al. "Unified Attentional Generative Adversarial Network for Brain Tumor Segmentation from Multimodal Unpaired Images." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.
  43. 65.

    © 20191228 @tdys13 65 予測・⽀援編 ü ①病気罹患予測 引⽤: Guo, Jiaming,

    et al. "Predicting Alzheimer's Disease by Hierarchical Graph Convolution from Positron Emission Tomography Imaging.” arXiv preprint arXiv:1910.00185 (2019). PET画像からアルツハイマー(軽度認知障害)を予測する研究
  44. 66.

    © 20191228 @tdys13 66 予測・⽀援編 ü ①病気罹患予測 PET画像からアルツハイマー(軽度認知障害)を予測・分類する研究 ・どんな研究? PET画像を⽤いて軽度認知障害を予測・分類した

    ・対象領域は? PET画像 ・使⽤モデルは? PETNet(提案モデル) ・検証⽅法は? 機械学習⼿法との⽐較 (評価指標 : Accuracy) 引⽤: Guo, Jiaming, et al. "Predicting Alzheimer's Disease by Hierarchical Graph Convolution from Positron Emission Tomography Imaging.” arXiv preprint arXiv:1910.00185 (2019).
  45. 68.

    © 20191228 @tdys13 68 予測・⽀援編 ü ②⼿術⽀援 引⽤: Ni, Zhen-Liang,

    et al. "Attention-Guided Lightweight Network for Real-Time Segmentation of Robotic Surgical Instruments." arXiv preprint arXiv:1910.11109 (2019). ※なぜ⼿術器具のセグメンテーションを⾏う? ↓ ⼿術ロボット制御のために⾮常に重要. ロボットが持つ器具を正確に判断し, 器具がどの姿勢を保っているかを推定するため ⼿術画像から術器具のセグメンテーションを⾏う研究
  46. 69.

    © 20191228 @tdys13 69 予測・⽀援編 ü ②⼿術⽀援 ・どんな研究? ⼿術画像から術器具をセグメンテーションする研究 ・対象領域は?

    ⼿術画像 ・使⽤モデルは? Attention-guided Lightweight Network (LWANet) (提案モデル,左図) ・検証⽅法は? 術器具部位をセグメンテーションできるか (評価指標 : Dice係数) 引⽤: Ni, Zhen-Liang, et al. "Attention-Guided Lightweight Network for Real-Time Segmentation of Robotic Surgical Instruments." arXiv preprint arXiv:1910.11109 (2019).
  47. 70.

    © 20191228 @tdys13 70 予測・⽀援編 ü ②⼿術⽀援 ⼿術画像から術器具のリアルタイムセグメンテーションを⾏う研究 →今後ロボット⼿術などに応⽤されていく ・どんな研究?

    ⼿術画像から術器具をセグメンテーションする研究 ・対象領域は? ⼿術画像 ・使⽤モデルは? Attention-guided Lightweight Network (LWANet) (提案モデル,左図) ・検証⽅法は? 術器具部位をセグメンテーションできるか (評価指標 : Dice係数) 引⽤: Ni, Zhen-Liang, et al. "Attention-Guided Lightweight Network for Real-Time Segmentation of Robotic Surgical Instruments." arXiv preprint arXiv:1910.11109 (2019).
  48. 72.

    © 20191228 @tdys13 72 新たな研究領域編 ü ①臨床医がAutoMLを⽤いて病変分類モデル構築 引⽤: Faes, Livia,

    et al. "Automated deep learning design for medical image classification by health-care professionals with no coding experience: a feasibility study." The Lancet Digital Health 1.5 (2019): e232-e242. AIの専⾨知識を持たない臨床医が機械学習⽀援ツール「AutoML」を⽤いて、 疾患分類の⾼精度モデルを構築することに成功した
  49. 73.

    © 20191228 @tdys13 73 新たな研究領域編 ü ①臨床医がAutoMLを⽤いて病変分類モデル構築 ・どんな研究? AIの知識を持たない臨床医がAutoMLを⽤いて疾患分類 (「医⽤画像を整形する」,「整形した画像を

    Google Cloud Auto MLプラットフォーム上に流す」 という基礎研修を10時間受けた臨床医) ・対象領域は? 2クラス: (B)眼底画像,(E)⼩児胸部X線画像 4クラス: (A)OCT画像データセット 7クラス: (C)⽪膚画像 15クラス: (D)成⼈胸部X線画像 ・使⽤モデルは? AutoML ・検証⽅法は? 病変部位を分類できるか (評価指標 : AUPRC) 引⽤: Faes, Livia, et al. "Automated deep learning design for medical image classification by health-care professionals with no coding experience: a feasibility study." The Lancet Digital Health 1.5 (2019): e232-e242.
  50. 74.

    © 20191228 @tdys13 74 NAS(Neural Architecture Search)系が実証実験を通して評価された ・どんな研究? AIの知識を持たない臨床医がAutoMLを⽤いて疾患分類 (「医⽤画像を整形する」,「整形した画像を

    Google Cloud Auto MLプラットフォーム上に流す」 という基礎研修を10時間受けた臨床医) ・対象領域は? 2クラス: (B)眼底画像,(E)⼩児胸部X線画像 4クラス: (A)OCT画像データセット 7クラス: (C)⽪膚画像 15クラス: (D)成⼈胸部X線画像 ・使⽤モデルは? AutoML ・検証⽅法は? 病変部位を分類できるか (評価指標 : AUPRC) ü ①臨床医がAutoMLを⽤いて病変分類モデル構築 正 解 予測 (結果の⾒⽅) 正解列のクラス名を⾒て,予測⾏のクラス名を⾒る 新たな研究領域編 引⽤: Faes, Livia, et al. "Automated deep learning design for medical image classification by health-care professionals with no coding experience: a feasibility study." The Lancet Digital Health 1.5 (2019): e232-e242.
  51. 75.

    © 20191228 @tdys13 75 新たな研究領域編 ü ②Radiomics系(画像データ+患者情報) 「患者の画像データ」と「患者データ」を組み合わせて,脳腫瘍をセグメンテーションする研究 MICCAI BraTs

    Challenge 2019(34ページ,Grand Challenge内の脳腫瘍コンペ) 引⽤: Wang, Shuo, et al. "Automatic Brain Tumour Segmentation and Biophysics-Guided Survival Prediction." arXiv preprint arXiv:1911.08483 (2019). ⾚部 : 腫瘍 緑部 : 浮腫 ⻩部 : 膠芽腫
  52. 76.

    © 20191228 @tdys13 76 新たな研究領域編 ü ②Radiomics系(画像データ+患者情報) ・どんな研究? 頭部MR画像から脳腫瘍をセグメンテーションして ⽣存時間を予測する

    ・対象領域は? MR画像&患者データ(clinical factors) ・使⽤モデルは? 3D U-Net + regression model ・検証⽅法は? 腫瘍部をセグメンテーションできるか (評価指標 : Dice係数) 引⽤: Wang, Shuo, et al. "Automatic Brain Tumour Segmentation and Biophysics-Guided Survival Prediction." arXiv preprint arXiv:1911.08483 (2019).
  53. 77.

    © 20191228 @tdys13 77 Radiomicsでの結果を⽤いて患者の⽣存時間まで予測しようとする研究 ü ②Radiomics系(画像データ+患者情報) 新たな研究領域編 ・どんな研究? 頭部MR画像から脳腫瘍をセグメンテーションして

    ⽣存時間を予測する ・対象領域は? MR画像&患者データ(clinical factors) ・使⽤モデルは? 3D U-Net + regression model ・検証⽅法は? 腫瘍部をセグメンテーションできるか (評価指標 : Dice係数) 引⽤: Wang, Shuo, et al. "Automatic Brain Tumour Segmentation and Biophysics-Guided Survival Prediction." arXiv preprint arXiv:1911.08483 (2019).
  54. 78.

    © 20191228 @tdys13 78 これから来そうな研究領域編 ü ①強化学習系 引⽤: Man, Yunze,

    et al. "Deep Q Learning Driven CT Pancreas Segmentation with Geometry-Aware U-Net." IEEE transactions on medical imaging (2019). 深層強化学習×U-Netを⽤いた膵臓の⾃動セグメンテーション研究
  55. 79.

    © 20191228 @tdys13 79 深層強化学習を⽤いて腹部CTの中から膵臓部を⾃動判別したのちに セグメンテーションを⾏う これから来そうな研究領域編 ü ①強化学習系 ・どんな研究?

    頭部MR画像から脳腫瘍をセグメンテーションする ・対象領域は? MR画像&患者データ ・使⽤モデルは? 3D U-Net + regression model ・検証⽅法は? 腫瘍部をセグメンテーションできるか (評価指標 : Dice係数) 引⽤: Man, Yunze, et al. "Deep Q Learning Driven CT Pancreas Segmentation with Geometry-Aware U-Net." IEEE transactions on medical imaging (2019).
  56. 80.

    © 20191228 @tdys13 80 強化学習を含めた提案⼿法のセグメンテーション精度(Dice値)が最も⾼くなった これから来そうな研究領域編 ü ①強化学習系 ・どんな研究? 頭部MR画像から脳腫瘍をセグメンテーションする

    ・対象領域は? MR画像&患者データ ・使⽤モデルは? 3D U-Net + regression model ・検証⽅法は? 腫瘍部をセグメンテーションできるか (評価指標 : Dice係数) 引⽤: Man, Yunze, et al. "Deep Q Learning Driven CT Pancreas Segmentation with Geometry-Aware U-Net." IEEE transactions on medical imaging (2019).
  57. 81.

    © 20191228 @tdys13 81 ゲームなどに使われるCGのみを深層学習モデルに学習させて, 実際の⾞道画像で⾞の検出実験をした研究 ü ②Data AugmentationにおけるCG活⽤ これから来そうな研究領域編

    引⽤: Prakash, Aayush, et al. "Structured domain randomization: Bridging the reality gap by context-aware synthetic data." 2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019.
  58. 82.

    © 20191228 @tdys13 82 社会実装が加速 ü ①病院での実証実験をホワイトペーパー NVIDIA製AI SDKであるCLARAが放射線科医のワークフローを変えずに 臨床現場に医療AIを導⼊した

    引⽤: NVIDIAによるオハイオ州⽴⼤学で実証実験をした医療AIのホワイトペーパー https://news.developer.nvidia.com/wp-content/uploads/2019/09/ Clara_AI_at_Ohio_State_University_Whitepaper_NVIDIA_Sept_2019.pdf
  59. 83.

    © 20191228 @tdys13 83 社会実装が加速 ü ②海外スタートアップ企業らの成果が論⽂化 海外の医療AIスタートアップの成果が続々と論⽂化した VoxelCloud,アメリカ 2016年創設

    AIによる医⽤画像解析 肺,網膜,⼼臓領域 引⽤: Hwang, Eui Jin, et al. "Deep Learning for Chest Radiograph Diagnosis in the Emergency Department." Radiology 293.3 (2019): 573-580. Lunit,韓国 2013年創設 AIによる医⽤画像解析 肺,乳がん領域 引⽤: Tajbakhsh, Nima, et al. "Surrogate Supervision for Medical Image Analysis: Effective Deep Learning From Limited Quantities of Labeled Data. " arXiv preprint arXiv:1901.08707 (2019).
  60. 85.

    © 20191228 @tdys13 2. 3. 4. 1. 85 ⾃⼰紹介 世界の研究トレンド紹介

    - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2019 - 部位別カオスマップ,技術紹介 まとめ
  61. 89.

    © 20191228 @tdys13 89 AI in HealthCareへの投資額はますます増えている AIを⽤いた診断領域の市場 引⽤: ・CB

    INSIGHTS https://www.cbinsights.com/research/ai-artificial-intelligence-healthcare-funding-q3-19/
  62. 96.

    © 20191228 @tdys13 96 ⽇本におけるAI×医⽤画像診断(詳細) [ LPIXEL × ⼤阪市⽴⼤学 ]

    脳動脈瘤診断⽀援ツール EIRL aneurysm (エイル アニュリズム) ・⼀⾔ - 医師が読影をするワークステーションに 病変候補部をマーキングして出⼒ - 深層学習を搭載したプログラム医療機器としては初 (機械学習と深層学習の違い) 引⽤ ・2019.10.15 LPIXEL社 プレスリリース 医⽤画像解析ソフトウェア EIRL aneurysm (エイル アニュリズム)を発売 https://lpixel.net/news/press-release/2019/9757/ プレスリリースより引⽤
  63. 97.

    © 20191228 @tdys13 97 ⽇本におけるAI×医⽤画像診断(詳細) [ iMed Technologies ] 脳梗塞・くも膜下出⾎に対する⼿術⽀援AI開発スタートアップ

    ・⼀⾔ - CEOが脳神経外科医として16年間勤務 - ⼿術⽀援システムを開発するスタートアップ 引⽤ ・iMed Technologies https://imed-tech.co.jp/ ・PR TIMES iMed Technologies代表取締役 河野健⼀の事業テーマがNEDOに採択 https://prtimes.jp/main/html/rd/p/000000004.000046244.html
  64. 98.

    © 20191228 @tdys13 98 ⽇本におけるAI×医⽤画像診断(詳細) [ ERISA × 滋賀医科⼤学 ]

    アルツハイマーおよび,軽度認知障害の早期発⾒ ・メモ - 認知症領域で多くの研究成果を発表する - 滋賀医科⼤学 椎野先⽣との共同研究にて国内特許を取得 -脳MR画像,性別,年齢から機械学習を⽤いて 3年以内に軽度認知障害罹患者がアルツハイマー病へ進⾏する確率を85%で予測 引⽤ ・株式会社 ERISA https://www.erisa.co.jp/ ・PR TIMES アルツハイマー病に進⾏するMCI患者を識別する技術に関する国内特許を取得 https://prtimes.jp/main/html/rd/p/000000007.000041196.html (PR TIMESより引⽤)
  65. 99.

    © 20191228 @tdys13 99 ⽇本におけるAI×医⽤画像診断(詳細) [富⼠フイルム株式会社 ] アルツハイマーおよび,軽度認知障害の早期発⾒ 脳⾎管障害の早期検出 ・⼀⾔

    - 脳MRIから深層学習を⽤いて 1年後に軽度認知障害罹患者がアルツハイマー病へ進⾏する確率を90%で予測 - 他にも脳⾎管障害のセグメンテーションなど広く研究を⾏う - 後ほどREiLIについて紹介あり 引⽤ ・2019 10/21 ⽇本経済新聞 認知症診断、AIに活路 富⼠フイルム、脳画像から予測 失敗続く新薬開発に光 https://www.nikkei.com/nkd/industry/article/ ?DisplayType=2&n_m_code=071&ng=DGKKZO51132840Y9A011C1TJM000 ・FUJIFILM REiLI http://reili.fujifilm.com/ja/
  66. 100.

    © 20191228 @tdys13 100 ⽇本におけるAI×医⽤画像診断(詳細) [ 株式会社オプティム ] 眼底画像から視神経乳頭陥凹(かんおう)領域を抽出して 体積を計測する簡易システムの開発

    ・⼀⾔ - 研究を⾏なっていた眼底画像領域のシステムを医療機器として認証を取得した - オプティムは他にもプラットフォーム事業も⾏う(後ほど紹介) 引⽤ ・株式会社オプティム 2019.05.23 プレスリリース 「眼底画像診断⽀援システム OPTiM Doctor Eye」医療機器プログラムの認証を取得 https://www.optim.co.jp/newsdetail/20190523-pressrelease
  67. 101.

    © 20191228 @tdys13 101 ⽇本におけるAI×医⽤画像診断(詳細) [ イーグロース株式会社 × ツカザキ病院 ]

    GANを⽤いた網膜剥離画像⾃動⽣成研究 ・⼀⾔ - 元の広⾓眼底画像に映る⾎管特徴などは維持したまま, 網膜剥離病変をGANを⽤いて擬似的に⽣成した 引⽤ ・イーグロース株式会社 https://www.egrowth.co.jp/ ・プレスリリース 2019 06.06 AIを⽤いた本物そっくりな網膜剥離画像⽣成技術を開発 https://www.egrowth.co.jp/archives/931 プレスリリースより抜粋
  68. 102.

    © 20191228 @tdys13 102 ⽇本におけるAI×医⽤画像診断(詳細) [ キャノン株式会社 ] 深層学習を⽤いた眼底三次元画像の⾼画質化 が可能な光⼲渉断層計

    ・⼀⾔ - 深層学習を⽤いてノイズ除去を⾏い,⾎管細部まで⾼精細化された画像を⽣成する - 医⽤画像の超解像領域では⽇本&世界のトップランナーであるキャノン 引⽤ ・キャノン株式会社 プレスリリース 2019 04.15 AI技術により検査画像の⾼画質化と検査時間の短縮を両⽴ 光⼲渉断層計の新ブランド「Xephilio」として"OCT-A1"を発売 https://canon.jp/newsrelease/2019-04/pr-oct-a1.html プレスリリースより抜粋
  69. 103.

    © 20191228 @tdys13 103 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×東北⼤学 ] マルチモダリティ眼底画像を⽤いた緑内障⾃動診断AI 引⽤

    ・理化学研究所 プレスリリース 2019 03.28 ⼈⼯知能による⾼精度緑内障⾃動診断 https://www.riken.jp/press/2019/20190328_2/#note13
  70. 104.

    © 20191228 @tdys13 104 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×東北⼤学 ] マルチモダリティ眼底画像を⽤いた緑内障⾃動診断AI ・技術的視点

    モデル :VGG19(pretrain-ImageNet)→ランダムフォレスト データ :左下5種(緑内障208眼,健全眼149眼) a - 眼底画像のG(RGBのうち)のみ b - 視神経乳頭,神経線維層の層厚マップ c - 視神経乳頭,神経線維層のデビエーションマップ d - ⻩斑,神経節細胞複合体層の層厚マップ e -⻩斑,神経節細胞複合体層のデビエーションマップ タスク :分類問題 引⽤ ・理化学研究所 プレスリリース 2019 03.28 ⼈⼯知能による⾼精度緑内障⾃動診断 https://www.riken.jp/press/2019/20190328_2/#note13
  71. 105.

    © 20191228 @tdys13 105 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×東北⼤学 ] マルチモダリティ眼底画像を⽤いた緑内障⾃動診断AI ・技術的視点

    モデル :VGG19(pretrain-ImageNet)→ランダムフォレスト データ :左下5種(緑内障208眼,健全眼149眼) a - 眼底画像のG(RGBのうち)のみ b - 視神経乳頭,神経線維層の層厚マップ c - 視神経乳頭,神経線維層のデビエーションマップ d - ⻩斑,神経節細胞複合体層の層厚マップ e -⻩斑,神経節細胞複合体層のデビエーションマップ 引⽤ ・理化学研究所 プレスリリース 2019 03.28 ⼈⼯知能による⾼精度緑内障⾃動診断 https://www.riken.jp/press/2019/20190328_2/#note13 引⽤: ・An, Guangzhou, et al. "Glaucoma Diagnosis with Machine Learning Based on Optical Coherence Tomography and Color Fundus Images." Journal of healthcare engineering 2019 (2019).
  72. 106.

    © 20191228 @tdys13 106 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×東北⼤学 ] マルチモダリティ眼底画像を⽤いた緑内障⾃動診断AI ・技術的視点

    モデル :VGG19(pretrain-ImageNet)→ランダムフォレスト データ :左下5種(緑内障208眼,健全眼149眼) a - 眼底画像のG(RGBのうち)のみ b - 視神経乳頭,神経線維層の層厚マップ c - 視神経乳頭,神経線維層のデビエーションマップ d - ⻩斑,神経節細胞複合体層の層厚マップ e -⻩斑,神経節細胞複合体層のデビエーションマップ タスク :分類問題 検証 :K-folds Cross Validation (K=10) 評価指標:AUC 結果 :AUC=0.963 引⽤ ・理化学研究所 プレスリリース 2019 03.28 ⼈⼯知能による⾼精度緑内障⾃動診断 https://www.riken.jp/press/2019/20190328_2/#note13 ・An, Guangzhou, et al. "Glaucoma Diagnosis with Machine Learning Based on Optical Coherence Tomography and Color Fundus Images." Journal of healthcare engineering 2019 (2019).
  73. 107.

    © 20191228 @tdys13 107 ⽇本におけるAI×医⽤画像診断(詳細) [ 株式会社NTTドコモ×東北⼤学 ] スマホで撮影した画像から⻭周病を発⾒するAIの開発 引⽤

    ・株式会社NTTドコモ プレスリリース 2019 02.21 東北⼤学とドコモ、⻭周病発⾒AIの共同研究を開始 -スマートフォンを使って⻭周病検診の受診率向上をめざす- https://www.nttdocomo.co.jp/info/news_release/2019/02/21_00.html
  74. 108.

    © 20191228 @tdys13 108 ⽇本におけるAI×医⽤画像診断(詳細) [ ライオン株式会社×Automagi株式会社×株式会社エムティーアイ ] お⼝を開いて撮影するだけで⻭茎の状態がわかる ⻭茎チェックツール「HAGUKI

    CHECKER」 引⽤ ・ライオン株式会社 プレスリリース 2019 07.22 “イ〜ッ”とお⼝を開いて撮影するだけで⻭ぐきの状態がわかる ⻭ぐきチェックツール「HAGUKI CHECKER(ハグキチェッカー)」サービス開始 https://www.lion.co.jp/ja/company/press/2019/2970 ・HAGUKI CHECKER https://haguki-check.lion-apps.jp/pc.html
  75. 109.

    © 20191228 @tdys13 109 ⽇本におけるAI×医⽤画像診断(詳細) [ シーメンスヘルスケア株式会社 ] 胸部CT画像における「AI画像解析受託サービス」トライアル提供開始 肺結節の検出・測定,⼤動脈の直径の測定

    引⽤ ・シーメンスヘルスケア株式会社 プレスリリース 2019 04.11 胸部CT画像における「AI画像解析受託サービス」のトライアル提供を開始 https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20190411-ai-rad.html ・⼀⾔ - シーメンス社製クラウドサービスを使うのが前提
  76. 110.

    © 20191228 @tdys13 110 ⽇本におけるAI×医⽤画像診断(詳細) [ コニカミノルタ株式会社 ] 胸部単純X線画像から異常部位を検出するAIを開発 引⽤

    ・コニカミノルタ株式会社 プレスリリース 2019 04.10 胸部単純X線画像から異常部位を検出するAIを共同開発 https://www.konicaminolta.com/jp-ja/newsroom/topics/2019/0410-02-01.html
  77. 111.

    © 20191228 @tdys13 111 ⽇本におけるAI×医⽤画像診断(詳細) [ ⽇⽴株式会社 ] 胸部CT画像に映る肺結節の⾃動検出 引⽤

    ・⽇⽴評論 2019 Vol.101 No.3 画像診断を⾰新するAI技術 https://www.hitachihyoron.com/jp/archive/2010s/2019/03/05b04/index.html ・技術的視点 モデル : MK-CNN(⽇⽴独⾃) データ :胸部CT画像(3D),学習-816症例,テスト-202症例 タスク :検出 ポイント:⾎管を学習することで,⾎管以外に検出が向かうよう設計 結果 :肺結節 検出率 93.4% ⽇⽴評論より抜粋
  78. 112.

    © 20191228 @tdys13 112 ⽇本におけるAI×医⽤画像診断(詳細) [ Panasonic ‒ AIST Advanced

    AI Research Laboratory ] 胸部X線画像に映る異常部のセグメンテーション 引⽤ ・advanced AI Research Laboratory 研究テーマ https://unit.aist.go.jp/pana-aaicrl/Research.html#cp3 ・近藤堅司, et al. "U-Net を⽤いた胸部 X 線画像からの解剖学的構造の領域抽出." ⼈⼯知能学会全国⼤会論⽂集 第 32 回全国⼤会 (2018). ⼀般社団法⼈ ⼈⼯知能学会, 2018. ・技術的視点 モデル : UNet データ :胸部X線画像,学習-697症例,テスト-70症例 タスク :セグメンテーション 評価指標:Dice係数 結果 :Dice=0.902 論⽂より抜粋
  79. 113.

    © 20191228 @tdys13 113 ⽇本におけるAI×医⽤画像診断(詳細) [ 富⼠フイルム株式会社×京都⼤学 ] AI技術を⽤いたCT画像に映る間質性肺炎の診断⽀援研究 引⽤

    ・富⼠フイルム株式会社 プレスリリース 2019 04.09 富⼠フイルムと京都⼤学 AI技術を⽤いた間質性肺炎(*1)の診断⽀援技術の共同開発に成功 https://www.fujifilm.co.jp/corporate/news/articleffnr_1417.html プレスリリースより抜粋
  80. 114.

    © 20191228 @tdys13 114 ⽇本におけるAI×医⽤画像診断(詳細) [ みずほ総合研究所×福島県⽴医科⼤学 ] 肺がん検診におけるAI実⽤化に向けた共同研究 引⽤

    ・福島県⽴医科⼤学 プレスリリース 2019 07.29 肺がん検診におけるAI実⽤化に向けた共同研究を開始 https://www.fmu.ac.jp/univ/daigaku/topics/20190729.html
  81. 115.

    © 20191228 @tdys13 115 ⽇本におけるAI×医⽤画像診断(詳細) [ GEヘルスケア×⼩倉記念病院 ] 冠動脈内腔の⾃動セグメンテーション 引⽤

    ・GEヘルスケア プレスリリース 2019 09.03 ⼩倉記念病院とGEヘルスケア・ジャパン、AI技術を活⽤した冠動脈内腔⾃動検出の成果を⽰す http://www3.gehealthcare.co.jp/ja-jp/event_and_news/news_and_initiatives/2019/press14     ϦΞϧλΠϜ ࣗಈηάϝϯςʔγϣϯ γεςϜ  ・技術的視点 Trainデータ : ⼼臓CT画像20,000例 ネットワーク : 事前学習+3D-UNet Testデータ : 未知のCT画像 出⼒結果 : 冠動脈内腔の⾃動セグメンテーション
  82. 116.

    © 20191228 @tdys13 116 ⽇本におけるAI×医⽤画像診断(詳細) [ テルモ株式会社×菊名記念病院 ] AIによる⼼臓カテーテル治療⽀援 引⽤

    ・テルモ株式会社 プレスリリース 2019 10.31 テルモと菊名記念病院、AIによる⼼臓カテーテル治療⽀援の共同研究を開始 https://www.terumo.co.jp/pressrelease/detail/20191031/1007/ ・⼀⾔ 今まで医師が⾏ってきたことをAIで再現できるかに挑戦する研究 →⾎管径やプラーク断⾯積の⾃動計測, 患者に最適なサイズのステント選択など
  83. 117.

    © 20191228 @tdys13 117 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×富⼠通×昭和⼤学 ] AIを⽤いた超⾳波検査における影の⾃動検出 引⽤

    ・国⽴がん研究センター プレスリリース 2019 07.26 AIを⽤いた超⾳波検査における影の⾃動検出 ラベルなしデータ学習で胎児⼼臓スクリーニング技術に進展 https://www.ncc.go.jp/jp/information/pr_release/2019/0726/index.html
  84. 118.

    © 20191228 @tdys13 118 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×富⼠通×昭和⼤学 ] AIを⽤いた超⾳波検査における影の⾃動検出 引⽤

    ・Yasutomi, Suguru, Tatsuya Arakaki, and Ryuji Hamamoto. "Shadow Detection for Ultrasound Images Using Unlabeled Data and Synthetic Shadows." (2019). ・技術的視点 データ : 正常胎児⼼臓の超⾳波動画 (訓練:93videos/37,378枚,検証:9videos/61枚, テスト:9videos/52枚) ネットワーク : エンコーダデコーダモデル 出⼒結果 :超⾳波に映る影の検出
  85. 119.

    © 20191228 @tdys13 119 ⽇本におけるAI×医⽤画像診断(詳細) [ 株式会社フィックスターズ×慶應義塾⼤学 ] 乳房超⾳波検査リアルタイム解析システムによる乳がん検出 引⽤

    ・株式会社フィックスターズ プレスリリース 2019 07.11 慶應義塾⼤学医学部と共同研究で、⽇本初のAIを⽤いた乳房超⾳波検査リアルタイム解析システムを学会で発表 https://www.fixstars.com/ja/news/2125/
  86. 120.

    © 20191228 @tdys13 120 ⽇本におけるAI×医⽤画像診断(詳細) [ 岡⼭⼤学×株式会社両備システムズ ] ⼈⼯知能(AI)を⽤いた早期胃がん内視鏡診断システムを開発 引⽤

    ・岡⼭⼤学 プレスリリース 2019 05.23 ⼈⼯知能(AI)を⽤いた早期胃がん内視鏡診断システムを開発 https://www.okayama-u.ac.jp/up_load_files/press2019/press20190523-5.pdf ・技術的視点 データ : 内視鏡的切除術をした粘膜内がん100例,粘膜下層浸潤がん 50 例 外科⼿術をした粘膜下層浸潤がん 50 例 モデル : ResNet152層 結果 : (画像単位ごと)感度82.7%,特異度63.0% (症例ごと)感度82.0%,特異度71.0%
  87. 121.

    © 20191228 @tdys13 121 ⽇本におけるAI×医⽤画像診断(詳細) [ 株式会社AIメディカルサービス ] 内視鏡画像診断⽀援AIの開発 引⽤

    ・株式会社AIメディカルサービス プレスリリース 2019 10.04 臨床試験の推進等に約46億円を調達 https://www.ai-ms.com/20191004/347/ ・株式会社AIメディカルサービス プレスリリース 2019 11.07 ⽶国FDAからブレイクスルーデバイス指定を受けました https://www.ai-ms.com/20191107/363/ ・⼀⾔ ⼤型資⾦調達も2019年に⾏い, アメリカFDAよりブレイクスルーデバイスの指定もされた
  88. 122.

    © 20191228 @tdys13 122 ⽇本におけるAI×医⽤画像診断(詳細) [ 株式会社LPIXEL] ⼤腸内視鏡画像診断⽀援AIの開発 引⽤ ・「MICCAI

    2019」にエルピクセル福⽥が登壇し、⼤腸内視鏡AIの開発成果を発表いたしました https://lpixel.net/news/information/2019/9810/ ・「⼈⼯知能による⾻⾁腫X線診断ツール」の研究成果を発表 https://eirl.ai/ja/news/2019/07/12/576/ ・精⼦の運動性を⾼精度に算出するAIを開発 https://lpixel.net/news/press-release/2019/9865/ ・⼀⾔ 多くの領域で共同研究を⾏なっているエルピクセル 他にも⾻⾁腫診断⽀援,精⼦の運動性を算出するAIなど多くの研究を⾏う また,⾃社製品としてもEIRLなどの統合的なソフトウェアを開発している
  89. 123.

    © 20191228 @tdys13 123 ⽇本におけるAI×医⽤画像診断(詳細) [ オリンパス株式会社 ] AI搭載 内視鏡画像診断ソフトウェアEndoBRAIN発売開始

    引⽤ ・オリンパス株式会社 プレスリリース 2019 02.25 AI を搭載した内視鏡画像診断⽀援ソフトウェア「EndoBRAIN®」を発売 https://www.olympus.co.jp/news/2019/contents/nr01157/nr01157_00002.pdf ・⼀⾔ AI(機械学習)を搭載した内視鏡画像診断⽀援ソフトウェアが ⽇本で初めて薬事承認され,発売された
  90. 124.

    © 20191228 @tdys13 124 ⽇本におけるAI×医⽤画像診断(詳細) [ 株式会社NTTデータ×宮崎⼤学 ] AIを⽤いたがん検出において⼈種差が⽣じないかに関する研究 引⽤

    ・株式会社NTTデータ プレスリリース 2019 09.26 宮崎⼤学とNTTデータがAI画像診断の実証実験を実施 https://www.nttdata.com/jp/ja/news/release/2019/092600/ ・技術的視点 学習データ : 腹部CT画像11万枚(アメリカ⼈患者5000名) テストデータ : 宮崎⼤学付属病院の患者700名 (250名の腎癌患者,200名の腎臓疾患患者,250名の健康患者) モデル : ??? 結果 : 感度82.0%,特異度95.0%
  91. 125.

    © 20191228 @tdys13 125 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×⽇本医科⼤学 ] がんの未知なる特徴をAIが発⾒ 引⽤

    ・理化学研究所 プレスリリース 2019 12.18 がんの未知なる特徴をAIが発⾒ https://www.riken.jp/press/2019/20191218_2/index.html ・技術的視点 学習データ : 病理画像13,188枚(AI学習⽤換算≒860億枚) テストデータ : 病理画像2,276枚(AI学習⽤換算≒100億枚) モデル : Deep AutoEncoder 結果 : AUC=0.82
  92. 126.

    © 20191228 @tdys13 126 ⽇本におけるAI×医⽤画像診断(詳細) [ 理化学研究所×⽇本医科⼤学 ] がんの未知なる特徴をAIが発⾒ 引⽤

    Yamamoto, Yoichiro, et al. "Automated acquisition of explainable knowledge from unannotated histopathology images." Nature Communications 10.1 (2019): 1-9. ・技術的視点 学習データ : 病理画像13,188枚(AI学習⽤換算≒860億枚) テストデータ : 病理画像2,276枚(AI学習⽤換算≒100億枚) モデル : Deep AutoEncoder 結果 : AUC=0.82
  93. 127.

    © 20191228 @tdys13 127 ⽇本におけるAI×医⽤画像診断(詳細) [ 九州⼤学×国⽴情報学研究所 ] 病理医の読影⽅法を模倣した⼿法の提案(研究-CVPR2019) 引⽤

    ・国⽴情報学研究所 医療ビックデータ研究センター より http://research.nii.ac.jp/rc4mb/publication/2019/06/09/bise-cvpr2019.html
  94. 128.

    © 20191228 @tdys13 128 ⽇本におけるAI×医⽤画像診断(詳細) [ 九州⼤学×国⽴情報学研究所 ] 病理医の読影⽅法を模倣した⼿法の提案(研究-CVPR2019) 引⽤

    ・Tokunaga, Hiroki, et al. "Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019. ・技術的視点 データ : 29⼈の患者から採取された病理画像 (29枚- 最⼤54,000×108,000ピクセル) 2クラス時→167,766枚 / 4クラス時→20,848枚 タスク : セグメンテーション モデル : AWMF-CNN (Adaptive-Weighting-Multi-Field-of-View CNN ) 評価指標 : mIoU 結果 : 2クラス(腫瘍部orその他)時mIoU=0.831, 4クラス(腫瘍4種類)時mIoU=0.536
  95. 129.

    © 20191228 @tdys13 129 ⽇本におけるAI×医⽤画像診断(詳細) [ 九州⼤学×国⽴情報学研究所 ] 病理医の読影⽅法を模倣した⼿法の提案(研究-CVPR2019) ・技術的視点

    モデル : AWMF-CNN (Adaptive-Weighting-Multi-Field-of-View CNN ) 詳細モデル : Expert CNN(Unetベース) : Weighting CNN(Xceptionベース) : 各モデルからの出⼒にWeighting CNNにて 算出した重みを掛け合わせConcat. 5層の畳み込み層を掛けてsoftmaxにてクラス分類 引⽤ ・Tokunaga, Hiroki, et al. "Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.
  96. 130.

    © 20191228 @tdys13 130 ⽇本におけるAI×医⽤画像診断(詳細) [ 九州⼤学×国⽴情報学研究所 ] 病理医の読影⽅法を模倣した⼿法の提案(研究-CVPR2019) 2クラスセグメンテーション結果

    (腫瘍部orその他) 4クラスセグメンテーション結果 (腫瘍部4種類) a : 元画像 b : アノテーション画像 c : U-Net h : 提案⼿法(Fixed) I : 提案⼿法(Adaptive) 結果画像 引⽤ ・Tokunaga, Hiroki, et al. "Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.
  97. 131.

    © 20191228 @tdys13 131 ⽇本におけるAI×医⽤画像診断(詳細) [ 九州⼤学×国⽴情報学研究所 ] 病理医の読影⽅法を模倣した⼿法の提案(研究-CVPR2019) 引⽤

    ・Han, Changhee, et al. "Learning more with less: conditional PGGAN-based data augmentation for brain metastases detection using highly-rough annotation on MR images." arXiv preprint arXiv:1902.09856 (2019). ・⼀⾔ この研究のみならず,多くの研究を⾏い,著名学会にて研究成果を発表している 例) 医療ビックデータ研究センター×東⼤×ケンブリッジ⼤学×国⽴医療研究センター病院の共同研究 →精度を向上させるため,医⽤画像のバリエーションをConditional-PGGANを⽤いて増やす研究
  98. 132.

    © 20191228 @tdys13 132 ⽇本におけるAI×医⽤画像診断(詳細) [ 国⽴情報学研究所×⽇本病理学会×福島県 ] 病理医不⾜が深刻な現場にて胃⽣検AIシステムの実証実験 引⽤

    ・福島県⽴医科⼤学 プレスリリース 2019 03.15 AMED研究事業「⾃⽴性・持続性を持った病理診断⽀援システムを構築するための地域実証実験モデル」 による成果報告 http://p-wsi.jp/press_release/%E3%83%97%E3%83%AC%E3%82%B9%E3%83%AA%E3%83%AA%E3%83%BC%E3%82%B9/
  99. 133.

    © 20191228 @tdys13 133 ⽇本におけるAI×医⽤画像診断(詳細) [ 国⽴情報学研究所×学会 ] データベースの構築および医療AIの構築 引⽤

    ・国⽴情報学研究所より AMED 「臨床研究等ICT基盤構築・⼈⼯知能実装研究事業」 https://www.nii.ac.jp/research/projects/amed/ ・⼀⾔ 参加学会は⽇本眼科学会,⽇本⽪膚科学会,⽇本病理学会, ⽇本超⾳波医学会,⽇本医学放射線学会,⽇本消化器内視鏡学会
  100. 134.

    © 20191228 @tdys13 134 ⽇本におけるAI×医⽤画像診断(詳細) [ 三栄会 ツカザキ病院 ] 院内画像によるデータベース構築

    引⽤ ・Tsukazaki Optos Public Project https://tsukazaki-ai.github.io/optos_dataset/ ・⼀⾔ 病院で集めた眼底画像をデータセットとして公開した
  101. 135.

    © 20191228 @tdys13 135 ⽇本におけるAI×医⽤画像診断(詳細) [ オリンパス株式会社×⼤分⼤学×福岡⼯業⼤学 ×東京⼤学×国⽴がん研究センター東病院 ] ⼿術ナビゲーションAIの研究および統合⼿術⽀援

    引⽤ ・オリンパス株式会社 プレスリリース 2019 03.07 オリンパス・⼤分⼤学・福岡⼯業⼤学の共同開発プロジェクトが 世界初の AI ナビゲーション外科⼿術※の成功に貢献 https://www.olympus.co.jp/news/2019/contents/nr01159/nr01159_00000.pdf ・⽇本経済新聞 2019 10.25 オリンパス、AIとロボットで⼿術⽀援へ https://www.nikkei.com/article/DGXMZO51381000V21C19A0XB0000/
  102. 136.

    © 20191228 @tdys13 136 ⽇本におけるAI×医⽤画像診断(詳細) [ 株式会社オプティム ] 統合画像診断プラットフォームAMIAS 引⽤

    ・株式会社オプティム プレスリリース 2019 04.11 医療画像診断⽀援AI統合オープンプラットフォーム 「AMIAS」(アミアス)を提供開始 https://www.optim.co.jp/newsdetail/20190411-pressrelease ・AMIAS https://www.optim.co.jp/medical/amias/ ・⼀⾔ Infervision : 中国,肺結節など ERISA : ⽇本(島根),認知症早期検出 vuno : 韓国,⾻年齢や⾻折を判定する LPIXEL : 10種類以上の疾患を判定する(EIRL)
  103. 137.

    © 20191228 @tdys13 137 ⽇本におけるAI×医⽤画像診断(詳細) [ 富⼠フイルム株式会社 ] 統合画像診断プラットフォームREiLI(怜悧) 引⽤

    ・フジフィルム REiLI(怜悧) http://reili.fujifilm.com/ja/ ・⼀⾔ ReiLI楽しみ&⾊々と知りたいなぁ
  104. 138.

    © 20191228 @tdys13 138 ⽇本におけるAI×医⽤画像診断(詳細) [ アイリス株式会社 ] AIを搭載したインフルエンザ診断医療機器 引⽤

    ・アイリス株式会社 https://aillis.jp/ ・⼀⾔ ハードウェア,ソフトウェア,AIを開発するスタートアップ පӃͳͲ 
  105. 139.

    © 20191228 @tdys13 139 ⽇本におけるAI×医⽤画像診断(おまけ) [ ⼀般社団法⼈ライフデータイニシアティブ×株式会社NTTデータ ] 次世代医療基盤法に基づく匿名加⼯事業者の認定 引⽤

    ・内閣官房健康・医療戦略室 内閣府⽇本医療研究開発機構・医療情報基盤担当室 次世代医療基盤法とは https://www8.cao.go.jp/iryou/gaiyou/pdf/seidonogaiyou.pdf オプトインのみならずオプトアウトにより取得したデータを 国が定めた認定匿名加⼯事業者は出来るようになった 更なる研究の為の法整備,事業者整備がいよいよ始動 引⽤ ・内閣府 プレスリリース 2019 12.19 次世代医療基盤法に基づく事業者の認定について(令和元年12⽉19⽇) https://www8.cao.go.jp/iryou/nintei/nintei/jigyousha/jigyoushanintei.html
  106. 141.

    © 20191228 @tdys13 141 AIは“ブラックボックス化”を避けられないのか? ブラックボックス化とは… ⾼精度な結果が出るものの,なぜ導き出されるのか 解明が出来ない問題のこと 引⽤: ・Can

    Healthcare Avoid “Black Box” Artificial Intelligence Tools? https://healthitanalytics.com/news/can-healthcare-avoid-black-box-artificial-intelligence-tools 出てきている課題と解決⽅針
  107. 143.

    © 20191228 @tdys13 143 出てきている課題と解決⽅針 引⽤: ・Peeking Inside the Black-Box:

    A Survey on Explainable Artificial Intelligence (XAI) https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8466590 説明可能(Explainable)なAI研究が急速に発展 →とりわけ医療系においては “納得感”を得られるAI研究が⾮常に重要だと(個⼈的に)思う
  108. 144.

    © 20191228 @tdys13 2. 3. 4. 1. 144 ⾃⼰紹介 世界の研究トレンド紹介

    - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2019 - 部位別カオスマップ,技術紹介 まとめ
  109. 147.

    © 20191228 @tdys13 147 各種連絡① 講演依頼は yoshihiro.todoroki@aillis.jp または アイリス株式会社 お問い合わせページ

    までお願いします 講演実績 (2019年は11回登壇しました-講演会,勉強会など) ・病院における医療AI導⼊について ・医療AIの現状(画像以外も含む) ・医療AIの現状(画像のみ) などなど 轟佳⼤ トドロキヨシヒロ
  110. 148.

    © 20191228 @tdys13 148 各種連絡② 現在、 国⽴研究開発法⼈ 産業技術総合研究所 ⼈⼯知能コンソーシアム 医⽤画像WGにてリーダーをしています。

    プロジェクト内容は「⽇本における医療AI事業・研究をさらに進めるため」に ⾃由に使⽤できる医⽤画像データセット作成に関するプロジェクトを推し進めております。 興味・関⼼がある事業者さん、または病院関係者さんは⼀度詳しくお話をしませんか?