AI×医用画像の現状と可能性_2020年総まとめ版/AI×medical_imaging_in_japan_2020

Transcript

1. © 20201228 @tdys13
   『 AI×医⽤画像 』 の現状と可能性
   轟 佳⼤
   1
   2020年総まとめ編
   

   View Slide

2. © 20201228 @tdys13
   このまとめは轟が毎年年末に趣味でまとめているスライドの第4弾です。
   第1弾→AI×医⽤画像の現状と可能性(2018年)
   第2弾→AI×医⽤画像の現状と可能性(2019年)
   第3弾→AI×医⽤画像の現状と可能性(2020年上半期)
   ※毎年、年末に出しています。2020年は上半期と総まとめ(下半期)で出します。
   個⼈的に2019年下半期から『2020年は医療AIが世に浸透する年』と⾔っていました。
   当時では想像もできない出来事だらけな2020年でしたが、
   今年もAI×医⽤画像観点から振り返れたら嬉しく思います。
   説明などに⾄らぬ点もあるかと思いますが、
   その際は⾃⾝も勉強させていただきますのでご鞭撻の程、何卒よろしくお願いします
   2020 1228 轟佳⼤
   2
   引⽤：
   ・AI×医⽤画像の現状と可能性(2018)
   https://speakerdeck.com/tdys13/aixmedical-imaging-in-japan-2018
   ・ AI×医⽤画像の現状と可能性(2019)
   https://speakerdeck.com/tdys13/aixmedical-imaging-in-japan-2019
   ・AI×医⽤画像の現状と可能性(2020上半期)
   https://speakerdeck.com/tdys13/aixmedical-imaging-in-japan-first-half-of-2020
   

   View Slide

3. © 20201228 @tdys13
   2.
   3.
   4.
   1.
   3
   ⾃⼰紹介
   世界の研究トレンド紹介
   - 医⽤画像関連研究紹介
   ⽇本のビジネストレンド紹介2020
   - 部位別カオスマップ，技術紹介
   まとめ
   

   View Slide

4. © 20201228 @tdys13
   2.
   3.
   4.
   1.
   4
   ⾃⼰紹介
   世界の研究トレンド紹介
   - 医⽤画像関連研究紹介
   ⽇本のビジネストレンド紹介2020
   - 部位別カオスマップ，技術紹介
   まとめ
   

   View Slide

5. © 20201228 @tdys13
   -所属-
   p アイリス株式会社
   - AIエンジニア
   - AI医療機器を開発してます
   p 国⽴研究開発法⼈ 産業技術総合研究所 ⼈⼯知能コンソーシアム
   - 医⽤画像WGリーダー
   - 医療AI向けデータベースの構築をしてます
   -好きなもの-
   p ヘルスケアや最新技術の情報収集
   p アイス
   p サッカー
   -その他-
   p 連載，講演を始めとして
   趣味でリサーチした情報をまとめてスライドにしたり，
   コミュニティー(デジタルヘルスケア倶楽部)を運営したりしてます。
   p 連絡先 yoshihiro.todoroki.1013@gmail.comまたはツイッター
   5
   轟 佳⼤ (ﾄﾄﾞﾛｷ ﾖｼﾋﾛ)
   ：@Tdys13
   

   View Slide

6. © 20201228 @tdys13
   2.
   3.
   4.
   1.
   6
   ⾃⼰紹介
   世界の研究トレンド紹介
   - 医⽤画像関連研究紹介
   ⽇本のビジネストレンド紹介2020
   - 部位別カオスマップ，技術紹介
   まとめ
   

   View Slide

7. © 20201228 @tdys13 7
   ページ数 ：コンテンツ名
   8 ~ 26 ：AIとは
   27 ~ 29 ：初学者向けコンテンツ紹介
   30 ~ 90 ：研究紹介
   91 ~ 123 ：⽇本におけるAI×医⽤画像事例紹介(2020年 COVID-19)
   124 ~ 181 ：⽇本におけるAI×医⽤画像事例紹介(2020年 COVID-19以外)
   182 ~ 197 ：おまけ(AI医療機器に関する話，医⽤画像以外の2020年のビッグニュース)
   198 ~ 199 ：終わりに
   

   View Slide

8. © 20201228 @tdys13 8
   ⼈⼯知能≒「様々な技術の複合体の総称」
   現状はとりわけ「機械学習・深層学習」&「その他技術」が使われているものを指すことが多い
   ⼈⼯知能とは？
   引⽤：
   ・AI demystified
   https://www.callaghaninnovation.govt.nz/blog/ai-demystified
   

   View Slide

9. © 20201228 @tdys13 9
   「深層学習（DeepLearning）技術」と「画像認識技術」が使われている
   (style transferという技術)
   ⼈⼯知能とは？
   引⽤：
   ・AI demystified
   https://www.callaghaninnovation.govt.nz/blog/ai-demystified
   

   View Slide

10. © 20201228 @tdys13 10
    ・⾃然⾔語処理領域
    ・⾳声認識領域
    翻訳や⾳声解析にも深層学習が使われている．
    各領域でブレイクスルーが起きている
    ⼈⼯知能とは？
    

    View Slide

11. © 20201228 @tdys13 11
    機械学習と深層学習の違い
    ねこ
    ・⽿がある
    ・尻尾がある
    ・⿐が特徴的..
    =>⼈が特徴を与える
    良い点
    ・⼤規模な計算資源が要らない
    考えるべき点
    ・精度が⼈によって左右される
    ねことは
    ・⽿がある確率
    ・尻尾がある確率
    ・4⾜歩⾏の確率..
    =>数学的に特徴抽出
    良い点
    ・精度が⾼い
    考えるべき点
    ・数多くのデータが必要
    ・計算資源が必要
    機械学習 深層学習
    機械学習と深層学習で異なる点
    

    View Slide

12. © 20201228 @tdys13 12
    機械学習と深層学習で異なる点
    

    View Slide

13. © 20201228 @tdys13 13
    機械学習と深層学習で異なる点
    タスク，計算資源，処理するデータによって技術を使い分けていく．
    深層学習技術が必ずしも機械学習技術より良いとは限らない(画像領域では深層学習が超有効)
    

    View Slide

14. © 20201228 @tdys13 14
    「最終⽬的」を実現するために
    「⽬的に沿った深層学習モデル」をベースモデルとして使⽤する
    深層学習とは？
    

    View Slide

15. © 20201228 @tdys13 15
    「最終⽬的」を実現するために
    「⽬的に沿った深層学習モデル」をベースモデルとして使⽤する
    深層学習とは？
    検出モデル
    Yolo,
    Fast-RCNN
    EfficientDet…
    分類モデル
    ResNet,ResNeXt,
    EfficientNet…
    セグメンテーション
    モデル
    Unet, DeepLab
    ⽣成モデル
    VAE,GAN…
    その他モデル
    Bert, GPT-3…
    時系列モデル
    LSTM, RNN…
    

    View Slide

16. © 20201228 @tdys13 16
    深層学習
    モデル
    フルーツ
    いぬ
    教師あり学習
    ラベル付きデータをモデルに学習させる
    学習⽅法とは？(ex : 画像分類タスク)
    フルーツといぬ
    を⾒分ける
    教師あり学習＝各画像と紐づく正解ラベルがペアとなり存在する
    

    View Slide

17. © 20201228 @tdys13 17
    深層学習
    モデル
    教師なし学習
    ラベルなしデータをモデルに学習させる
    学習⽅法とは？(ex :画像分類タスク)
    ざっくりと
    ２グループに
    分ける
    教師なし学習＝各画像の正解情報を与えず，篩い分けを⾏う
    

    View Slide

18. © 20201228 @tdys13 18
    深層学習
    モデル
    強化学習
    ラベルなしデータをモデルに試⾏錯誤しながら学習する
    学習⽅法とは？(ex :画像分類タスク)
    この分け⽅を
    ⾏うと報酬が
    すごく⾼い
    報酬
    報酬係
    仕分け結果
    強化学習＝篩い分けの結果に応じて報酬を与え，より⾼い報酬を⽬指させる
    

    View Slide

19. © 20201228 @tdys13
    ⽬的別の違いをざっくり説明
    19
    深層学習×画像領域のタスクは？
    画像領域のタスクは主に4ジャンル
    (検出，分類，セグメンテーション，⽣成)
    

    View Slide

20. © 20201228 @tdys13 20
    深層学習
    モデル
    教師あり学習
    学習フェイズ ‒ ラベル付きデータをモデルに学習させる
    深層学習 - 画像分類タスク
    フルーツ
    いぬ
    ⼀般的に⽤いられる教師あり学習では，学習時に画像と正解ラベルを学習させる
    

    View Slide

21. © 20201228 @tdys13 21
    教師あり学習
    学習フェイズ ‒ ラベル付きデータをモデルに学習させる
    深層学習 - 画像分類タスク
    フルーツ
    いぬ
    学習回数を増やすこと，深層学習モデルが⼊⼒された画像に対して正答率を上げていく
    学習済み
    深層学習
    モデル
    

    View Slide

22. © 20201228 @tdys13
    教師あり学習
    テストフェイズ ‒ 未知データを処理する
    22
    深層学習 - 画像分類タスク
    ???
    ???
    フルーツ90%
    いぬ 10%
    フルーツ 5%
    いぬ 95%
    学習済み
    深層学習
    モデル
    学習済み深層学習モデルへ，⼊⼒画像と同ジャンルの『ラベルなし画像』を⼊⼒することで
    未知な画像に対して⾃⾝の選択肢から推論する
    

    View Slide

23. © 20201228 @tdys13
    教師あり学習
    テストフェイズ ‒ 未知データを処理する
    23
    深層学習 - 画像分類タスク
    ???
    ???
    フルーツ90%
    いぬ 10%
    フルーツ 5%
    いぬ 95%
    学習済み
    深層学習
    モデル
    学習済み深層学習モデルへ，⼊⼒画像と同ジャンルの『ラベルなし画像』を⼊⼒することで
    未知な画像に対して⾃⾝の選択肢から推論する
    

    View Slide

24. © 20201228 @tdys13 24
    しかし，⼊⼒画像のジャンルと異なるものに対しても
    無理やり知識の中で結論を出そうとしてしまうのが⽋点．
    良い点と改善出来る点は？
    ???
    フルーツ 40%
    いぬ 60%
    学習済み
    深層学習
    モデル
    教師あり学習
    テストフェイズ ‒ 未知データを処理する
    

    View Slide

25. © 20201228 @tdys13 25
    そのため対象領域が広い場合は，逃げ道を組み込んだ設計が必須
    良い点と改善出来る点は？
    ???
    フルーツ 20%
    いぬ 30%
    その他 50%
    学習済み
    深層学習
    モデル
    教師あり学習
    テストフェイズ ‒ 未知データを処理する
    

    View Slide

26. © 20201228 @tdys13 26
    最近では説明可能なAI研究において，
    最終的な出⼒値における確からしさを出す研究などもされている
    良い点と改善出来る点は？
    ???
    フルーツ 20%
    いぬ 30%
    その他 50%
    学習済み
    深層学習
    モデル
    教師あり学習
    テストフェイズ ‒ 未知データを処理する
    確からしさ15%
    確からしさ17%
    確からしさ68%
    

    View Slide

27. © 20201228 @tdys13 27
    多くの先⼈たちが道筋を作ってくれている
    初学者向けコンテンツは？
    中部⼤学，MPRG(機械知覚&ロボティクス研究室)が公開している
    深層学習レクチャーノートブック
    ・引⽤
    https://github.com/machine-perception-robotics-group/MPRGDeepLearningLectureNotebook
    ・引⽤
    https://yutaroogawa.github.io/pytorch_tutorials_jp/
    ⽇本⼈の有志が⽇本語翻訳し公開している
    Pytorchチュートリアル
    

    View Slide

28. © 20201228 @tdys13 28
    多くの先⼈たちが道筋を作ってくれている
    初学者向けコンテンツは？
    株式会社キカガクが無料公開している講義
    ・引⽤
    https://www.kikagaku.ai/
    https://prtimes.jp/main/html/rd/p/000000020.000025642.html
    ・引⽤
    https://www.facebook.com/StMariannaMedicalInformationTechnology/
    https://preferred.jp/ja/news/pr20201207/
    聖マリアンナ医科⼤学が無料で⾏なっている
    医療AIセミナー(~2021.03)
    株式会社PreferredNetworksが提供する教育コンテンツ
    

    View Slide

29. © 20201228 @tdys13 29
    『AI×医⽤画像』の現状と可能性(2020年下半期)
    まとめ
    ・AIとは深層学習・機械学習×○○の総称
    ・学習⽅法や⽬的に応じて使⽤する技術や，
    使う深層学習モデルを変えていく
    ・初学者向けコンテンツもめちゃくちゃ増えた
    

    View Slide

30. © 20201228 @tdys13 30
    予防・遺伝⼦解析
    診察(問診・検診)
    診断
    治療
    予兆
    多くのジャンルがあるものの、ざっくりとこの５⼯程で分けられると個⼈的に考えます。
    AIの医療応⽤
    

    View Slide

31. © 20201228 @tdys13 31
    予防・遺伝⼦解析
    ◎診察(問診・検診)
    ◎診断
    治療
    予兆
    AI×医⽤画像領域では，診断⽀援の際に⽤いることを前提に
    研究とその後のサービス化・医療機器化されていることが多い
    AIの医療応⽤
    

    View Slide

32. © 20201228 @tdys13 32
    予防・遺伝⼦解析
    診察(問診・検診)
    診断
    治療
    予兆
    2018年までは診断⽀援に関する研究開発がメインだった
    AIの医療応⽤
    

    View Slide

33. © 20201228 @tdys13 33
    予防・遺伝⼦解析
    診察(問診・検診)
    診断
    治療
    予兆
    2019年は診察・診断・治療に関する研究開発、事業開発が多くなった。
    AIの医療応⽤
    

    View Slide

34. © 20201228 @tdys13 34
    予防・遺伝⼦解析
    診察(問診・検診)
    診断
    治療
    予兆
    2020年は診断や治療に関する事業が，
    コロナ関連で問診・診断サービスがたくさん世に出た！
    AIの医療応⽤
    

    View Slide

35. © 20201228 @tdys13 35
    ここからは
    研究発表を⾒ていく中で
    個⼈的に盛り上がっていると
    感じたジャンルを紹介するよ！
    

    View Slide

36. © 20201228 @tdys13 36
    個⼈的に考えた2020年の深層学習×医⽤画像処理のトレンドまとめ①
    ・COVID-19に対する研究スピード
    - 感染者確認後からの世界の動き
    ・⻑年の課題解消に向けて
    - アノテーションのばらつきにどう対処する？
    - アノテーターの学習⽅法込みで学習
    - 少ない医⽤画像に対してどう対処する？
    - 医⽤画像特有の空間分布による学習
    - ⼈体に特化した深層学習モデル
    ・医⽤画像特有のタスク
    - 医⽤画像の位置合わせ(image registration)
    - 不明瞭な対象(臓器)に対するセグメンテーション
    

    View Slide

37. © 20201228 @tdys13 37
    個⼈的に考えた2020年の深層学習×医⽤画像処理のトレンドまとめ②
    ・他技術との融合
    - ⾃然⾔語処理×医⽤画像処理
    - 画像から病変部位を特定し、診断書を⾃動⽣成
    - 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する
    ・今後さらに研究が期待される
    - ⼈体内部の３次元構成研究
    - Transformer系
    ・オープンデータセットやコンペティションの動向
    - 医⽤画像に関するコンペティションが数多く開催された2020年
    - 医⽤画像領域が⾝近になるようなオープンデータセットが数多く登場
    

    View Slide

38. © 20201228 @tdys13 38
    COVID-19に対する研究スピード
    2019.12.08 - 中国・武漢にて初めてCOVID-19感染者が確認．
    2020.01.24 - 中国・武漢での感染者41名の症状を基にしたクリニカルレポートが発表された．
    (2020. 12.28現在 - 論⽂引⽤数20,440件)
    ・引⽤
    Huang, Chaolin, et al.
    "Clinical features of patients infected with 2019 novel coronavirus in Wuhan, China."
    The lancet 395.10223 (2020): 497-506.
    ü 感染者確認後からの世界の動き
    ジャーナル誌
    The lancet掲載
    

    View Slide

39. © 20201228 @tdys13 39
    COVID-19に対する研究スピード
    COVID-19肺炎，インフルエンザA型肺炎，正常肺を分類する深層学習研究が発表された
    (2020.02.21 発表)
    ・引⽤
    Xu, Xiaowei, et al.
    "A deep learning system to screen novel coronavirus disease 2019 pneumonia."
    Engineering (2020).
    ü 感染者確認後からの世界の動き
    感度 精度
    (a)COVID-19, (b)Ful-A, (c)healthy
    

    View Slide

40. © 20201228 @tdys13 40
    COVID-19に対する研究スピード
    ・引⽤
    Xu, Xiaowei, et al.
    "A deep learning system to screen novel coronavirus disease 2019 pneumonia."
    Engineering (2020).
    ü 感染者確認後からの世界の動き
    ・タスク
    Classification(3クラス)
    ・データ
    中国・浙江⼤学附属病院にて収集された胸部CT画像
    Train : 胸部CT画像 - 528症例
    (COVID-19:189症例, flu-A:194症例, healthy:145症例)
    Test： 胸部CT画像 - 90症例
    (COVID-19:30症例, flu-A:30症例, healthy:30症例)
    Model：ResNet-18(⼯夫点を次ページに記載)
    評価⽅法：Recall, Precision, Accuracy, f1-score
    - Recall：COVID-19 = 0.867
    Ful-A = 0.862
    healthy = 0.915
    

    View Slide

41. © 20201228 @tdys13 41
    COVID-19に対する研究スピード
    ・引⽤
    Xu, Xiaowei, et al.
    "A deep learning system to screen novel coronavirus disease 2019 pneumonia."
    Engineering (2020).
    ü 感染者確認後からの世界の動き
    Model：ResNet-18
    ⼯夫点：『エッジからの相対距離』をFC層2層⽬に追加
    胸膜付近に発⽣している影は，COVID-19の可能性が⾼いという臨床情報(2020.02.21当時)を元に追加．
    「エッジからの相対距離」は
    『パッチ画像内の肺の境界から中⼼までの距離(上図-c)』と
    『胸部全体の対⾓線状の距離(上図-d)』より⽐率計算 ．
    

    View Slide

42. © 20201228 @tdys13 42
    臨床にて得られた有益な情報を深層学習部に組み込むことで精度の向上
    COVID-19に対する研究スピード
    ü 感染者確認後からの世界の動き
    Model：ResNet-18
    ⼯夫点：『エッジからの相対距離』をFC層2層⽬に追加
    「エッジからの相対距離」は
    『パッチ画像内の肺の境界から中⼼までの距離(上図-c)』と
    『胸部全体の対⾓線状の距離(上図-d)』より⽐率計算 ．
    ・引⽤
    Xu, Xiaowei, et al.
    "A deep learning system to screen novel coronavirus disease 2019 pneumonia."
    Engineering (2020).
    

    View Slide

43. © 20201228 @tdys13 43
    COVID-19に対する研究スピード
    ü 感染者確認後からの世界の動き
    参考イメージ
    covid-chestxray-dataset/images/000001-1.jpg
    出⼒結果
    (Grad-CAMにて候補部を⾊付け)
    2020.03 には
    ResNet50を⽤いたCOVID-19肺炎 / 市中肺炎 / 通常肺の分類にてAUC 0.96を達成した研究(2020. 03.19)や，
    『X線で撮影されたCOVID-19画像』と『罹患者のメタデータ』に関するオープンデータセット(2020. 03.16)
    なども公開された．
    ・引⽤
    Li, Lin, et al.
    "Artificial intelligence distinguishes COVID-19 from community acquired pneumonia on chest CT."
    Radiology (2020).
    covid-chestxray-dataset
    https://github.com/ieee8023/covid-chestxray-dataset
    

    View Slide

44. © 20201228 @tdys13 44
    COVID-19に対する研究スピード
    ü 感染者確認後からの世界の動き
    参考イメージ
    covid-chestxray-dataset/images/000001-1.jpg
    出⼒結果
    (Grad-CAMにて候補部を⾊付け)
    2020.03 には
    ResNet50を⽤いたCOVID-19肺炎 / 市中肺炎 / 通常肺の分類にてAUC 0.96を達成した研究(2020. 03.19)や，
    『X線で撮影されたCOVID-19画像』と『罹患者のメタデータ』に関するオープンデータセット(2020. 03.16)
    なども公開された．
    ・引⽤
    Li, Lin, et al.
    "Artificial intelligence distinguishes COVID-19 from community acquired pneumonia on chest CT."
    Radiology (2020).
    covid-chestxray-dataset
    https://github.com/ieee8023/covid-chestxray-dataset
    オープンデータセット公開や，従来の研究をCOVID-19へ応⽤した研究が即座に発表された
    

    View Slide

45. © 20201228 @tdys13 45
    COVID-19に対する研究スピード
    突然クイズです
    (⼼の中で答えてください)
    

    View Slide

46. © 20201228 @tdys13 46
    COVID-19に対する研究スピード
    2020. 01.01~2020. 12.21(355⽇間)において
    COVID-19を題材とした機械学習(深層学習含む)×医⽤画像処理論⽂は何本発表された？
    （ ※2020. 1/1~2020. 07/17(198⽇間)では650本でした．
    ※Google Scholarによる集計値です．）
    A. 1500本
    B. 1800本
    C. 2200本
    D. 2500本
    

    View Slide

47. © 20201228 @tdys13 47
    本スライドでは医⽤画像に特化していますが，
    医⽤画像のみならず，全世界がCOVID-19に打ち勝つべく様々な領域で研究をしている．
    COVID-19に対する研究スピード
    2020. 01.01~2020. 12.21(355⽇間)において
    COVID-19を題材とした機械学習(深層学習含む)×医⽤画像処理論⽂は何本発表された？
    （ ※2020. 1/1~2020. 07/17(198⽇間)では650本でした．
    ※Google Scholarによる集計値です．）
    A. 1500本
    B. 1800本
    C. 2200本
    D. 2500本
    

    View Slide

48. © 20201228 @tdys13 48
    Kaggleでは⽶・ホワイトハウスなどが公開したCOVID-19に関するオープンデータセットを始め
    罹患者数予測コンペ，ワクチン開発のためのRNA分解特性推定コンペなどが発表された．
    COVID-19に対する研究スピード(医⽤画像以外)
    引⽤
    COVID19 Global Forecasting(Week1)
    https://www.kaggle.com/c/covid19-global-forecasting-week-1
    COVID-19 Open Research Dataset Challenge(CORD-19)
    https://www.kaggle.com/allen-institute-for-ai/CORD-19-research-challenge
    引⽤
    OpenVaccine: COVID-19 mRNA Vaccine Degradation Prediction
    https://www.kaggle.com/c/stanford-covid-vaccine/
    ü 感染者確認後からの世界の動き
    

    View Slide

49. © 20201228 @tdys13 49
    ⻑年の課題解消に向けて
    複数のアノテーターによるアノテーションのばらつきや癖も学習することで，
    “より信頼性の⾼いアノテーション領域”を推測するloss(noisy label loss)の提案．
    ・引⽤
    Zhang, Le, et al.
    "Disentangling Human Error from the Ground Truth in Segmentation of Medical Images."
    arXiv preprint arXiv:2007.15963 (2020).
    https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images
    ü アノテーションのばらつきにどう対処する？
    NeurlPS2020 accepted
    

    View Slide

50. © 20201228 @tdys13 50
    ⻑年の課題解消に向けて
    ü アノテーションのばらつきにどう対処する？
    ・どんな研究？
    同⼀画像を複数⼈にアノテーションされた場合に
    ⽣じるばらつきの中からアノテーションの信頼性を類推し，
    それらから “より信頼性の⾼いアノテーション領域”を
    算出する学習⼿法(loss)の提案．
    ・どんなアノテーターを想定？
    GT(ground-truth)に忠実なアノテーター
    オーバーセグメンテーション気味なアノテーター
    アンダーセグメンテーション気味なアノテーター
    間違ったセグメンテーションを⾏うアノテーター
    常に全てを背景としてアノテーションするアノテーター
    画像から擬似的に⽣成する．
    ・引⽤
    Zhang, Le, et al.
    "Disentangling Human Error from the Ground Truth in Segmentation of Medical Images."
    arXiv preprint arXiv:2007.15963 (2020).
    https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images
    様々なアノテーターに付けられたバラバラなアノテーション画像を想定し，
    その中から“より信頼性の⾼いアノテーション領域”を抽出する
    

    View Slide

51. © 20201228 @tdys13 51
    ⻑年の課題解消に向けて
    ü アノテーションのばらつきにどう対処する？
    ・noisy label lossの算出⽅法は？
    ⼯程1. 対象画像のセグメンテーションを⾏うSegmentation CNN
    (通常のセグメンテーション)
    ⼯程2. ⼊⼒画像のピクセルごとの混合⾏列を推定することで
    個々のアノテーターの特性を学習するAnnotation CNN
    (各アノテーターの癖を混合⾏列で表現)
    ⼯程3. ⼯程1.と⼯程2.の出⼒を掛け合わせ，
    各アノテーターが付けうるアノテーションの予測を出⼒．
    ⼯程4. 各アノテータがつけた正解ラベルと⼯程3.より算出された
    出⼒値を元にCross Entropy Lossを算出
    ⼯程5. ⼯程2.の算出値の平均と⼯程4.の出⼒の総和を
    最終的なloss(noisy label loss)として与える．
    ・引⽤
    Zhang, Le, et al.
    "Disentangling Human Error from the Ground Truth in Segmentation of Medical Images."
    arXiv preprint arXiv:2007.15963 (2020).
    https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images
    “より信頼性の⾼いアノテーション領域”を抽出するための損失関数が提案された
    

    View Slide

52. © 20201228 @tdys13 52
    アノテーターの癖も学習することで，
    “より信頼性の⾼いアノテーション領域”を得られる事が分かった
    ⻑年の課題解消に向けて
    ü アノテーションのばらつきにどう対処する？
    ・引⽤
    Zhang, Le, et al.
    "Disentangling Human Error from the Ground Truth in Segmentation of Medical Images."
    arXiv preprint arXiv:2007.15963 (2020).
    https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images
    

    View Slide

53. © 20201228 @tdys13 53
    ⻑年の課題解消に向けて
    『同じ領域の医⽤画像データセットでは両データ間に共通する”不変的な特徴”が存在する』という前提のもと，
    あるデータセットに存在する『その疾患に不変的な特徴』を学習し，別のデータセットに適応させる研究
    ・引⽤
    Li, Haoliang, et al.
    "Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization.”
    Advances in Neural Information Processing Systems 33 (2020).
    https://github.com/wyf0912/LDDG
    ü 医⽤画像特有の不変的な特徴を学習する
    ざっくりとしたイメージ図
    ※Domain Generalizationとは…
    ⼈間が写真の⽝，イラストの⽝を同じ”⽝”と捉えるように
    AIにも，別のドメイン上(ex:イラストと写真など)の
    同じ対象物に対して認識が⼀致するように，
    不変的な特徴を学習させる⼿法
    NeurlPS2020 accepted
    

    View Slide

54. © 20201228 @tdys13 54
    ⻑年の課題解消に向けて
    ・引⽤
    Li, Haoliang, et al.
    "Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization.”
    Advances in Neural Information Processing Systems 33 (2020).
    ü 医⽤画像特有の不変的な特徴を学習する
    ・どんな研究？
    医⽤画像における『不変的な特徴』を抽出して
    分類・セグメンテーション実験に適応した
    ・対象領域は？
    医⽤画像全般，実験では⽪膚がん及び脊髄
    ・どうやってDomain Generalizationするの？
    VAE, 線形モジュール(conv層，Linear層)のみを⽤いたNNを
    ⽤いる事で特徴空間を学習させる．
    学習させた重みを⽤いて各タスクのモデルに転⽤する．
    ある病院で脊髄灰⽩質を撮影したMR画像から不変的な特徴を学習し
    別の4病院にて撮影した脊髄灰⽩質をセグメンテーションした結果
    ある病院にて撮影されたMR画像から脊髄灰⽩質の“普遍的な特徴”を学習し，
    別の病院にて撮影されたMR画像に映る脊髄灰⽩質をセグメンテーションする
    ・引⽤
    https://github.com/wyf0912/LDDG
    

    View Slide

55. © 20201228 @tdys13 55
    従来の膨⼤な画像を⽤いた事前学習(ImageNetなど)ではなく，
    新規⼿法としてDomain Generalizationを⽤いた不変的な特徴での学習を提案した
    ⻑年の課題解消に向けて
    ü 医⽤画像特有の不変的な特徴を学習する
    ・どんな研究？
    医⽤画像における『不変的な特徴』を抽出して
    分類・セグメンテーション実験に適応した
    ・対象領域は？
    医⽤画像全般，実験では⽪膚がん及び脊髄
    ・使⽤モデルは？
    Classification：ResNet18
    Segmentation：U-Net
    ・検証⽅法は？
    各タスクにおいて評価指標を設けた
    Classification：Recall
    Segmentation：Dice係数，TPRなど含めた5種類
    ・引⽤
    Li, Haoliang, et al.
    "Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization.”
    Advances in Neural Information Processing Systems 33 (2020).
    ・引⽤
    https://github.com/wyf0912/LDDG
    

    View Slide

56. © 20201228 @tdys13 56
    ⻑年の課題解消に向けて
    ImageNetの医⽤画像版．
    3D医⽤画像を事前学習することで，
    2D/2.5D/3Dの医⽤画像においても精度向上を実現したAIモデルの提案．
    ・引⽤
    Zhou, Zongwei, et al.
    "Models Genesis."
    arXiv preprint arXiv:2004.07882 (2020).
    ・https://github.com/MrGiovanni/ModelsGenesis
    ü ⼈体に特化した深層学習モデル
    MICCAI2019 accepted(Best Young Scientist Award)
    ジャーナル誌 Medical Image Analysis(MedIA)
    MICCAI2020 (MedIA Best Paper Award)
    

    View Slide

57. © 20201228 @tdys13 57
    ⻑年の課題解消に向けて
    ・引⽤
    Zhou, Zongwei, et al.
    "Models Genesis."
    arXiv preprint arXiv:2004.07882 (2020).
    ü ⼈体に特化した深層学習モデル
    ・どんな研究？
    Genesis Chest CT / Genesis Chest X-rayの2種類の提案．
    様々な領域の3D医⽤画像を事前学習・転移学習することで
    どんな医⽤画像でもロバストなセグメンテーション・分類を
    可能にした研究．
    さらに2D/2.5Dに対してもImageNetでの事前学習モデル以上の
    精度を出すことを確認
    ・対象領域は？
    医⽤画像全般(CT画像/X線画像)
    ・使⽤モデルは？
    U-Net
    (Encoder部分のbackboneは様々．主に3D-ResNet101)
    3次元医⽤画像で学習することで，3次元特徴を2次元/2.5次元に対しても
    適応できることを確認した
    ・引⽤
    ・https://github.com/MrGiovanni/ModelsGenesis
    

    View Slide

58. © 20201228 @tdys13 58
    ⻑年の課題解消に向けて
    ü ⼈体に特化した深層学習モデル
    ・どうやって学習する？
    ⼯程1. ⽤意した医⽤画像(Axial⾯, Sagittal⾯, Coronal⾯)に
    様々な画像変換を施す(前処理)
    ⼯程2. ⼯程1.で前処理された画像をU-Netの⼊⼒として
    元画像へと戻すように画像の再構成を⾏う．
    ⼯程3. Encoder部分をClassificationモデル，
    Encoder-Decoder部分をSegmentationモデルとして
    使⽤する
    前処理で加⼯した画像を元画像へ再現する⼯程を通して
    モデル⾃⾝が医⽤画像の特徴を学習していく
    ・引⽤
    Zhou, Zongwei, et al.
    "Models Genesis."
    arXiv preprint arXiv:2004.07882 (2020).
    ・引⽤
    ・https://github.com/MrGiovanni/ModelsGenesis
    

    View Slide

59. © 20201228 @tdys13 59
    ⻑年の課題解消に向けて
    ・引⽤
    Zhou, Zongwei, et al.
    "Models Genesis."
    arXiv preprint arXiv:2004.07882 (2020).
    ü ⼈体に特化した深層学習モデル
    ・どんな画像を事前学習・転移学習しているの？
    [ Genesis Chest CT ]
    事前学習：胸部CT画像のオープンデータセットである
    LUNA2016より623症例のCT画像
    [ Genesis X-ray ]
    事前学習：胸部X線画像のオープンデータセットである
    ChestX-ray8
    [ 共通 ]
    転移学習：各領域に応じてTrain, Testを⾏う
    脳腫瘍オープンデータセット(BraTS2018)、
    肝臓腫瘍データセット(MICCAI Lits2017)、
    肺結節オープンデータセット(LUNA2016)、
    肺結節オープンデータセット(LIDC-IDRI)
    事前学習の重み，コードはgithubにて公開中(商⽤利⽤不可)
    ・引⽤
    ・https://github.com/MrGiovanni/ModelsGenesis
    

    View Slide

60. © 20201228 @tdys13 60
    ⻑年の課題解消に向けて
    ・引⽤
    https://github.com/Tencent/MedicalNet
    https://niftynet.io/
    ü ⼈体に特化した深層学習モデル
    その他にもTencent/MedicalNetやNiftyNetなどが医⽤画像事前学習モデルとして公開されている．
    (論⽂の⽐較実験より，ModelGenesisの⽅が軽量とのこと)
    

    View Slide

61. © 20201228 @tdys13 61
    医⽤画像特有のタスク
    ・引⽤
    Xu, Zhe, et al.
    "Adversarial uni-and multi-modal stream networks for multimodal image registration."
    International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020.
    ü 医⽤画像の位置合わせ(image registration)
    MICCAI2020 accpeted
    CT画像とMR画像の位置合わせ，及び
    動いた部分のCT画像やMR画像の修正⽅法を新規提案のCycle-GANを⽤いて提案
    ※image registrationとは？なぜ⾏う？
    ①呼吸したり動くことで，撮像された際にぶれるのを修正する⽬的．
    ②同じ患者のCT画像とMR画像をより正確に⾒⽐べる際に
    きちんと位置情報を合わせる必要がある
    

    View Slide

62. © 20201228 @tdys13 62
    Image RegistrationはMICCAIなどの国際学会でもセッションが
    満員になるくらい注⽬されている領域．今後もさらに発展が⾒込まれる．
    医⽤画像特有のタスク
    ü 医⽤画像の位置合わせ(image registration)
    ・どんな研究？
    CTtoMRの位置合わせ，及び動いたCT/MR画像の修正
    ・対象領域は？
    腹部CT/MR画像
    ・使⽤モデルは？
    論⽂にて提案した新規Cycle-GAN
    ・検証⽅法は？
    Dice係数，TREなど
    提案⽅法
    ・引⽤
    Xu, Zhe, et al.
    "Adversarial uni-and multi-modal stream networks for multimodal image registration."
    International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020.
    

    View Slide

63. © 20201228 @tdys13 63
    医⽤画像特有のタスク
    ・引⽤
    Lee, Hong Joo, et al.
    "Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary."
    Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
    ü 不明瞭な対象(臓器)に対するセグメンテーション
    CVPR2020 accpeted
    医⽤画像に映る曖昧な臓器の境界をきちんと学習しセグメンテーションをする新規⼿法の提案
    

    View Slide

64. © 20201228 @tdys13 64
    医⽤画像特有のタスク
    ・どんな研究？
    曖昧な臓器の境界まで学習してセグメンテーションする研究
    ・対象領域は？
    医⽤画像全般
    ・提案部分は？
    曖昧な境界を学習するために，
    『境界を保存する機構-BPB(Boundary Preserving Block)』，
    『保存された境界から最適なものを探索する機構
    - Boundary Key point selection module』
    『上記2つの境界部と正解ラベルを⽐べ
    フィードバックを送る機構
    - SBE(Shape Boundary-aware Evaluator) 』
    の3つが存在する
    ü 不明瞭な対象(臓器)に対するセグメンテーション
    ・引⽤
    Lee, Hong Joo, et al.
    "Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary."
    Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
    ⾒慣れないと分からない程の“曖昧な臓器”の境界部分を
    推測⇄フィードバックを通して鮮明にしていく
    

    View Slide

65. © 20201228 @tdys13 65
    医⽤画像特有のタスク
    ü 不明瞭な対象(臓器)に対するセグメンテーション
    ・引⽤
    Lee, Hong Joo, et al.
    "Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary."
    Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
    BPB(境界保存機構)とSBE(フィードバックを送る機構)
    を追加することでどんなモデルでもセグメンテーション精度(Dice値)が向上することが判明．
    ⽪膚がんデータセット
    経膣超⾳波検査のデータセット
    

    View Slide

66. © 20201228 @tdys13 66
    『AI×医⽤画像』の現状と可能性(2020年下半期)
    まとめ
    ・COVID-19を対象とした研究は引き続き急務として⾏われる
    ・医⽤画像の課題として画像数の不⾜，ラベルノイズなどが存在する
    それらを解決するための新提案研究などが活発
    ・研究者が増えたことで，
    優先度は⾼めだけど緊急性の低い研究テーマなどもどんどん活発化
    

    View Slide

67. © 20201228 @tdys13 67
    他技術との融合(医⽤画像処理×⾃然⾔語処理)
    ・引⽤
    Yuan, Jianbo, et al.
    "Automatic radiology report generation based on multi-view image fusion and medical concept enrichment."
    International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.
    ü 画像から病変部位を特定し、診断書を⾃動⽣成
    CVPR2019 accpeted
    患者の画像から病変部位を予測し，診断書を⾃動⽣成する研究
    

    View Slide

68. © 20201228 @tdys13 68
    他技術との融合(医⽤画像処理×⾃然⾔語処理)
    ・引⽤
    Yuan, Jianbo, et al.
    "Automatic radiology report generation based on multi-view image fusion and medical concept enrichment."
    International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.
    ü 画像から病変部位を特定し、診断書を⾃動⽣成
    ・どんな研究？
    医⽤画像を学習・病変予測をすると同時に
    医⽤画像から概念を抽出し
    最終的に放射線科医の診断書を⾃動⽣成する研究
    ・対象領域は？
    胸部X線&診断書
    ・使⽤データセットは？
    事前学習：CheXpert，Indiana University Chest X-ray．
    Train & Test：IU-RR(放射線検査集, 画像と診断書のセット)
    ・検証⽅法は？
    医⽤画像：AUC
    ⾃然⾔語：BLEU Score
    提案モデル
    医⽤画像とペアになる診断書を学習することで，
    医⽤画像から診断書に必要なワードの類推などを⾏い，最終的に診断書作成までを⾏う
    

    View Slide

69. © 20201228 @tdys13 69
    他技術との融合(医⽤画像処理×⾃然⾔語処理)
    ・引⽤
    Yuan, Jianbo, et al.
    "Automatic radiology report generation based on multi-view image fusion and medical concept enrichment."
    International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.
    ü 画像から病変部位を特定し、診断書を⾃動⽣成
    『医⽤画像の病変部分』と『⾔語情報』を紐付けて学習することで，
    最終的に放射線の診断書を⾃動⽣成することを可能にした
    提案モデル
    ・どんな研究？
    医⽤画像を学習・病変予測をすると同時に
    医⽤画像から概念を抽出し
    最終的に放射線科医の診断書を⾃動⽣成する研究
    ・対象領域は？
    胸部X線&診断書
    ・使⽤データセットは？
    事前学習：CheXpert，Indiana University Chest X-ray．
    Train & Test：IU-RR(放射線検査集, 画像と診断書のセット)
    ・検証⽅法は？
    医⽤画像：AUC
    ⾃然⾔語：BLEU Score
    

    View Slide

70. © 20201228 @tdys13 70
    他技術との融合(医⽤画像処理×⾃然⾔語処理)
    ・引⽤
    Zhang, Yuhao, et al.
    "Contrastive Learning of Medical Visual Representations from Paired Images and Text."
    arXiv preprint arXiv:2010.00747 (2020).
    ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する①
    医⽤画像(ラベル不使⽤)とテキストデータの⾃然なペアデータから
    医⽤画像の病変を推測する教師なし学習の提案
    

    View Slide

71. © 20201228 @tdys13 71
    他技術との融合(医⽤画像処理×⾃然⾔語処理)
    ・引⽤
    Zhang, Yuhao, et al.
    "Contrastive Learning of Medical Visual Representations from Paired Images and Text."
    arXiv preprint arXiv:2010.00747 (2020).
    ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する①
    ・どんな研究？
    医⽤画像とペアになるテキストデータから学習し
    画像内の疾患候補部位を推測する研究
    ・対象領域は？
    胸部X線&テキストデータ
    ・使⽤モデルは？
    ConVIRT
    Image Encoder : ResNet50
    Text Encoder : BERT encoder
    ・⼯夫点は？
    Image-to-text loss / text-to-image loss
    2つを組み合わせた final train lossの提案
    提案モデル ConVIRT
    ⾃然⾔語の学習部分にBERTを組み込んだ．
    BERTとは⾃然⾔語領域にてSoTAを更新したモデル
    

    View Slide

72. © 20201228 @tdys13 72
    他技術との融合(医⽤画像処理×⾃然⾔語処理)
    ・引⽤
    Zhang, Yuhao, et al.
    "Contrastive Learning of Medical Visual Representations from Paired Images and Text."
    arXiv preprint arXiv:2010.00747 (2020).
    ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する①
    ・どんな研究？
    医⽤画像とペアになるテキストデータから学習し
    画像内の疾患候補部位を推測する研究
    ・対象領域は？
    胸部X線&テキストデータ
    ・使⽤モデルは？
    ConVIRT
    Image Encoder : ResNet50
    Text Encoder : BERT encoder
    ・⼯夫点は？
    Image-to-text loss / text-to-image loss
    2つを組み合わせた final train lossの提案
    提案モデル ConVIRT
    ⾃然⾔語部分のlossと医⽤画像部分のlossを組み合わせて共に学習を実施．
    

    View Slide

73. © 20201228 @tdys13 73
    他技術との融合(医⽤画像処理×⾃然⾔語処理)
    ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する①
    ・使⽤データセットは？
    事前学習
    - MIMIC-CXR(画像とテキストのペアデータ)
    - private dataset(画像とテキストのペアデータ)
    Image classification(画像のクラス分類)
    - RSNA Pueumonia Detection (肺炎 / 正常)
    - CheXpert (14クラス)
    - COVIDx (COVID-19肺炎, 肺炎, 正常肺 )
    - MURA(筋⾻格の異常/正常)
    image-image Retrieval(⼊⼒画像に近しい画像探索)
    - CheXpert 8x200 Retrieval Dataset
    Text-image Retrieval(⼊⼒画像の概要に近しい画像探索)
    - CheXpert 8x200 Retrieval Dataset
    事前学習あり
    事前学習なし
    医⽤画像とテキストデータのペア学習は，
    画像分類タスクにおいて⾼い性能を⽰す事ができた
    ・引⽤
    Zhang, Yuhao, et al.
    "Contrastive Learning of Medical Visual Representations from Paired Images and Text."
    arXiv preprint arXiv:2010.00747 (2020).
    

    View Slide

74. © 20201228 @tdys13 74
    他技術との融合(医⽤画像処理×⾃然⾔語処理)
    ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する①
    ・使⽤データセットは？
    事前学習
    - MIMIC-CXR(画像とテキストのペアデータ)
    - private dataset(画像とテキストのペアデータ)
    Image classification(画像のクラス分類)
    - RSNA Pueumonia Detection (肺炎 / 正常)
    - CheXpert (14クラス)
    - COVIDx (COVID-19肺炎, 肺炎, 正常肺 )
    - MURA(筋⾻格の異常/正常)
    image-image Retrieval(⼊⼒画像に近しい画像探索)
    - CheXpert 8x200 Retrieval Dataset
    Text-image Retrieval(⼊⼒画像の概要に近しい画像探索)
    - CheXpert 8x200 Retrieval Dataset
    事前学習あり
    事前学習なし
    COVID-19などの新規感染症に対しても効果が出る事が判明した．
    ・引⽤
    Zhang, Yuhao, et al.
    "Contrastive Learning of Medical Visual Representations from Paired Images and Text."
    arXiv preprint arXiv:2010.00747 (2020).
    

    View Slide

75. © 20201228 @tdys13 75
    他技術との融合(医⽤画像処理×⾃然⾔語処理)
    ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する①
    ・使⽤データセットは？
    事前学習
    - MIMIC-CXR(画像とテキストのペアデータ)
    - private dataset(画像とテキストのペアデータ)
    Image classification(画像のクラス分類)
    - RSNA Pueumonia Detection (肺炎 / 正常)
    - CheXpert (14クラス)
    - COVIDx (COVID-19肺炎, 肺炎, 正常肺 )
    - MURA(筋⾻格の異常/正常)
    image-image Retrieval(⼊⼒画像に近しい画像探索)
    - CheXpert 8x200 Retrieval Dataset
    Text-image Retrieval(⼊⼒画像の概要に近しい画像探索)
    - CheXpert 8x200 Retrieval Dataset
    画像探索においても有⽤だと判明した．
    ・引⽤
    Zhang, Yuhao, et al.
    "Contrastive Learning of Medical Visual Representations from Paired Images and Text."
    arXiv preprint arXiv:2010.00747 (2020).
    

    View Slide

76. © 20201228 @tdys13 76
    他技術との融合(医⽤画像処理×⾃然⾔語処理)
    ・引⽤
    Zhang, Yuhao, et al.
    "Contrastive Learning of Medical Visual Representations from Paired Images and Text."
    arXiv preprint arXiv:2010.00747 (2020).
    ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する①
    ・使⽤データセットは？
    事前学習
    - MIMIC-CXR(画像とテキストのペアデータ)
    - private dataset(画像とテキストのペアデータ)
    Image classification(画像のクラス分類)
    - RSNA Pueumonia Detection (肺炎 / 正常)
    - CheXpert (14クラス)
    - COVIDx (COVID-19肺炎, 肺炎, 正常肺 )
    - MURA(筋⾻格の異常/正常)
    image-image Retrieval(⼊⼒画像に近しい画像探索)
    - CheXpert 8x200 Retrieval Dataset
    Text-image Retrieval(⼊⼒画像の概要に近しい画像探索)
    - CheXpert 8x200 Retrieval Dataset
    ImageNetではなく医⽤画像&テキストデータで事前学習することで
    より近しい表現同⼠に収束する事が分かった
    

    View Slide

77. © 20201228 @tdys13 77
    他技術との融合(医⽤画像処理×⾃然⾔語処理)
    ・引⽤
    Tam, Leo K., et al.
    "Weakly supervised one-stage vision and language disease detection using large scale pneumonia and pneumothorax studies."
    International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020.
    ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する②
    医⽤画像(ラベル不使⽤)とテキストデータをそれぞれ学習し，画像内の病変を特定する研究
    MICCAI2020 accpeted
    

    View Slide

78. © 20201228 @tdys13 78
    他技術との融合(医⽤画像処理×⾃然⾔語処理)
    ・引⽤
    Tam, Leo K., et al.
    "Weakly supervised one-stage vision and language disease detection
    using large scale pneumonia and pneumothorax studies."
    International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020.
    ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する②
    ・どんな研究？
    医⽤画像とペアになるテキストデータをそれぞれ学習し
    最終的に画像内の疾患候補部位を特定する研究
    ・対象領域は？
    胸部X線&テキストデータ
    ・使⽤モデルは？
    提案モデル ‒ LITERATI
    YOLO v3 / BERT
    ・評価指標は？
    IOU
    提案モデル - LITERATI
    ⾃然⾔語部分にBERTを使⽤
    医⽤画像とテキストデータより疾患部位を特定する
    

    View Slide

79. © 20201228 @tdys13 79
    他技術との融合(医⽤画像処理×⾃然⾔語処理)
    ・引⽤
    Tam, Leo K., et al.
    "Weakly supervised one-stage vision and language disease detection using large scale pneumonia and pneumothorax studies."
    International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020.
    ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する②
    ・使⽤データセットは？
    ChestXray-14
    MIMIC-CXR
    ・実験結果
    Scene Label(ラベルが疾患名称データのみ)では
    提案⼿法がIOU(0.1~0.3)は⾼い．
    Scene Label(疾患名称データのみ)
    Referring expression(疾患の状態データ)
    Referring disease emphasis(疾患名称と位置のデータ)
    の⽐較では
    Referring disease emphasis(疾患の名称と位置データ)が
    最も精度に影響する
    疾患名称のみでもある程度の精度が出る事が判明
    現状は疾患の状態データより，疾患の名称+位置データが精度に直結する
    Scene Label
    Whole Label
    

    View Slide

80. © 20201228 @tdys13 80
    今度さらに研究が期待される領域
    ・引⽤
    Ozyoruk, Kutsev Bengisu, et al.
    "Quantitative Evaluation of Endoscopic SLAM Methods: EndoSLAM Dataset.”
    arXiv preprint arXiv:2006.16670 (2020).
    https://github.com/CapsuleEndoscope/EndoSLAM
    ü 臓器内部の３次元構成研究
    豚の臓器(not ⼈体)を対象とした内視鏡SLAMデータセット
    ※SLAM(Simultaneous Localization And Mapping)とは
    ⾃⼰位置推定と環境地図作成に⽤いられる技術です．
    ルンバが迷わずにお掃除できるのもSLAM技術のおかげ
    

    View Slide

81. © 20201228 @tdys13 81
    今度さらに研究が期待される領域
    ü 臓器内部の３次元構成研究
    ⼈体内部の臓器を3次元再構成&経路を可視化．
    リアルタイムで⼈体内部から経路作成&3次元再構成が可能になったらどんな技術⾰新が起こる？
    ・引⽤
    Ozyoruk, Kutsev Bengisu, et al.
    "Quantitative Evaluation of Endoscopic SLAM Methods: EndoSLAM Dataset.”
    arXiv preprint arXiv:2006.16670 (2020).
    https://github.com/CapsuleEndoscope/EndoSLAM
    

    View Slide

82. © 20201228 @tdys13 82
    今度さらに研究が期待される領域
    ・引⽤
    Devlin, Jacob, et al.
    "Bert: Pre-training of deep bidirectional transformers for language understanding."
    arXiv preprint arXiv:1810.04805 (2018).
    ü Transformer系
    他領域で話題となった技術が医⽤画像処理領域にも今後⼊ってくる
    (すでに⾃然⾔語×医⽤画像処理などの新ジャンルにおいて活⽤され始めている)
    ⾃然⾔語領域で話題となったBERT(Transformer系)
    Transformer系を画像処理に適応したViT
    ・引⽤
    Dosovitskiy, Alexey, et al.
    "An image is worth 16x16 words: Transformers for image recognition at scale."
    arXiv preprint arXiv:2010.11929 (2020).
    

    View Slide

83. © 20201228 @tdys13 83
    オープンデータセットやコンペティションの動向
    前⽴腺癌のグレードを分類するコンペ*1
    ，⽪膚病変を分類するコンペ*2
    、
    CT画像から肺活量を予測するコンペ*3
    が2020年上半期で開催された。
    引⽤：
    ・Kaggle Prostate cANcer graDe Assessment Challenge
    https://www.kaggle.com/c/prostate-cancer-grade-assessment
    ・ SIIM-ISIC Melanoma Classification
    https://www.kaggle.com/c/siim-isic-melanoma-classification
    ・ OSIC Pulmonary Fibrosis Progression
    https://www.kaggle.com/c/osic-pulmonary-fibrosis-progression/overview
    ü 医⽤画像に関するコンペティションが数多く開催された2020年
    

    View Slide

84. © 20201228 @tdys13 84
    前⽴腺癌のグレードを分類するコンぺでは
    上位10チームのうち1、４、６位が⽇本⼈所属チームとなった(全世界から1010チーム参加)
    オープンデータセットやコンペティションの動向
    引⽤：
    ・Kaggle Prostate cANcer graDe Assessment Challenge
    https://www.kaggle.com/c/prostate-cancer-grade-assessment
    ü 医⽤画像に関するコンペティションが数多く開催された2020年
    

    View Slide

85. © 20201228 @tdys13 85
    オープンデータセットやコンペティションの動向
    CT画像から肺塞栓症が存在するかどうかを予測するコンペ*1
    ，
    腎臓の病理画像からPAS染⾊された顕微鏡データ中の⽷球体をセグメンテーションするコンペ*2
    、
    胸部X線画像からカテーテルとラインを検出するコンペ*3
    が2020年下半期で開催されている。
    引⽤：
    ・Kaggle RSNA STR Pulmonary Embolism Detection
    https://www.kaggle.com/c/rsna-str-pulmonary-embolism-detection
    ・Kaggle HuBMAP Hacking the Kidney
    https://www.kaggle.com/c/hubmap-kidney-segmentation
    ・Kaggle RANZCR CLiP ‒ Catheter and Line position Challenge
    https://www.kaggle.com/c/ranzcr-clip-catheter-line-classification
    ü 医⽤画像に関するコンペティションが数多く開催された2020年
    

    View Slide

86. © 20201228 @tdys13 86
    CT画像から肺塞栓症が存在するかどうかを予測するコンペでは
    上位10チーム中の４、６、８、９位が⽇本⼈所属チームとなった(全世界から784チーム参加)
    オープンデータセットやコンペティションの動向
    引⽤：
    ・ Kaggle RSNA STR Pulmonary Embolism Detection
    https://www.kaggle.com/c/rsna-str-pulmonary-embolism-detection/leaderboard
    ü 医⽤画像に関するコンペティションが数多く開催された2020年
    

    View Slide

87. © 20201228 @tdys13 87
    オープンデータセットやコンペティションの動向
    引⽤：
    https://grand-challenge.org/
    ü 医⽤画像に関するコンペティションが数多く開催された2020年
    GrandChallengeでは21の医⽤画像コンペが開催された
    

    View Slide

88. © 20201228 @tdys13 88
    オープンデータセットやコンペティションの動向
    引⽤：
    https://medmnist.github.io/
    ü 医⽤画像領域が⾝近になるようなオープンデータセットが数多く登場
    医⽤画像版MNIST ‒ MedMNIST (2020.11 公開開始)
    ラベル付けもされており数も多い．28x28のサイズだが⼯夫すれば発展の可能性に満ちてる
    

    View Slide

89. © 20201228 @tdys13 89
    オープンデータセットやコンペティションの動向
    引⽤：
    https://github.com/lindawangg/COVID-Net
    ü 医⽤画像領域が⾝近になるようなオープンデータセットが数多く登場
    COVID-Net(カナダのスタートアップ企業が主導してるオープンソース)
    ⾃⾝でデータセットを収集できる
    

    View Slide

90. © 20201228 @tdys13 90
    『AI×医⽤画像』の現状と可能性(2020年下半期)
    まとめ
    ・医⽤画像×⾃然⾔語処理などの技術領域横断研究が増えた
    →より現場で必要な複雑性に対応する研究が増えていく？
    ・深層学習×医⽤画像の領域でも，すぐには応⽤できないけれども
    今後必要になりうるテーマが研究され始めた
    ・いろんなコンペで医⽤画像やCOVID-19題材のコンペが⾏われた
    

    View Slide

91. © 20201228 @tdys13
    2.
    3.
    4.
    1.
    91
    ⾃⼰紹介
    世界の研究トレンド紹介
    - 医⽤画像関連研究紹介
    ⽇本のビジネストレンド紹介2020
    - 部位別カオスマップ，技術紹介
    まとめ
    

    View Slide

92. © 20201228 @tdys13 92
    近年の医療AIに関して
    2020年はついに
    ⽇本でも医療AIの
    ⼤合戦がついに起きるぞ
    (と、2019年頃から思っていた)
    

    View Slide

93. © 20201228 @tdys13 93
    2020年のAI×医⽤画像に関する論⽂はDeepMindからスタートした(2020年1⽉1⽇発表@nature)
    2020年の医療AI
    引⽤：
    McKinney, Scott Mayer, et al.
    "International evaluation of an AI system for breast cancer screening."
    Nature 577.7788 (2020): 89-94.
    

    View Slide

94. © 20201228 @tdys13 94
    世界的にも引き続きヘルスケア・AI領域への投資額は伸びている
    AIを⽤いた診断領域の市場
    ・引⽤
    Healthcare AI Trends To Watch
    https://www.cbinsights.com/research/report/ai-trends-healthcare/
    

    View Slide

95. © 20201228 @tdys13 95
    しかし2019年末から中国・武漢を発祥源としてCOVID-19が世界的⼤流⾏。
    COVID19
    引⽤：
    新型コロナウイルスに関連した患者の発⽣について
    https://www.bousai.metro.tokyo.lg.jp/taisaku/saigai/1007261/1007264.html
    

    View Slide

96. © 20201228 @tdys13 96
    ⽇本でも罹患者が。
    緊急事態であるが故に厚労省よりCOVID-19関連医薬品の優先審査が発表された(2020.04.13)
    COVID19
    引⽤：
    新型コロナウイルス感染症の発⽣に伴う 当⾯の医薬品、医療機器、体外診断⽤医薬品及び
    再⽣医療等製品の 承認審査に関する取扱いについて
    https://www.pmda.go.jp/files/
    000234904.pdf?fbclid=IwAR0Ln3WkVneZLMW6akrEF1JIDuBHw7WcBGJ_aI9UveW1K75wt75qRZ-3S5s
    

    View Slide

97. © 20201228 @tdys13 97
    近年の医療AIに関して
    『あれ．．．
    どうなるの？？』
    と⼼配したものの，
    各社&世界の研究は加速．
    ということで..
    

    View Slide

98. © 20201228 @tdys13 98
    ⽇本ではCOVID19を題材に医療AIで
    どんな取り組みをしてるの？
    (密を防ぐおばちゃん達)
    

    View Slide

99. © 20201228 @tdys13 99
    COVID19を題材とした⽇本における医療AI(会社⼀覧)
    2020 1228 とどろき調べ
    

    View Slide

100. © 20201228 @tdys13 100
     COVID19を題材とした⽇本における医療AI(会社×提携先or共同研究先)
     2020 1228 とどろき調べ
     

     View Slide

101. © 20201228 @tdys13 101
     COVID19を題材とした⽇本における医療AI
     とどろきが個⼈的に調べたものなので不⾜等あると思います！
     不⾜分は勉強させてください！！
     ここのリスト、16企業+α
     ⼀挙に紹介するよ！！
     (上半期スライドで紹介したものはサクッと紹介)
     

     View Slide

102. © 20201228 @tdys13 102
     COVID19を題材とした⽇本における医療AI
     [ エムスリー株式会社 × Alibaba Cloud(中国) ]
     COVID-19肺炎画像解析プログラム Ali-M3
     プログラム医療機器薬事承認&提供開始
     ・⼀⾔
     - クラウド型AIタイプのプログラム医療機器
     - 中国で提供されているAIを
     ⽇本で臨床試験を⾏い、薬事申請
     引⽤
     エムスリーとアリババクラウド
     AI医療技術「COVID-19肺炎画像解析プログラム Ali-M3」医療機器製造販売の承認取得・提供開始
     ・https://corporate.m3.com/press_release/2020/20200629_001616.html
     

     View Slide

103. © 20201228 @tdys13 103
     COVID19を題材とした⽇本における医療AI
     [ 株式会社CESデカルト × InferVision (中国)]
     肺画像解析プログラム InferRead CT Pneumonia
     プログラム医療機器薬事承認&提供開始
     引⽤
     CESデカルト
     COVID-19 感染症に関係する症状を対象とした医療機器承認取得
     http://desc.co.jp/covid-19/
     ・⼀⾔
     - ⽇本初、COVID19関連で承認されたプログラム医療機器
     - 中国で提供されているAIを
     ⽇本で臨床試験を⾏い、薬事申請
     

     View Slide

104. © 20201228 @tdys13 104
     COVID19を題材とした⽇本における医療AI
     [ 富⼠フイルム株式会社 ×京都⼤学]
     AI技術を⽤いた新型コロナウイルス肺炎の診断⽀援技術開発を開始
     引⽤
     富⼠フィルム株式会社
     AI技術を⽤いた新型コロナウイルス肺炎の診断⽀援技術開発を開始
     https://www.fujifilm.com/jp/ja/news/list/4968
     ・⼀⾔
     - 京都⼤学と共同研究をしていた間質性肺炎の
     定量化技術をCOVID19向けに活⽤
     

     View Slide

105. © 20201228 @tdys13 105
     COVID19を題材とした⽇本における医療AI
     [ 株式会社NTTデータ ×DeepTek(インド)]
     AI技術を⽤いた新型コロナウイルス肺炎の診断⽀援技術開発を開始
     引⽤
     AIを搭載した画像診断⽀援ソリューションがCOVID-19の診断⽀援に貢献
     インドにてPOCを開始
     https://www.nttdata.com/jp/ja/news/release/2020/052501/
     ・⼀⾔
     - インドの病院にてAIを活⽤したCOVID19診断⽀援を開始
     - 今後、⽇本展開やAPAC展開を⾏う
     

     View Slide

106. © 20201228 @tdys13 106
     COVID19を題材とした⽇本における医療AI
     [株式会社両備システムズ×岡⼭⼤学]
     X線画像からの新型コロナウイルス肺炎の解析を⾏うAI・臨床試験中
     引⽤
     ＡＩで新型コロナ肺炎を診断 岡⼭⼤⼤学院の河原教授ら開発
     https://www.sanyonews.jp/article/1025348
     COVID-Net
     https://medium.com/@sheldon.fernandez/
     covid-net-an-open-source-neural-network-for-covid-19-detection-48b8a55e6d44
     ・⼀⾔
     - カナダのスタートアップDarwin AI社が開発した
     コロナ罹患者のX線画像を学習したCOVID-Netを使⽤
     - 現在岡⼭⼤学で臨床試験中
     

     View Slide

107. © 20201228 @tdys13 107
     COVID19を題材とした⽇本における医療AI
     [シーメンスヘルスケア株式会社]
     CT画像からの新型コロナウイルス肺炎の解析を⾏うAI提供開始
     ・⼀⾔
     - シーメンスヘルスケア(ドイツ)が開発したAIを
     シーメンスヘルスケア(⽇本)が⽇本で提供開始
     引⽤
     シーメンスヘルスケア
     AI技術によりCT画像を⽤いた新型コロナウイルス感染症の解析をサポートする
     臨床研究⽤ソフトウェアの提供を開始
     https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20200518-ct-ai-covid-19.html
     

     View Slide

108. © 20201228 @tdys13 108
     COVID19を題材とした⽇本における医療AI
     [シーメンスヘルスケア株式会社]
     CT画像からの新型コロナウイルス肺炎の解析を⾏うAI提供開始
     ・⼀⾔
     - シーメンスヘルスケア(ドイツ)が開発したAIを
     シーメンスヘルスケア(⽇本)が⽇本で提供開始
     京都⼤学の研究グループ以外は海外のCT画像やX線画像を学習したAI
     引⽤
     シーメンスヘルスケア
     AI技術によりCT画像を⽤いた新型コロナウイルス感染症の解析をサポートする
     臨床研究⽤ソフトウェアの提供を開始
     https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20200518-ct-ai-covid-19.html
     

     View Slide

109. © 20201228 @tdys13 109
     COVID19を題材とした⽇本における医療AI
     [シーメンスヘルスケア株式会社]
     CT画像からの新型コロナウイルス肺炎の解析を⾏うAI提供開始
     ・⼀⾔
     - シーメンスヘルスケア(ドイツ)が開発したAIを
     シーメンスヘルスケア(⽇本)が⽇本で提供開始
     ⼈種差ってあるの？ないの？
     引⽤
     シーメンスヘルスケア
     AI技術によりCT画像を⽤いた新型コロナウイルス感染症の解析をサポートする
     臨床研究⽤ソフトウェアの提供を開始
     https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20200518-ct-ai-covid-19.html
     

     View Slide

110. © 20201228 @tdys13 110
     多⼈種における性能差に関する調査
     [ 株式会社NTTデータ×宮崎⼤学 ]
     AIを⽤いたがん検出において⼈種差が⽣じないかに関する研究
     ・技術的視点
     学習データ ： 腹部CT画像11万枚(アメリカ⼈患者5000⼈で学習。⽇本⼈患者は⼀切含めず)
     テストデータ ： 宮崎⼤学付属病院の⽇本⼈患者700名、上記学習画像と機材も環境も異なる。
     (250名の腎癌患者，200名の腎臓疾患患者，250名の健康患者)
     モデル ： ???
     結果 ： 感度82.0%，特異度95.0%
     引⽤
     ・株式会社NTTデータ プレスリリース 2019 09.26
     宮崎⼤学とNTTデータがAI画像診断の実証実験を実施
     https://www.nttdata.com/jp/ja/news/release/2019/092600/
     

     View Slide

111. © 20201228 @tdys13
     ・技術的視点
     学習データ ： 腹部CT画像11万枚(アメリカ⼈患者5000⼈で学習。⽇本⼈患者は⼀切含めず)
     テストデータ ： 宮崎⼤学付属病院の⽇本⼈患者700名、上記学習画像と機材も環境も異なる。
     (250名の腎癌患者，200名の腎臓疾患患者，250名の健康患者)
     モデル ： ???
     結果 ： 感度82.0%，特異度95.0%
     111
     多⼈種における性能差に関する調査
     結論として⼈体画像に⼈種差はなかった。（撮像環境などの検証はこの研究では述べられていない）
     引⽤
     ・株式会社NTTデータ プレスリリース 2019 09.26
     宮崎⼤学とNTTデータがAI画像診断の実証実験を実施
     https://www.nttdata.com/jp/ja/news/release/2019/092600/
     [ 株式会社NTTデータ×宮崎⼤学 ]
     AIを⽤いたがん検出において⼈種差が⽣じないかに関する研究
     

     View Slide

112. © 20201228 @tdys13 112
     COVID19を題材とした⽇本における医療AI
     [ エムスリー株式会社×兵庫県⽴⼤学×兵庫県⽴尼崎総合医療センター]
     新型コロナウイルス感染者の予後予測指標及び
     予測モデルの開発
     ・⼀⾔
     - 感染者の予後予測と予測モデルの開発を発表．
     - 予測モデルではCOVID-19陽性者の重症化を確率的に予測し，
     診療にて使える判断指標の提供を⽬指す
     引⽤
     COVID-19肺炎AIの無償⽀援プロジェクト拡⼤と重症化予測AI開発のお知らせ
     https://corporate.m3.com/press_release/2020/20200930_001637.html
     

     View Slide

113. © 20201228 @tdys13 113
     COVID19を題材とした⽇本における医療AI
     [ CESデカルト株式会社×テラ株式会社]
     新型コロナウイルス感染症の重症化予測AIプログラム開発を発表
     ・⼀⾔
     - COVID-19重症患者のCT画像含めたデータは
     テラ株式会社の⼦会社にて収集されたデータの提供を計画
     引⽤
     tella
     新型コロナ感染症重症化予測AIシステムの開発に関する基本合意締結のお知らせ
     https://www.tella.jp/company/release/2020/11/2773/
     

     View Slide

114. © 20201228 @tdys13 114
     COVID19を題材とした⽇本における医療AI
     [ 名古屋⼤学×国⽴情報学研究所×⽇本医学放射線学会]
     CT画像に映る新型コロナウイルス肺炎の解析⼿法の開発
     ・⼀⾔
     - 正常部と肺炎部のセグメンテーションを実現．
     - 正常部と肺炎部の識別性能83.3%
     引⽤
     新型コロナウイルスによる肺炎CT画像のAIによる解析析⼿法開発
     http://www.nagoya-u.ac.jp/about-nu/public-relations/researchinfo/upload_images/20200928_i1.pdf
     

     View Slide

115. © 20201228 @tdys13 115
     COVID19を題材とした⽇本における医療AI
     [ 株式会社富⼠通×東品川病院]
     新型コロナウイルス肺炎の診断⽀援を⾏うAI技術の共同研究開始
     ・⼀⾔
     - 診断⽀援に⽤いるAIは株式会社富⼠通研究所が開発．
     - CT画像の肺領域を分割し，肺炎候補部をヒートマップで表⽰
     引⽤
     新型コロナウイルス肺炎の診断を⽀援するAI技術の共同研究開発を開始
     https://pr.fujitsu.com/jp/news/2020/09/2.html
     

     View Slide

116. © 20201228 @tdys13 116
     COVID19を題材とした⽇本における医療AI
     [ キヤノンメディカルシステムズ株式会社×藤⽥医科⼤学]
     新型コロナウイルス肺炎の診断⽀援を⾏うAI技術の臨床適⽤評価を開始
     ・⼀⾔
     - 新型コロナウイルス肺炎部の診断⽀援を⾏うAIを開発．
     - 臨床適⽤評価を開始した．
     - 2020.12.22 発売予定であった診断⽀援AIの発売中⽌を発表
     引⽤
     新型コロナウイルス肺炎診断⽀援に関する臨床への適⽤評価を開始
     https://jp.medical.canon/News/PressRelease/Detail/59221-834
     

     View Slide

117. © 20201228 @tdys13 117
     COVID19を題材とした⽇本における医療AI
     [株式会社NTTデータ]
     新型コロナウイルス画像診断AI向け学習⽤データの無償提供開始
     ・⼀⾔
     - 研究者向けに医⽤画像の無償公開を開始
     - アノテーションは医師&開発したAIが⾏う
     引⽤
     新型コロナウイルス画像診断AI向け学習⽤データの無償提供開始
     https://www.nttdata.com/jp/ja/news/services_info/2020/100500/
     

     View Slide

118. © 20201228 @tdys13 118
     COVID19を題材とした⽇本における医療AI
     [⼀般社団法⼈⽇本医療受診⽀援研究機構]
     AI受診相談サービス ユビー の提供開始
     引⽤
     AI受診相談サービス ユビー
     https://ubie.app/
     ⾃宅で事前問診可能な「AI受診相談ユビー新型コロナウイルス版」を無償提供開始
     https://prtimes.jp/main/html/rd/p/000000001.000057275.html
     ・⼀⾔
     - Ubie社が提供するAI受診サービス ユビー
     - いくつかの質問を答えた後に対処法を提⽰してくれる
     

     View Slide

119. © 20201228 @tdys13 119
     COVID19を題材とした⽇本における医療AI
     [塩野義製薬株式会社×株式会社SyntheticGestalt×北海道⼤学]
     AI創薬技術により選出されたCOVID-19治療薬候補化合物の探索研究
     引⽤
     塩野義製薬プレスリリース
     https://www.shionogi.com/jp/ja/news/2020/06/200603_02.html
     ・⼀⾔
     - SyntheticGestalt社が保有するAI創薬技術を⽤いて
     選出されたCOVID19治療薬候補化合物を実⽤実験
     

     View Slide

120. © 20201228 @tdys13 120
     COVID19を題材とした⽇本における医療AI
     [株式会社FRONTEO]
     ⾃然⾔語処理技術を応⽤して
     新型コロナウイルス感染症（COVID-19）のパスウェイマップを構成する
     引⽤
     株式会社FRONTEO
     https://www.fronteo.com/20200417
     ・⼀⾔
     - 事象ごとの関連性を可視化することで
     COVID19の治療薬に関する情報を羅列
     

     View Slide

121. © 20201228 @tdys13 121
     COVID19を題材とした⽇本における医療AI
     [株式会社ELIX]
     AI創薬技術を応⽤してCOVID-19治療薬候補化合物の分⼦設計
     引⽤
     株式会社Elix
     https://www.elix-inc.com/jp
     Screening for COVID-19: Japanese Startup Uses AI for Drug Discovery
     https://blogs.nvidia.com/blog/2020/07/08/elix-ai-covid-drug-discovery/
     Nvidia GTC
     https://on-demand.gputechconf.com/gtc/2020/s2747/
     ・⼀⾔
     - グラフニューラルネットと呼ばれるモデルを⽤いて
     薬剤候補のデータベースを分析し、特定の疾患を
     治療するのに適した物理的・化学的特性を持つ薬剤を
     推論する。
     

     View Slide

122. © 20201228 @tdys13 122
     COVID19を題材とした⽇本における医療AI(番外編)
     [Kaggle]
     ・COVID-19の罹患者数予測コンペ
     ・COVID-19 Open Research Dataset Challenge（CORD-19）
     引⽤
     https://www.kaggle.com/c/covid19-global-forecasting-week-1
     ・⼀⾔
     - 罹患者数予測コンペは5回⾏われ、1回⽬の優勝者は⽇本⼈の医師兼エンジニア
     - CORD-19はホワイトハウス主導のコンペ。AIの⼒を⽤いてCOVID19に対する
     新たな洞察をしてほしいという旨。約3万本のCOVID19関連論⽂から
     新型コロナウイルスに関して分かっていることを導き出す。
     

     View Slide

123. © 20201228 @tdys13 123
     『AI×医⽤画像』の現状と可能性(特別編)
     まとめ
     
     ・⽇本におけるCOVID19関連のAI×医⽤画像は
     海外製をリメイクなどして⽇本で性能検証したのちに
     提供開始された。
     ・COVID-19罹患者の重症度予測研究なども始まった
     

     View Slide

124. © 20201228 @tdys13 124
     COVID19以外で
     医療AIはどうなったの？
     (いつものおばちゃん達)
     

     View Slide

125. © 20201228 @tdys13 125
     2020年上半期の⽇本における医療AI(会社⼀覧)
     2020 1228 とどろき調べ
     

     View Slide

126. © 20201228 @tdys13 126
     2020年上半期の⽇本における医療AI(会社×協業先or共同研究先)
     2020 1228 とどろき調べ
     

     View Slide

127. © 20201228 @tdys13 127
     2020年下半期の⽇本における医療AI(会社⼀覧)
     2020 1228 とどろき調べ
     

     View Slide

128. © 20201228 @tdys13 128
     2020年下半期の⽇本における医療AI(会社×協業先or共同研究先)
     2020 1228 とどろき調べ
     ΊͪΌͪ͘Ό
     ૿͑ͨͷͰ
     આ໌΋େมʂ
     خ͍͠
     
     

     View Slide

129. © 20201228 @tdys13 129
     2020年上半期編
     とどろきが個⼈的に調べたものなので不⾜等あると思います！
     不⾜分は勉強させてください！！
     ここのリストの企業(44事業)
     ⼀挙に紹介するよ！！
     (上半期に説明した企業はさらっとやるよ．
     増えたね〜〜〜〜〜)
     

     View Slide

130. © 20201228 @tdys13 130
     2020年上半期の⽇本における医療AI
     引⽤
     京都⼤学iCeMs
     https://www.icems.kyoto-u.ac.jp/ja/news/5500
     IEEE Access ”CGHF: A Computational Decision Support System for Glioma Classification
     Using Hybrid Radiomics- and Stationary Wavelet-Based Features”
     https://ieeexplore.ieee.org/document/9075214
     ・⼀⾔
     - 97.54%の精度で判別する機械学習法を開発
     低グレード：グレードIの⽑様細胞性星状細胞腫、
     グレードIIの低グレードグリオーマ。
     ⾼グレード：グレードIIIの悪性神経膠腫、
     グレードIVの多形性膠芽腫。
     [京都⼤学×インド⼯科⼤学]
     脳腫瘍を低グレード、⾼グレードに⾼精度に分類する⼿法の提案
     

     View Slide

131. © 20201228 @tdys13 131
     2020年上半期の⽇本における医療AI
     [ATR×広島⼤学]
     fMRIとAIを⽤いたうつ病の新規診断⼿法
     引⽤
     広島⼤学
     【研究成果】10分間のMRI検査とAIを⽤いたうつ病の⾼い精度の判定による新たな診断法を開発しました
     https://www.hiroshima-u.ac.jp/news/56799
     ・⼀⾔
     - fMRIより全脳137領域から時系列データを抽出し
     時系列相関をまとめたデータを作成。
     このデータを⽤いてメランコリア特徴を伴ううつ病診断。
     AUC0.94
     

     View Slide

132. © 20201228 @tdys13 132
     2020年上半期の⽇本における医療AI
     [DeepEyeVision株式会社]
     クラウド型AI診断⽀援ソリューション“DeepEyeVision”
     引⽤
     DeepEyeVision
     https://deepeyevision.com/
     ・⼀⾔
     - ⾃治医科⼤学発スタートアップ
     クラウド型のAI画像解析サービス
     糖尿病網膜症のフェーズを分類、円錐⾓膜を診断など
     HPより引⽤
     

     View Slide

133. © 20201228 @tdys13 133
     2020年上半期の⽇本における医療AI
     [株式会社メニワン]
     獣医師向け⽝猫の眼底疾患診断⽀援AI
     引⽤
     メニワン Fundus AIについて
     https://ai.meni-one.com/about
     ・⼀⾔
     - 昨年9⽉にメニコンがサービスを発表と
     発売開始をリリース
     - 眼領域のメニコンが⼈ではなく⽝猫に注⼒するのは
     個⼈的に注⽬してます
     HPより引⽤
     

     View Slide

134. © 20201228 @tdys13 134
     2020年上半期の⽇本における医療AI
     [兵庫医科⼤学×ツカザキ病院]
     AIを⽤いて眼底写真から脈絡膜の厚さを推定
     引⽤
     兵庫医科⼤学
     画像処理とAI（⼈⼯知能）により、眼底写真から脈絡膜の厚さを推定することが可能と証明
     （眼科学 病院助⼿ ⼩椋 有貴）
     https://www.hyo-med.ac.jp/research_facilities/output/gyoseki/20200401-01.html
     Choroidal thickness estimation from colour fundus photographs by adaptive binarisation and
     deep learning, according to central serous chorioretinopathy status
     https://www.nature.com/articles/s41598-020-62347-7
     ・⼀⾔
     - VGG16を⽤いて眼底写真から脈絡膜厚の推測を⾏った
     カラー眼底写真から、網膜⾎管消去画像を作成。
     脈絡膜⾎管を描出し、視神経乳頭を削除。
     それによって得られた画像から特徴量（CVAI)を算出
     特徴量と脈絡膜厚の実測値の相関を検討した。
     

     View Slide

135. © 20201228 @tdys13 135
     2020年上半期の⽇本における医療AI
     [プラスマン合同会社×PSP株式会社]
     CT画像に映る肺結節をAIで表⽰する機能を持つプログラム医療機器
     引⽤
     Plus Lung.Nodule
     https://plusmanllc.co.jp/products/
     プラスマン合同会社、PSP株式会社との協業に関して
     https://plusmanllc.co.jp/news/pr20200417/
     ・⼀⾔
     - オンプレ型とクラウド型で提供を⾏うプログラム医療機器
     - 顧客第⼀号として三重⼤学医学部附属病院
     - 肺結節、すりガラス陰影を表⽰可能
     

     View Slide

136. © 20201228 @tdys13 136
     2020年上半期の⽇本における医療AI
     [三重⼤学]
     胸部X線写真を⽤いた肺体⾎流⽐の類推による⼿術指針提⽰
     引⽤
     Quantitative Analysis of Chest X-Ray Using Deep Learning to Predict Pulmonary to Systemic Flow Ratio
     in Patients With Congenital Heart Disease
     https://www.ahajournals.org/doi/abs/10.1161/circ.140.suppl_1.14250
     AI outperforms clinicians for predicting pulmonary to systemic flow ratio in congenital heart disease
     https://www.healio.com/news/cardiology/20200122/ai-outperforms-clinicians-for-predicting-
     pulmonary-to-systemic-flow-ratio-in-congenital-heart-diseas
     Train：⼼臓カテーテル検査を受けた931例の胸部X線写真
     ラベル：肺体⾎流⽐
     Test：100例
     結果：専⾨医よりも⾼い精度(詳細なし)
     

     View Slide

137. © 20201228 @tdys13 137
     2020年上半期の⽇本における医療AI
     [富⼠フイルム株式会社]
     AIプラットフォーム「SYNAPSE SAI viewer」向け
     肺結節⾃動検出プログラム提供開始
     引⽤
     「肺結節検出機能」新発売
     https://www.fujifilm.com/jp/ja/news/list/4963
     SYNAPSE SAI viewer
     https://www.fujifilm.com/jp/ja/healthcare/healthcare-it/it-imaging/sai-viewer
     ⼀⾔
     - 富⼠フイルムのAIプラットフォーム
     - 他にもセグメンテーションや部位トラッキング、
     ４種の臓器に対応している
     HPより引⽤
     

     View Slide

138. © 20201228 @tdys13 138
     2020年上半期の⽇本における医療AI
     [株式会社NTTデータ×岩⼿医科⼤学]
     AIを⽤いた⼤動脈瘤の画像診断を⾏う実証実験
     引⽤
     NTTデータ
     岩⼿医科⼤学とAI画像診断の実証実験を実施
     https://www.nttdata.com/jp/ja/news/release/2020/052901/
     ⼀⾔
     - 岩⼿医科⼤学にて検査をした患者約27,000⼈のCT画像を使⽤。
     - 4,500例の⼤動脈瘤患者、22,500例のその他の患者
     - 2020年6⽉19⽇から2023年1⽉31⽇まで（実証実験期間）
     HPより引⽤
     

     View Slide

139. © 20201228 @tdys13 139
     2020年上半期の⽇本における医療AI
     [株式会社HACARUS×神⼾⼤学、京都⼤学]
     (神⼾⼤学)AIを⽤いたMRIに映る肝細胞癌(HCC)の分類
     (京都⼤学)AIを⽤いた⼦宮頸癌の予防、早期診断AIの開発に関する共同開発
     引⽤
     HACARUSと神⼾⼤学、 肝細胞がんのMRI画像解析と診断⽀援AIの共同研究を開始
     https://hacarus.com/ja/press-release/20200518-kobe-liver-cancer/
     HACARUSと京都⼤学、⼦宮頸がんの予防・早期診断AI⽀援システムの共同研究を開始
     https://hacarus.com/ja/press-release/20200427-kyoto-university-cervical-cancer/
     ⼀⾔
     - スパースモデリングに強いHACARUS社
     - 医療領域のAI開発にも注⼒をしている
     

     View Slide

140. © 20201228 @tdys13 140
     2020年上半期の⽇本における医療AI
     [オリンパス株式会社]
     DeepLearning機能を搭載したプログラム医療機器
     EndoBrain-EYE発売開始
     引⽤
     AIを搭載した内視鏡画像診断⽀援ソフトウェア「EndoBRAIN-EYE」を発売
     https://www.olympus.co.jp/news/2020/nr01577.html
     初代EndoBRAINとの類似点
     - 機械学習 / 深層学習
     - クラス３ / クラス２
     - 病変を分類して表⽰ / 病変が画像内にある際に警告
     HPより引⽤
     

     View Slide

141. © 20201228 @tdys13 141
     2020年上半期の⽇本における医療AI
     引⽤
     ⼈⼯知能(AI)により潰瘍性⼤腸炎の内視鏡画像評価が可能に！
     http://www.tmd.ac.jp/archive-tmdu/kouhou/20200302_1.pdf
     Development and Validation of a Deep Neural Network for Accurate Evaluation of Endoscopic Images
     From Patients With Ulcerative Colitis
     https://pubmed.ncbi.nlm.nih.gov/32060000/
     ⼀⾔メモ
     -「内視鏡的な寛解」に対する精度は 90.1％、
     「組織学的な寛解」に対する精度は 92.9％
     [SONY株式会社×東京医科⻭科⼤学]
     AIを⽤いた潰瘍性⼤腸炎の内視鏡画像評価の実現
     

     View Slide

142. © 20201228 @tdys13 142
     2020年上半期の⽇本における医療AI
     [富⼠フイルム株式会社]
     AIを⽤いた⼿術後の残存ガーゼ認識機能
     引⽤
     AI技術を活⽤した「⼿術⽤ガーゼの認識機能」新発売
     https://www.fujifilm.com/jp/ja/news/list/3202
     ⼀⾔メモ
     -超軽量移動型デジタルX線撮影装置
     「FUJIFILM DR CALNEO AQRO (カルネオアクロ)」
     のオプション機能として販売
     

     View Slide

143. © 20201228 @tdys13 143
     2020年上半期の⽇本における医療AI
     [カシオ計算機×信州⼤学]
     ダーモカメラで撮影した画像にAIを⽤いた⽪膚がん(メラノーマ)診断⽀援システム
     引⽤
     ダーモカメラ
     https://dz-image.casio.jp/?fbclid=IwAR39U9y4hM_Vyf6dMZU4_Mwa50xnzeQTGKd_G5jWck61Dz7jJVn2WTvwlXQ
     医療の現場にもAIが! - ⽪膚がんのAI診断を可能にするカシオのカメラ技術
     https://news.mynavi.jp/kikaku/20200107-950832/
     ⼀⾔メモ
     - 2019年にAMED「先進的医療機器・システム等開発プロジェクト」に採択
     - 2017年にはメラノーマ分類コンペで世界１位
     - ⽪膚撮影⽤デジカメ ダーモカメラで撮影した画像共有サイトなどもある
     ダーモカメラ HPより引⽤
     

     View Slide

144. © 20201228 @tdys13 144
     2020年上半期の⽇本における医療AI
     引⽤
     PidPort
     https://pidport.medmain.com/
     「AIで病気を瞬時に判定できる時代に」 病理解析AIの商⽤化に成功。国内外受賞歴多数。
     デジタル病理画像AI解析ソリューション「PidPort」の海外にむけたサービス提供を正式に開始
     https://prtimes.jp/main/html/rd/p/000000009.000034505.html
     ⼀⾔メモ
     - ⽇本国内におけるAI提供はまだ先。
     - 海外から先に販売開始
     [メドメイン株式会社]
     病理解析AI「PidPort」の商⽤化
     

     View Slide

145. © 20201228 @tdys13 145
     2020年上半期の⽇本における医療AI
     引⽤
     どんな薬のどんな副作⽤、効能でも予測できる⼈⼯知能（ＡＩ）を開発
     https://www.jst.go.jp/pr/announce/20200110/index.html
     ⼀⾔メモ
     - 現在流通している薬剤をマウスに投与した際の副作⽤と
     ⼈に投与した際の副作⽤をセットでAIに学習させる
     - そこからヒトへの副作⽤が未知な薬剤をマウスに
     投与した際の副作⽤からヒトへの予測値を返す
     [ATR×Karydo Therapeutix]
     ヒトでの副作⽤・有害事象および効能を、薬の種類を問わず
     に予測できる、ＡＩシステムの開発に成功
     

     View Slide

146. © 20201228 @tdys13 146
     2020年上半期の⽇本における医療AI
     引⽤
     ⼤⽇本住友製薬 プレスリリース
     ⼤⽇本住友製薬と Exscientia Ltd.の共同研究 ⼈⼯知能（AI）を活⽤して創製された新薬候補化合物のフェーズ 1 試験を開始
     https://www.ds-pharma.co.jp/ir/news/pdf/ne20200130_2.pdf
     群⾺⼤学 治験についての３ステップ
     https://ciru.dept.showa.gunma-u.ac.jp/general/cr-steps/
     ⼀⾔メモ
     - 強迫性障害治療剤候補
     - 健康な成⼈に対して少しずつ量を増やし
     安全性を確認する
     [⼤⽇本住友製薬×Exscientia(イギリス)]
     共同研究されていたAIによる新薬候補化合物がフェーズ１を開始
     

     View Slide

147. © 20201228 @tdys13 147
     2020年上半期の⽇本における医療AI
     引⽤
     エムスリー、医⽤画像診断⽀援AIプラットフォーム事業を開始
     https://corporate.m3.com/press_release/2020/20200507_001587.html
     ⼀⾔メモ
     - 今年の⼤本命(⽕⼒が強い)
     - クラウドAI
     - NOBORIのエッジサーバーがベンダーレス仕様
     [エムスリー株式会社×株式会社NOBORI]
     医⽤画像診断⽀援AIプラットフォーム事業を開始
     

     View Slide

148. © 20201228 @tdys13 148
     2020年上半期の⽇本における医療AI
     引⽤
     胸部全体のCT画像解析を⾏うAIソフトウェア「AI-Rad Companion 」を⽤いた
     胸部CT画像AI解析受託サービスを開始
     https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20200629-ai-rad-chest-ct.html
     ⼀⾔メモ
     - 受託解析サービス
     - 院内に新たに機器を設置する必要などもなく簡便
     - infomity(コニカミノルタ)を導⼊している病院ですぐ導⼊可能
     [シーメンス株式会社×コニカミノルタ株式会社]
     AIを⽤いた医⽤画像受託解析サービスの開始
     

     View Slide

149. © 20201228 @tdys13 149
     『AI×医⽤画像』の現状と可能性(特別編)
     まとめ
     
     ・プログラム医療機器の認可を取得し、販売する企業も多く現れた
     ・個⼈的には統合プラットフォームや受託解析サービスに注⽬しています
     あとはメニワン(⽝猫の眼底画像が⼈間と同じなのか純粋に気になる)
     

     View Slide

150. © 20201228 @tdys13 150
     2020年下半期の⽇本における医療AI
     引⽤
     認知症へとつながるアルツハイマー病の発症時期が予測可能に
     https://prtimes.jp/main/html/rd/p/000000147.000034112.html
     Nakagawa, Tomonori, et al.
     "Prediction of conversion to Alzheimerʼs disease using deep survival analysis of MRI images."
     Brain communications 2.1 (2020): fcaa057.
     ⼀⾔メモ
     - 島根⼤学との共同研究
     - アルツハイマーに発症する確率を個⼈レベルで推定した
     [株式会社ERISA×島根⼤学(追⼿⾨学院⼤学)]
     アルツハイマー病の発症時期を予測する深層学習の提案
     

     View Slide

151. © 20201228 @tdys13 151
     2020年下半期の⽇本における医療AI
     引⽤
     認知症へとつながるアルツハイマー病の発症時期が予測可能に
     https://prtimes.jp/main/html/rd/p/000000147.000034112.html
     Nakagawa, Tomonori, et al.
     "Prediction of conversion to Alzheimerʼs disease using deep survival analysis of MRI images."
     Brain communications 2.1 (2020): fcaa057.
     技術的視点
     - 使⽤データ：MRI 2,142症例
     - 使⽤モデル：4層のNN
     (https://github.com/onodak1/demo)
     - 評価：深層テイラー分析により算出
     (左図，⻩⾊いほど予測確率が⾼い)
     [株式会社ERISA×島根⼤学(追⼿⾨学院⼤学)]
     アルツハイマー病の発症時期を予測する深層学習の提案
     提案モデルの概略図
     引⽤
     https://github.com/onodak1/demo
     

     View Slide

152. © 20201228 @tdys13 152
     2020年下半期の⽇本における医療AI
     引⽤
     ディープラーニングを⽤いて設計した読影⽀援ソリューションの販売開始
     https://jp.medical.canon/News/PressRelease/Detail/58721-834
     Avicenna.AI Partners With Canon Medical on AI Stroke Detection
     https://avicenna.ai/partnership-avicenna-ai-canon-medical/
     ⼀⾔メモ
     - 初期費⽤込みで700万円(税別)での販売
     [キヤノンメディカルシステムズ× Avicenna.ai(フランス)]
     Avicenna.ai(フランス)が開発する脳卒中検出AI
     CINA Headを⽇本で販売
     Avicenna.AIのHPより
     

     View Slide

153. © 20201228 @tdys13 153
     2020年下半期の⽇本における医療AI
     引⽤
     糖尿病網膜症，AIで診断
     https://www.niigata-nippo.co.jp/news/economics/20201218588022.html
     ⼀⾔メモ
     - カメラで撮影した網膜画像から疾患位置と軽重度合いを推測
     - 推測された結果を診断書として出⼒し医師のが確認．
     - 既に約8,000件の画像を学習
     [株式会社オーヒラ×新潟⼤学]
     糖尿病網膜症を診断⽀援するAIの開発
     研究を進めている⼩型カメラ
     

     View Slide

154. © 20201228 @tdys13 154
     2020年下半期の⽇本における医療AI
     引⽤
     株式会社OUI
     https://www.ouiinc.jp/company/
     ⼀⾔メモ
     - ⽬を撮影する専⽤のスマホカメラアタッチメントを開発
     - ⽩内障か否かを判別するAIを⽤いて海外での臨床研究を⾏う
     - CEOが医師
     [株式会社OUI]
     スマートフォンアタッチメントのカメラ(Smart Eye Camera)の開発
     遠隔診断により，⽩内障か否か判別するAIの開発
     

     View Slide

155. © 20201228 @tdys13 155
     2020年下半期の⽇本における医療AI
     引⽤
     ⼈⼯知能画像解析による⻭科医院向けパノラマレントゲン画像からの⻭⽛全⾃動認識の確⽴
     https://www.atpress.ne.jp/news/234218
     ⼀⾔メモ
     - 開発したAIシステムは今後，
     ナルコーム社の患者管理ソフトへ機能追加される
     [株式会社ナルコーム×兵庫県⽴⼤学]
     AI技術を⽤いた⻭科パノラマレントゲン画像の
     ⻭⽛認識システムの開発
     

     View Slide

156. © 20201228 @tdys13 156
     2020年下半期の⽇本における医療AI
     引⽤
     Mahdi, Fahad Parvez, Kota Motoki, and Syoji Kobashi.
     "Optimization technique combined with deep learning method for teeth recognition in dental panoramic radiographs."
     Scientific Reports 10.1 (2020): 1-12.
     技術的視点
     - RPNで抽出した特徴情報をFast R-CNNに追加し検出を⾏う
     - モデル：上図のモデル
     - パノラマレントゲン画像
     - Train：900枚，Test：100枚
     - 評価指標：IOU
     [株式会社ナルコーム×兵庫県⽴⼤学]
     AI技術を⽤いた⻭科パノラマレントゲン画像の
     ⻭⽛認識システムの開発
     提案モデル
     パノラマレントゲン画像
     

     View Slide

157. © 20201228 @tdys13 157
     2020年下半期の⽇本における医療AI
     引⽤
     NTTデータとNTT東⽇本関東病院，胸部CTの診断プロセスへのAI画像診断技術の適⽤を⽬指し
     共同検証を開始
     https://www.nttdata.com/jp/ja/news/release/2020/120700/
     ⼀⾔メモ
     - 胸部CT画像から胸部全体の異常箇所の⾃動検出を⾏う
     - 実際の診断業務に組み込み課題を洗い出す(~2021.03.31)
     - COVID-19による異常の⾃動検出も今後⾏う
     [株式会社NTTデータ×NTT東⽇本 関東病院]
     胸部CT画像のAI画像診断技術適⽤に向けた共同検証の開始
     画⾯の⼀例
     

     View Slide

158. © 20201228 @tdys13 158
     2020年下半期の⽇本における医療AI
     引⽤
     胸部X線画像から「肺がん」が疑われる肺結節候補を検出する，医⽤画像解析ソフトウェア
     EIRL Chest Noduleを発売
     https://lpixel.net/news/press-release/2020/10089/
     ⼀⾔メモ
     - 5mm~30mmの肺結節を検出するAI医療機器
     - EIRL Chest Noduleを使うことで
     医師の診断精度向上が認められた
     [エルピクセル株式会社]
     胸部X線画像から肺結節を診断⽀援する
     AI医療機器EIRL Chest Noduleの薬事承認取得及び発売開始
     画⾯の⼀例
     

     View Slide

159. © 20201228 @tdys13 159
     2020年下半期の⽇本における医療AI
     引⽤
     アルム、医療アプリJoinのクラウドとAI診断プログラムを連携したAI診断サポートソリューション「Join AI Connect」を発表
     〜エルピクセル「EIRL」との連携でAIプログラムの臨床利⽤を加速〜
     https://www.allm.net/2020/11/09/9339/
     ⼀⾔メモ
     - 肺結節検出⽀援のEIRL Chest Nodule，
     脳動脈瘤検出⽀援のEIRL Brain Aneurysmの提供を発表
     [エルピクセル株式会社×株式会社アルム]
     医療アプリJoinのクラウドにて
     LPIXEL社の医療AIサービスの提供を発表
     画⾯の⼀例
     

     View Slide

160. © 20201228 @tdys13 160
     2020年下半期の⽇本における医療AI
     引⽤
     徳島⼤学
     胸部単純X線画像から肺⾼⾎圧を⼈⼯知能で検出
     https://www.tokushima-u.ac.jp/docs/23442.html
     ⼀⾔メモ
     - ⼀般的に利⽤される単純X線画像にて検出を可能にした
     - COVID-19などへの応⽤を⽬指す
     [徳島⼤学×帝京⼤学]
     胸部単純X線画像から肺⾼⾎圧を検出するAIの開発
     肺⾼⾎圧がある部分に注⽬
     

     View Slide

161. © 20201228 @tdys13 161
     2020年下半期の⽇本における医療AI
     引⽤
     Kusunose, Kenya, et al.
     "Deep learning to predict elevated pulmonary artery pressure in patients
     with suspected pulmonary hypertension using standard chest X ray."
     Scientific reports 10.1 (2020): 1-8.
     技術的視点
     - モデル：capsule network
     - タスク：2クラス分類(肺⾼⾎圧 or 正常肺)
     - 事前学習：Kaggle RSNA Pneumonia Detection Challenge Dataset
     - Train：900症例，Test：90症例
     - 評価指標：AUC
     [徳島⼤学×帝京⼤学]
     胸部単純X線画像から肺⾼⾎圧を検出するAIの開発
     Grad-CAMによる
     AIの注⽬場所の可視化結果
     

     View Slide

162. © 20201228 @tdys13 162
     2020年下半期の⽇本における医療AI
     引⽤
     Innavi net
     ⼈⼯知能による胸部CT解析-間質性肺炎における定量評価「QZIP-ILD」
     https://www.innervision.co.jp/ad/suite/ziosoft/ziovision/20200802
     ⼀⾔メモ
     - 100症例のCT画像を元にAIを構築
     - QZIP-ILD
     (Quantification by Ziosoft Informatics Platform for Interstitial Lung Disease)
     - COVID-19への応⽤も視野に．
     [ザイオソフト株式会社]
     びまん性肺疾患⽤，胸部CT解析システム「QZIP-ILD」
     

     View Slide

163. © 20201228 @tdys13 163
     2020年下半期の⽇本における医療AI
     引⽤
     エムスリーと⽇本ベーリンガーインゲルハイム
     間質性肺疾患を含む肺疾患に対するAI等を活⽤した診断⽀援に関する業務提携
     https://www.boehringer-ingelheim.jp/press-release/20201208_01
     ⼀⾔メモ
     - 間質性肺疾患を検出するAI開発を⾏う
     [エムスリー株式会社×⽇本ベーリンガーインゲルハイム株式会社]
     間質性肺疾患を含む肺疾患に対するAIを活⽤した診断⽀援開発
     

     View Slide

164. © 20201228 @tdys13 164
     2020年下半期の⽇本における医療AI
     引⽤
     画像診断⽀援ＡＩ
     徳洲会とシーメンスヘルスケア共同研究
     https://www.tokushukai.or.jp/media/newspaper/1245/article-10.php
     徳洲会グループとシーメンスヘルスケア、AI共同研究、検体検査の完全⾃動化、
     ⼈材最適化を図る研修プログラムに関するパートナーシップを締結
     https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20190205-tokushukai.html
     ⼀⾔メモ
     - 匿名化したデータは徳洲会インフォメーションシステムが提供
     -
     [シーメンスヘルスケア×⼀般社団法⼈徳洲会]
     ⼼臓，⼤動脈，脊椎などの胸部全体の画像診断⽀援AIを開発する共同研究
     

     View Slide

165. © 20201228 @tdys13 165
     2020年下半期の⽇本における医療AI
     引⽤
     株式会社PreferredNetworks
     京都府の肺がん検診にPreferred Networks開発の胸部X線画像診断補助ツールを試験導⼊
     https://preferred.jp/ja/news/pr20201012/
     ⼀⾔メモ
     - Kaggle RSNA Pneumonia Detection Challengeで
     世界6位になった画像解析技術を応⽤
     - NOBORI社のクラウドサービス「NOBORI」にて使⽤
     [株式会社PreferredNetworks×株式会社NOBORI×⼀般社団法⼈京都府医師会]
     京都府の肺がん検診にて肺がん診断補助ツールを試験導⼊
     

     View Slide

166. © 20201228 @tdys13 166
     2020年下半期の⽇本における医療AI
     引⽤
     テラ株式会社
     医療AI「乳がん診断⽀援医療機器」に関する基本合意のお知らせ
     https://www.tella.jp/company/release/2020/11/2804/
     ⼀⾔メモ
     - CESデカルド社が開発する乳がん診断⽀援AIを
     テラ株式会社が独占販売権及び権利譲渡を報告．
     - 乳がん診断⽀援医療機器は現在薬事承認を申請中．
     [ CESデカルト株式会社×テラ株式会社]
     乳がん診断⽀援医療機器システムの販売を合意
     

     View Slide

167. © 20201228 @tdys13 167
     2020年下半期の⽇本における医療AI
     引⽤
     順天堂⼤学
     臨床研究「内視鏡診断AIシステムの開発」
     https://www.juntendo.ac.jp/hospital/clinic/shokaki/about/treatment/endoscope_ai.html
     ⼀⾔メモ
     - 早期胃癌をターゲットにAIを学習させた
     [株式会社AIメディカルサービス×順天堂⼤学]
     NBI併⽤胃拡⼤内視鏡より早期胃癌を診断するAIの開発
     

     View Slide

168. © 20201228 @tdys13 168
     2020年下半期の⽇本における医療AI
     引⽤
     Ueyama, Hiroya, et al.
     "Application of artificial intelligence using a convolutional neural network for diagnosis of
     early gastric cancer based on magnifying endoscopy with narrow‐band imaging.”
     Journal of Gastroenterology and Hepatology (2020).
     [株式会社AIメディカルサービス×順天堂⼤学]
     NBI併⽤胃拡⼤内視鏡より早期胃癌を診断するAIの開発
     技術的視点
     - モデル：ResNet50
     - タスク：2クラス分類(胃がん or ⾮がん)
     - 事前学習：ImageNet
     - Train：5,500枚，Test：2,300枚
     - 評価指標：AUC
     AIによる出⼒結果
     左2つが胃がん，右２つが⾮がん ⼊⼒画像
     

     View Slide

169. © 20201228 @tdys13 169
     2020年下半期の⽇本における医療AI
     引⽤
     富⼠フィルム株式会社
     AI技術を活⽤して⼤腸ポリープ等の病変のリアルタイム検出・鑑別を⽀援
     内視鏡診断⽀援機能「CAD EYE™（キャド アイ）」新発売
     https://www.fujifilm.com/jp/ja/news/list/5581
     ⼀⾔メモ
     - CAD EYEには『疾患検出モード(CADe)』と『疾患鑑別モード(CADx)』が搭載．
     - 検出モードではポリープを⾒つけるとアラート⾳で知らせる
     - 鑑別モードでは画像内のポリープの位置と，
     ⾮腫瘍性(⻩⾊) / 腫瘍性(緑) の鑑別結果を表⽰
     [ 富⼠フイルム株式会社]
     内視鏡診断⽀援AI医療機器 CAD EYEの薬事承認取得を発表 & 発売開始
     鑑別モードの⼀例
     

     View Slide

170. © 20201228 @tdys13 170
     2020年下半期の⽇本における医療AI
     引⽤
     オリンパス株式会社
     AI を活⽤した内視鏡 CADプラットフォーム「ENDO-AID」を発売
     https://www.olympus.co.jp/news/2020/contents/nr01856/nr01856_00001.pdf
     ⼀⾔メモ
     - ENDO-AID CADeは最新鋭の内視鏡とセットで販売される
     - ⽇本ではまだ発売されない
     [ オリンパス株式会社]
     AI医療機器，ENDO-AID CADeの販売を発表(欧州とアジア⼀部 ※⽇本は対象外)
     

     View Slide

171. © 20201228 @tdys13 171
     2020年下半期の⽇本における医療AI
     引⽤
     会津⼤学
     会津⼤学と県⽴医⼤との共同研究（⼤腸内視鏡⾃動診断装置）を公表、⼈⼯知能（AI）の技術により⼩さなポリープが発⾒可能に!
     https://www.u-aizu.ac.jp/information/ai-20200530.html
     ⼀⾔メモ
     - 5mm以下のポリープをターゲットに絞りAIを開発した．
     - モニターに1秒以上出現する5mm以下のポリープをほぼ全て検出
     [会津⼤学×福島県⽴医科⼤学]
     ⼤腸内視鏡から5mm以下のポリープを検出するAIの開発を発表
     

     View Slide

172. © 20201228 @tdys13 172
     2020年下半期の⽇本における医療AI
     引⽤
     NPO 名古屋整形外科地域医療連携⽀援センター AI研究部⾨
     https://www.fracture-ai.org/
     ⼀⾔メモ
     - ⾻折×AIの領域で既に多数の論⽂を出している医師を中⼼としたチーム．
     (1本の論⽂を次ページで紹介．)
     - 2020年に本格始動．
     [NPO 名古屋整形外科地域医療連携⽀援センター AI研究部⾨]
     医師主導の⾻折×AIにフォーカスした研究拠点
     

     View Slide

173. © 20201228 @tdys13 173
     2020年下半期の⽇本における医療AI
     引⽤Sato, Yoichi, et al.
     "A Computer-Aided Diagnosis System Using Artificial Intelligence for Proximal Femoral Fractures Enables Residents
     to Achieve a Diagnostic Rate Equivalent to Orthopedic Surgeons--multi-institutional joint development research."
     arXiv preprint arXiv:2003.12443 (2020).
     技術的視点
     - タスク：2クラス分類(⾻折 or 正常)
     - モデル：EfficientNet-B4
     - 事前学習：ImageNet
     - データ：3病院から集められたX線画像，計10,484枚
     - Train：8,484枚 / Val：1,000枚 / Test：1,000枚
     - 評価指標：AUC
     - AIを使った医師と使っていない医師の結果⽐較も実施
     AIによる⾻折候補部の出⼒
     [NPO 名古屋整形外科地域医療連携⽀援センター AI研究部⾨]
     医師主導の⾻折×AIにフォーカスした研究拠点
     

     View Slide

174. © 20201228 @tdys13 174
     2020年下半期の⽇本における医療AI
     引⽤
     SPORTS-SYNAPS
     Melano-Checker(⽪膚悪性腫瘍の診断⽀援システム)の開発
     https://www.spo-labo.com/research-1/cosmetic-dermatology-r-1/melanochecker-r/
     ⼀⾔メモ
     - ダーモスコピー検査にて取得した写真を迅速にスマホでAI解析をする
     [SPORTS-SYNAPS]
     ダーモスコピーで撮影した写真をスマホアプリにてAI解析
     メラノーマの診断⽀援システム
     

     View Slide

175. © 20201228 @tdys13 175
     2020年下半期の⽇本における医療AI
     引⽤
     BonBon株式会社
     https://bon-bon.co.jp/
     ⼀⾔メモ
     - 病理位向けのwebサービスや，医療従事者向けの知識共有プラットフォームも開発している
     - 病理医サポートAIとして病理画像から間質性肺炎を判断するAIを開発している
     - CEOが医師
     [BonBon株式会社]
     ⼈⼯知能の信頼性に関する技術開発事業にてNEDO採択．
     病理画像と病理報告書を合わせた病理診断AIの研究開発
     

     View Slide

176. © 20201228 @tdys13 176
     2020年下半期の⽇本における医療AI
     引⽤
     国⽴研究開発法⼈ ⽇本医療研究開発機構
     “光⽣検”切らずにその場でがんをすぐ診断―イメージングで組織を傷つけずに⽴体観察、AIが⾃動診断―
     https://www.amed.go.jp/news/release_20200723.html
     ⼀⾔メモ
     - ⼦宮頸部の正常組織，上⽪内がん(⾮浸潤がん)，浸潤がんの画像を
     定量的に分類可能となった
     [株式会社ニコン×⼤阪⼤学]
     AIを⽤いた，⼦宮頸部組織を切り取らずにその場で診断する診断⽅法の発明
     

     View Slide

177. © 20201228 @tdys13 177
     2020年下半期の⽇本における医療AI
     引⽤
     Matsui, Takahiro, et al.
     "Nonlinear optics with near-infrared excitation enable real-time quantitative diagnosis of human cervical cancers."
     Cancer Research 80.17 (2020): 3745-3754.
     技術的視点
     - タスク：クラス分類
     - モデル：Segmentation-UNet，Classification-SVM
     - Train：96枚，Val：32枚
     - 評価指標：AUC
     [株式会社ニコン×⼤阪⼤学]
     AIを⽤いた，⼦宮頸部組織を切り取らずにその場で診断する診断⽅法の発明
     

     View Slide

178. © 20201228 @tdys13 178
     2020年下半期の⽇本における医療AI
     引⽤
     Southern Gateway
     WSI⾻髄細胞病理システム
     https://www.southerngateway.co.jp/ai-cytopathology/
     ⼀⾔メモ
     - ⾻髄細胞形態の顕微鏡検査にAI技術を応⽤する
     [株式会社SouthernGateway]
     AI技術を搭載したWSI⾻髄細胞病理システムの開発
     

     View Slide

179. © 20201228 @tdys13 179
     2020年下半期の⽇本における医療AI
     引⽤
     株式会社iMedTechnologies
     https://imed-tech.co.jp/
     ⼀⾔メモ
     - 術中に脳内の⾎管を破る事故を防ぐために
     ⾎管造影画像を元に危ないシーンで医師に注意を促すAIの開発
     - ⾃社保有の頭部X線画像が100万枚
     - CEOが脳外科医
     [株式会社iMed Technologies]
     脳⾎管内⼿術の⼿術⽀援AI開発
     

     View Slide

180. © 20201228 @tdys13 180
     2020年下半期の⽇本における医療AI
     引⽤
     アナウト株式会社
     https://anaut-surg.com/
     ⼀⾔メモ
     - ⼿術⽀援，術中の臓器の歪み等をリアルタイムマッピング，
     外科医の資格認識を⽀援
     - CEOが外科医
     [アナウト株式会社]
     外科⼿術をより成功に導くための
     ⼈体の地図(Precision Map)を開発するスタートアップ
     

     View Slide

181. © 20201228 @tdys13 181
     『AI×医⽤画像』の現状と可能性(特別編)
     まとめ
     
     ・AI医療機器の薬事承認取得がさらに増え，
     海外のAIサービスを⽇本で提供し始める企業なども登場した
     ・医師主導のスタートアップもさらに増えた
     

     View Slide

182. © 20201228 @tdys13 182
     ここからおまけ
     CADの話&
     ⽇本で薬事承認された
     AI医療機器を全部紹介
     

     View Slide

183. © 20201228 @tdys13 183
     医療機器には『医療機器分類』と分類に紐づく『規制』が設けられている
     国際基準に合わせ，⼈体へのリスクより『クラスⅠ~Ⅳの分類』が適⽤される
     (おまけ)医療機器とは
     引⽤：
     新医療機器等と改良・後発医療機器の 区分および審査内容の違いについて
     https://www.pmda.go.jp/files/000155726.pdf
     

     View Slide

184. © 20201228 @tdys13 184
     医療機器における『医療機器分類』と分類に紐づく『規制』の概略図
     AI医療機器などのCADシステムは基本的に薬事承認が必要
     (おまけ)医療機器とは
     

     View Slide

185. © 20201228 @tdys13 185
     薬事承認を申請する際は3区分の中から該当する医療機器区分を申請
     (おまけ)医療機器とは
     引⽤：
     新医療機器等と改良・後発医療機器の 区分および審査内容の違いについて
     https://www.pmda.go.jp/files/000155726.pdf
     p 新医療機器
     - 既に製造販売の承認を受けている医療機器
     (法第14 条の4第1項第1号及び第2号に規定する再審査期間を経過していないものを除く。以下、「既承認医療機器」 という。)と
     構造，使⽤⽅法，効果または性能が明らかに異なる医療機器
     p 改良医療機器
     - 新医療機器にも後発医療機器にも該当しない医療機器
     p 後発医療機器
     - 既承認医療機器と構造、使⽤⽅法、効能、効果及び 性能が同⼀性を有すると認められる医療機器。
     すなわち、既承認医療機器と構造、使⽤⽅法、効能、効果及び性能が実質的に同等であるもの
     治験
     臨床ありのみ
     治験
     

     View Slide

186. © 20201228 @tdys13 186
     (おまけ)コンピュータ診断⽀援機器(CAD)の話
     CAD :コンピュータ診断⽀援（Computer-Aided Diagnosis）とは、X 線画像
     に代表される放射線画像をはじめとする医⽤画像に対して、コンピュータで
     定量的に解析された結果 を『第 2 の意⾒』として利⽤する『医師による診断
     の⽀援』である。
     引⽤：薬⽣機審発0523 第2号
     PMDA 令和元年5⽉23⽇
     次世代医療機器評価指標の公表について
     https://www.pmda.go.jp/files/000229738.pdf
     

     View Slide

187. © 20201228 @tdys13 187
     (おまけ)コンピュータ診断⽀援機器(CAD)の話
     発⾒ 鑑別 ⽣検 治療 ⼿術
     CAD :コンピュータ診断⽀援（Computer-Aided Diagnosis）とは、X 線画像
     に代表される放射線画像をはじめとする医⽤画像に対して、コンピュータで
     定量的に解析された結果 を『第 2 の意⾒』として利⽤する『医師による診断
     の⽀援』である。
     CADe(Computer-Aided Detection) :
     画像上で病変の疑いのある部位をコンピュータが⾃動検出し、
     その位置をマーキングする機能を有する単体ソフトウェア⼜は当該ソフトウェアが組み込まれている装置。
     コンピュータにより医⽤画像データのみ⼜は医⽤画像データと検査データの両⽅を処理し、
     病変⼜は異常値の検出を⽀援する。
     引⽤：薬⽣機審発0523 第2号
     PMDA 令和元年5⽉23⽇
     次世代医療機器評価指標の公表について
     https://www.pmda.go.jp/files/000229738.pdf
     

     View Slide

188. © 20201228 @tdys13 188
     (おまけ)コンピュータ診断⽀援機器(CAD)の話
     発⾒ 鑑別 ⽣検 治療 ⼿術
     CAD :コンピュータ診断⽀援（Computer-Aided Diagnosis）とは、X 線画像
     に代表される放射線画像をはじめとする医⽤画像に対して、コンピュータで
     定量的に解析された結果 を『第 2 の意⾒』として利⽤する『医師による診断
     の⽀援』である。
     CADx(Computer-Aided Diagnosis) :
     病変の疑いのある部位の検出に加え、病変候補に関する良悪性鑑別や疾病の進⾏度等の定量的なデータを
     数値やグラフ等として出⼒する機能を有する単体ソフトウェア⼜は 当該ソフトウェアが組み込まれている装置。
     診断結果の候補やリスク評価に関する情報 等の提供等により診断⽀援を⾏うものを含む。
     引⽤：薬⽣機審発0523 第2号
     PMDA 令和元年5⽉23⽇
     次世代医療機器評価指標の公表について
     https://www.pmda.go.jp/files/000229738.pdf
     

     View Slide

189. © 20201228 @tdys13 189
     (おまけ)⽇本国内で薬事承認を取得したAI医療機器
     引⽤：
     PMDA資料
     薬事承認に関する最近の取り組みより(P.16 )
     https://www.pmda.go.jp/files/000237546.pdf
     

     View Slide

190. © 20201228 @tdys13 190
     (おまけ)⽇本国内で薬事承認を取得したAI医療機器
     引⽤：
     PMDA資料
     薬事承認に関する最近の取り組みより(P.16 )
     https://www.pmda.go.jp/files/000237546.pdf
     

     View Slide

191. © 20201228 @tdys13 191
     (おまけ)⽇本国内で薬事承認を取得したAI医療機器
     引⽤：
     PMDA資料
     薬事承認に関する最近の取り組みより(P.16 )
     https://www.pmda.go.jp/files/000237546.pdf
     

     View Slide

192. © 20201228 @tdys13 192
     (おまけ)⽇本国内で薬事承認を取得したAI医療機器
     引⽤：
     PMDA資料
     薬事承認に関する最近の取り組みより(P.16 )
     https://www.pmda.go.jp/files/000237546.pdf
     

     View Slide

193. © 20201228 @tdys13 193
     最後に
     今年起きた
     医⽤画像領域以外の
     ヘルスケアニュースをお届け
     

     View Slide

194. © 20201228 @tdys13 194
     (おまけ)2020年のビッグニュース-医⽤画像以外
     引⽤：
     CureApp
     禁煙治療領域で世界初、「治療アプリ®」の公的医療保険適⽤を中医協が了承
     https://prtimes.jp/main/html/rd/p/000000047.000015777.html
     株式会社CureAppの禁煙アプリ(⾏動変容アプリ)が薬事承認，保険適⽤
     2020.12からアプリが患者に処⽅され始めた
     Apple Incの⼼電計プログラムが薬事承認
     AppleWatchにてプログラム医療機器が使えるように
     (2020.12.28現在 まだアプリはない)
     引⽤：
     公益財団法⼈医療機器センター
     http://www.jaame.or.jp/
     Apple Watch ECG appの国内承認から⾒る「医療機器プログラム」
     https://dht.micin.jp/samd/samd01/
     

     View Slide

195. © 20201228 @tdys13 195
     (おまけ)2020年のビッグニュース-医⽤画像以外
     引⽤：
     厚労省 オンライン診療に関するホームページ
     https://www.mhlw.go.jp/stf/seisakunitsuite/bunya/kenkou_iryou/iryou/rinsyo/index_00010.html
     DeepMindのAlphaFold2
     タンパク質の3次元構造予測コンペで2位と圧倒的な差をつけて優勝
     考案者は“ImageNet moment”とコメント
     (深層学習がブレイクするきっかけとなった
     ILSVRCコンペにて2位と圧倒的な差をつけて優勝した歴史に合わせて)
     COVID-19の流⾏を鑑みて
     オンライン診療の取り扱いが可能に
     引⽤：
     AlphaFold: a solution to a 50-year-old grand challenge in biology
     https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology
     

     View Slide

196. © 20201228 @tdys13 196
     (おまけ)2020年のビッグニュース-医⽤画像以外
     引⽤：
     慢性疾患の発症リスクを早期に予測する疾病予測AIソリューションを開発
     https://www.nttdata.com/jp/ja/news/release/2020/073100/
     ⾮侵襲データ＋医療保険データから
     慢性疾患の発症リスクを予測するAI
     引⽤：
     http://www.medicaroid.com/product/hinotori/
     ⽇本初の⼿術ロボットが誕⽣
     hinotori
     

     View Slide

197. © 20201228 @tdys13 197
     『AI×医⽤画像』の現状と可能性(特別編)
     まとめ
     
     ・2020.12.28現在，AI医療機器の薬事承認取得はさらに増えた
     ・医⽤画像領域以外では禁煙アプリやオンライン診療⼀時解禁など
     新たな可能性が増えた
     

     View Slide

198. © 20201228 @tdys13
     2.
     3.
     4.
     1.
     198
     ⾃⼰紹介
     世界の研究トレンド紹介
     - 医⽤画像関連研究紹介
     ⽇本のビジネストレンド紹介2020
     - 部位別カオスマップ，技術紹介
     まとめ
     

     View Slide

199. © 20201228 @tdys13 199
     まとめ
     様々な技術がニーズと共に進化した．
     テクノロジー×医療はやっぱり⾯⽩い！！！
     

     View Slide