臨床AIイントロダクション

非MLエンジニア向けに作成した、臨床AIの論文の紹介です45分程度のプレゼン用

Transcript

1. Copyright © 2019 M3, Inc. All rights reserved.
   インターネットを活用し、
   健康で楽しく長生きする人を１人でも増やし、
   不必要な医療コストを１円でも減らすこと
   AIイントロダクション
   ~最新医療AI論文20本を眺めながら~
   

   View Slide

2. AI活用のためのステップ
   ときたい問題のデー
   タを集める
   データを説明する
   モデルを学習する
   新しいデータで
   (前向きに)利用する
   ● 後ろ向きに収集されたデータに示された入力と出力
   を説明するモデルが学習され、そのモデル
   を用いて、前向きに臨床研究が行われる
   

   View Slide

3. AI活用のためのステップ
   ときたい問題のデー
   タを集める
   データを説明する
   モデルを学習する
   新しいデータで
   (前向きに)利用する
   ● 後ろ向きに収集されたデータに示された
   入力と出力を説明するモデルが学習され、そのモデル
   を用いて、前向きに臨床研究が行われる
   ディープラーニングによって変わったことの一つとし
   て、モデルはかなり汎用的であり、様々な問題に同
   じ学習方法が使える。
   医用画像の論文では、コンピュータビジョンの分野
   の問題を解くためのモデルをそのまま医用画像でト
   レーニングすることが多い。
   りんごを判定する問題とがんを診断する問題は
   データ以外全く一緒
   

   View Slide

4. データの集め方からみる医用画像処理の3分類
   模倣 変換 予測
   12年後
   生存してい
   る
   乳がんの
   疑いあり
   曖昧な判断をへらす 人間ではできないこ
   とができる
   効率化
   既存のワークフローでど
   のように利用するか
   人間が解釈しにくい
   問題の発見
   ○
   ?
   

   View Slide

5. データの集め方からみる医用画像処理の3分類
   模倣 変換 未来予測
   12年後
   生存してい
   る
   乳がんの
   疑いあり
   

   View Slide

6. 模倣
   ● 最も典型的な問題設定
   ○ 医学分野だと、独自のモデルを開発することは少なく、ほとんどが物体認識用のモ
   デル(いわゆる猫の判定をするやつ)に医用画像を覚えさせる
   ● pros
   ○ すなおな問題設定で、出力もわかりやすい
   ○ 人間の医師との比較で検証もしやすい
   ■ ほとんどの論文がここを根拠としている
   ● cons
   ○ 医師の仕事を置き換えて、“診断”を行うものなので
   ■ 法規制が多い
   ■ 既存のワークフローに入れにくい
   ○ AIを考えて真っ先に思いつく利用先なので当然競合が多い
   乳がんの疑
   いあり(0~1)
   

   View Slide

7. covid疑いあり
   Development and Evaluation of an AI System for COVID-19 Diagnosis
   ● 1. スライスごとに肺野の切り出し
   ● 2. 切り出された肺野ごとに特徴抽出
   ● 3. 全スライスの特徴をマージして最終的な予測
   1: CT画像からcovid-19の疑いを発見
   

   View Slide

8. ● このような、解剖学的な診断はもちろんAI化しやすい
   ● 骨折・骨粗鬆症etc
   2: X線画像から変形性関節症の診断
   変形性関節症
   “A preliminary examination of the diagnostic value of deep learning in hip osteoarthritis”
   

   View Slide

9. 3: マンモグラフィからの乳がんの発見
   “International evaluation of an AI system for breast cancer screening”
   乳がん
   ● 経験を積んだ医師ならマンモグラフィからで精度よく診断できる
   ● メジャーな問題設定で、Google等の企業も取り組んでいる
   

   View Slide

10. ● このように、診断は画像の種類・疾患の種類によらず広く研究されている
    ● モデルはやはり一般物体認識用のモデル
    4: 眼底画像からの緑内障の診断
    “Glaucoma Diagnosis with Machine Learning Based on Optical Coherence Tomography and Color Fundus Images”
    緑内障
    

    View Slide

11. ● 動画から誤差2程度で予測できる
    ● 動画と痛みのデータセットが2011年に公開されており、盛んに研究されている
    5: 動画から痛みのスコア(VAS)を判定
    9
    6
    6
    痛み度合い
    “Pain Evaluation in Video using Extended Multitask Learning from Multidimensional Measurements”
    “Painful data: The UNBC-McMaster shoulder pain expression archive database”
    

    View Slide

12. データの集め方からみる医用画像処理の3分類
    模倣 変換 未来予測
    12年後
    生存してい
    る
    乳がんの
    疑いあり
    

    View Slide

13. 変換
    ● 模倣パターンと違い、同じ患者に対する2通りの違うデータを用意する
    ○ 人間は介在しなくて良い場合もある!
    ● 実は学習は人間の診断を模倣するよりも簡単な場合もある
    ○ 模倣よりも正解がはっきりしていることが多い
    ○ 1つの入力に対して、密なフィードバックが得られる
    ■ つまりデータがたくさんあるのと似た効果
    ○ 機械的に得られるデータの場合、たくさん集めやすい
    ● pros
    ○ 既存の医療機器や検査を置き換えるものになりやすい
    ■ 市場もわかりやすい
    ■ 個人的にもオススメ
    ○ あくまでも変換なので、人間が解釈できる
    ● cons
    ○ 模倣に比べると、いい問題を見つけるのが難しい
    ■ 頭をつかう
    

    View Slide

14. ● 被曝が防げるからうれしい、というモチベーション
    ○ 個人的にはMRIの方が辛いと思わなくもない...
    6: MRIからCT画像をつくる!
    “Medical image synthesis with context-aware generative adversarial networks.”
    

    View Slide

15. ● なんでこんなことできるのか!
    ○ X線は確かに1枚の画像であるが、深度の情報を含んでいるリッチな入力
    7: X線2枚からCT画像をつくる!
    “X2CT-GAN: Reconstructing CT from Biplanar X-Rays with Generative Adversarial Networks”
    2枚のX線から生成されたもの
    本物のCT
    

    View Slide

16. ● 医師が詳細にラベルをふった画像をそのまま出力するように学習
    ○ なのでいちおう変換
    ● ちなみにこのようながん病変部位を見つける問題は非常にメジャーな問題で、公開デー
    タセットもいろいろなドメインで存在する
    8: がんのセグメンテーション
    “Brain Tumor Segmentation using Convolutional Neural Networks in MRI Images”
    MRI画像 病変部位のアノテーション
    

    View Slide

17. ● 遺伝子解析を行わずとも、画像での発現量から直接ゲノム推定できる!
    ● 既存のゲノム(トランスクリプトーム)解析に基づく研究と病理を繋ぐ可能性
    9: 病理画像から遺伝子発現量に変換
    “Transcriptomic learning for digital pathology”
    病理画像 ゲノム情報
    

    View Slide

18. ● 染色作業すらも不要になることで検査結果が出るまでの時間をさらに短縮できる
    10: バーチャル染色
    “Virtual histological staining of unlabelled tissue-autofluorescence images via deep learning”
    

    View Slide

19. 11: MRI撮影時間短縮
    ● Facebook fastMRI challenge
    ● データの取得時間を短くした場合の画像劣化を
    AIに復元させた
    ● 画像は撮影時間を1/10程度に短縮した場合の実験結果
    (single coil)
    AI補正結果 正解
    入力劣化画像
    

    View Slide

20. 12: CT画像補正
    ● 低線量化あるいは撮影時間短縮した場合の画像劣化を補正
    ● 従来手法より高画質，高速
    High quality imaging from sparsely sampled computed tomography data with deep learning and wavelet
    transform in various domains, Lee, Choi, et.al., 2018
    Low-Dose CT with a Residual Encoder-Decoder Convolutional Neural Network (RED-CNN), Chen, Yi Zhang, 2017
    

    View Slide

21. データの集め方からみる医用画像処理の3分類
    模倣 変換 未来予測
    12年後
    生存してい
    る
    乳がんの
    疑いあり
    

    View Slide

22. 未来予測
    ● 入力は検査機器、出力は未来の”事実”、人間の判断を介在させない
    ○ 学習時は過去の検査で学習する
    ● 模倣とは違って、人間には出来ていないこともスコープに入る
    ○ 人間はもっとざっくりした予測しかできないのを高精度化
    ○ 人間は複数の要因をうまく扱えない
    ● pros
    ○ 複雑な要因を扱えるため、人間の気づいていない条件にも気づける
    ● cons
    ○ 医師が結果を解釈できない。5年生存と言われても判断根拠がわからない
    

    View Slide

23. 13: 大腸がんで病理画像から5年生存の予測
    ● 人間が理解しやすい悪性・良性の判断などに落とさずに、術後の経過を直接予測する
    “Deep learning based tissue analysis predicts outcome in colorectal cancer”
    5年後
    生存
    

    View Slide

24. 14: 病気の指定なく、胸部X線画像から12年後の生存
    を予測
    ● 問題設定は前述の大腸がんに似ているが、入力が胸部X線、診察時の症状を指定しな
    いという点が大きく異なる
    ● その代わり8万+件というかなり大きめのデータセットを用いている
    “Deep Learning to Assess Long-term Mortality From Chest Radiographs”
    生存
    12年後
    

    View Slide

25. ● 免疫チェックポイント阻害剤により、がんの進行が抑えられるかどうかをがん組織の画
    像から予測できる
    ● また、副作用の予測への取り組みも行われている
    ○ こちらができるようになると、よりインパクトがあると考えられる
    15: 薬剤投与後に、効果が出るかの予測
    がんの進行が
    抑えられたか
    免疫チェックポイント阻害剤投与後
    “Using machine learning algorithms to predict response and toxicity to immune checkpoint inhibitors (ICIs) in melanoma patients.”
    

    View Slide

26. 16: 腫瘍マーカーの機械学習利用
    ● 各マーカーの基準値との比較との比較として用いられている腫瘍マーカーを複数まとめ
    て学習に用いることで、悪性・良性の判定を高精度に行う・性質の分類など、腫瘍の発
    見以上のことができる
    ● 逆にいま基準値ベースなのは、人間が検査をする以上、複雑すぎるモデルはミスを産
    むから？
    ○ 生存を予測するスコアなども存在するが非常にざっくり
    “Application of Artificial Intelligence for Preoperative Diagnostic and Prognostic Prediction in Epithelial Ovarian Cancer Based on Blood Biomarkers.”
    手術後
    悪性 or 良性
    腫瘍マーカー
    タイプ予測
    悪性 or 良性
    

    View Slide

27. データの集め方からみる医用画像処理の3分類
    模倣 変換 未来予測
    12年後
    生存してい
    る
    乳がんの
    疑いあり
    人間ではできないこと x △ ◎
    曖昧な判断が入らない ◎ △ ◎
    効率化 ○ ◎ -
    解釈が困難 △ ◎ x
    

    View Slide

28. 他のドメインでの例
    

    View Slide

29. 17: 問診基準の改善(ADHD)
    “Use of machine learning for behavioral distinction of autism and ADHD”
    ● ADHD/ASDを診断する初期の問診表の回答から、単純集計よりもよく予測できる
    ● さらに、65項目の問診に対して、実は5項目で十分な精度が出ることもわかった
    ● モチベーションは、ADHDを診断してほしい親が多すぎて、今アメリカでは結果が出るま
    で1年とか待たなきゃいけないらしい。それを解消するため
    確定診断後
    予測スコア
    ADHD
    

    View Slide

30. 18: 電子カルテ情報からの急性腎不全の48時間前
    予測
    ● Google DeepMind
    ● すでに臨床での試験も行なっている
    ○ Googleが資本を入れてる病院で実験しているよう？
    ● 術後や他の疾患で入院中の患者が亡くなる原因として大きく、医
    師に必要とされている
    どのデータがAIにとって重要だったかの分析
    電子カルテで記録さ
    れるデータの時系列
    未来の急性腎障害
    48時間後
    “A clinically applicable approach to continuous prediction of future acute kidney injury”
    検査値ごとの未来予測
    

    View Slide

31. 19: 超大規模データを用いた、電子カルテからの
    バーチャル問診
    “Evaluation and accurate diagnoses of pediatric diseases using artificial intelligence”
    左の肺の上葉
    に病変が認めら
    れる...
    上葉に影があ
    るか
    -> Yes
    ● 方法論が面白い研究
    ○ 1. カルテからバーチャル問診を行うAIを作り、カルテのデータをデータベース化しや
    すくする
    ○ 2. その後病名を別のAIで診断
    ● この方法で、定型でないカルテから複数の症状をまとめて診断できるようになった
    

    View Slide

32. アドバンスド: 自動発見
    

    View Slide

33. 自動発見
    ● 今までの3パターンのようにX -> Yが明確な形では無い
    ● pros
    ○ 正解を与える必要がなく、たくさんの画像があればよい
    ● cons
    ○ 人間に意味のある分類になるかは、やってみなければわからない
    ○ 意味を後から人間が探さなければならない
    例えば、自分自身を正解とした変換として問題を解く
    中間の↑ココが似ているものは似た CT画像である
    

    View Slide

34. 20: 腫瘍マーカーが似ているクラスタの自動発見
    ● 腫瘍マーカー同士の関係性を見るために、クラスタの自動発見を行なった
    ● 2つのクラスタに分けたところ、術後の再発可能性とクラスタの間に関係が見つかった
    (事実との関係の発見)
    ● このクラスタは既知の分類では無いので医学上の進歩につながる可能性がある
    “Application of Artificial Intelligence for Preoperative Diagnostic and Prognostic Prediction in Epithelial Ovarian Cancer Based on Blood Biomarkers.”
    マーカーの値
    各患者
    

    View Slide

35. ● まずCT画像の小さな領域同士がにてるかにてないかを判定し、いくつかのクラスタに分
    ける
    ● その後CT画像全体を全部小さな領域に分ければ、CT画像の色ぬりができる
    ● 浸潤がん・非浸潤がん・その他とほぼ一致した
    ● という話だけど、できるならお金かけてラベルつけた方がいいと思う
    21: CT画像を自動で塗り分け
    “Unsupervised Segmentation of 3D Medical Images Based on Clustering and Deep Representation Learning”
    

    View Slide

36. ● 自動的に発見されたラベルが、再発しやすさに関わっていることも検証した
    ● 医学的な新しい発見に繋がることを示唆
    22: 病理画像が似ている
    どれが似てる?
    “Automated acquisition of explainable knowledge from unannotated histopathology images”
    

    View Slide

37. ● 個人的にはこの分野は実用性があると思う
    ● AI診断ではなく、あくまでも、過去に人間が診断したものを検索するという方針
    ● 実は学習に医学データセットは使ってない。公開の写真データセットだけで学習しても検
    索ならばそこそこの精度が出る
    23: 似ている病理画像を用いて組織アーカイブの検
    索アプリを作る
    “Similar image search for histopathology: SMILY”
    どれが似てる?
    

    View Slide

38. データの集め方からみる医用画像処理の3分類
    模倣 変換 予測
    12年後
    生存してい
    る
    乳がんの
    疑いあり
    曖昧な判断をへらす 人間ではできないこ
    とができる
    効率化
    既存のワークフローでど
    のように利用するか
    人間が解釈しにくい
    問題の発見
    ○
    ?
    

    View Slide