p 国⽴研究開発法⼈ 産業技術総合研究所 ⼈⼯知能コンソーシアム - 医⽤画像WGリーダー - 医療AI向けデータベースの構築をしてます -好きなもの- p ヘルスケアや最新技術の情報収集 p アイス p サッカー -その他- p 連載,講演を始めとして 趣味でリサーチした情報をまとめてスライドにしたり, コミュニティー(デジタルヘルスケア倶楽部)を運営したりしてます。 p 連絡先 yoshihiro.todoroki.1013@gmail.comまたはツイッター 5 轟 佳⼤ (トドロキ ヨシヒロ) :@Tdys13
中国・武漢での感染者41名の症状を基にしたクリニカルレポートが発表された. (2020. 12.28現在 - 論⽂引⽤数20,440件) ・引⽤ Huang, Chaolin, et al. "Clinical features of patients infected with 2019 novel coronavirus in Wuhan, China." The lancet 395.10223 (2020): 497-506. ü 感染者確認後からの世界の動き ジャーナル誌 The lancet掲載
Xiaowei, et al. "A deep learning system to screen novel coronavirus disease 2019 pneumonia." Engineering (2020). ü 感染者確認後からの世界の動き 感度 精度 (a)COVID-19, (b)Ful-A, (c)healthy
"A deep learning system to screen novel coronavirus disease 2019 pneumonia." Engineering (2020). ü 感染者確認後からの世界の動き Model:ResNet-18 ⼯夫点:『エッジからの相対距離』をFC層2層⽬に追加 胸膜付近に発⽣している影は,COVID-19の可能性が⾼いという臨床情報(2020.02.21当時)を元に追加. 「エッジからの相対距離」は 『パッチ画像内の肺の境界から中⼼までの距離(上図-c)』と 『胸部全体の対⾓線状の距離(上図-d)』より⽐率計算 .
「エッジからの相対距離」は 『パッチ画像内の肺の境界から中⼼までの距離(上図-c)』と 『胸部全体の対⾓線状の距離(上図-d)』より⽐率計算 . ・引⽤ Xu, Xiaowei, et al. "A deep learning system to screen novel coronavirus disease 2019 pneumonia." Engineering (2020).
Zhang, Le, et al. "Disentangling Human Error from the Ground Truth in Segmentation of Medical Images." arXiv preprint arXiv:2007.15963 (2020). https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images ü アノテーションのばらつきにどう対処する? NeurlPS2020 accepted
それらから “より信頼性の⾼いアノテーション領域”を 算出する学習⼿法(loss)の提案. ・どんなアノテーターを想定? GT(ground-truth)に忠実なアノテーター オーバーセグメンテーション気味なアノテーター アンダーセグメンテーション気味なアノテーター 間違ったセグメンテーションを⾏うアノテーター 常に全てを背景としてアノテーションするアノテーター 画像から擬似的に⽣成する. ・引⽤ Zhang, Le, et al. "Disentangling Human Error from the Ground Truth in Segmentation of Medical Images." arXiv preprint arXiv:2007.15963 (2020). https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images 様々なアノテーターに付けられたバラバラなアノテーション画像を想定し, その中から“より信頼性の⾼いアノテーション領域”を抽出する
⼯程1. 対象画像のセグメンテーションを⾏うSegmentation CNN (通常のセグメンテーション) ⼯程2. ⼊⼒画像のピクセルごとの混合⾏列を推定することで 個々のアノテーターの特性を学習するAnnotation CNN (各アノテーターの癖を混合⾏列で表現) ⼯程3. ⼯程1.と⼯程2.の出⼒を掛け合わせ, 各アノテーターが付けうるアノテーションの予測を出⼒. ⼯程4. 各アノテータがつけた正解ラベルと⼯程3.より算出された 出⼒値を元にCross Entropy Lossを算出 ⼯程5. ⼯程2.の算出値の平均と⼯程4.の出⼒の総和を 最終的なloss(noisy label loss)として与える. ・引⽤ Zhang, Le, et al. "Disentangling Human Error from the Ground Truth in Segmentation of Medical Images." arXiv preprint arXiv:2007.15963 (2020). https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images “より信頼性の⾼いアノテーション領域”を抽出するための損失関数が提案された
Zhang, Le, et al. "Disentangling Human Error from the Ground Truth in Segmentation of Medical Images." arXiv preprint arXiv:2007.15963 (2020). https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images
et al. "Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization.” Advances in Neural Information Processing Systems 33 (2020). https://github.com/wyf0912/LDDG ü 医⽤画像特有の不変的な特徴を学習する ざっくりとしたイメージ図 ※Domain Generalizationとは… ⼈間が写真の⽝,イラストの⽝を同じ”⽝”と捉えるように AIにも,別のドメイン上(ex:イラストと写真など)の 同じ対象物に対して認識が⼀致するように, 不変的な特徴を学習させる⼿法 NeurlPS2020 accepted
Zongwei, et al. "Models Genesis." arXiv preprint arXiv:2004.07882 (2020). ・https://github.com/MrGiovanni/ModelsGenesis ü ⼈体に特化した深層学習モデル MICCAI2019 accepted(Best Young Scientist Award) ジャーナル誌 Medical Image Analysis(MedIA) MICCAI2020 (MedIA Best Paper Award)
al. "Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. ü 不明瞭な対象(臓器)に対するセグメンテーション CVPR2020 accpeted 医⽤画像に映る曖昧な臓器の境界をきちんと学習しセグメンテーションをする新規⼿法の提案
曖昧な境界を学習するために, 『境界を保存する機構-BPB(Boundary Preserving Block)』, 『保存された境界から最適なものを探索する機構 - Boundary Key point selection module』 『上記2つの境界部と正解ラベルを⽐べ フィードバックを送る機構 - SBE(Shape Boundary-aware Evaluator) 』 の3つが存在する ü 不明瞭な対象(臓器)に対するセグメンテーション ・引⽤ Lee, Hong Joo, et al. "Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. ⾒慣れないと分からない程の“曖昧な臓器”の境界部分を 推測⇄フィードバックを通して鮮明にしていく
Joo, et al. "Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. BPB(境界保存機構)とSBE(フィードバックを送る機構) を追加することでどんなモデルでもセグメンテーション精度(Dice値)が向上することが判明. ⽪膚がんデータセット 経膣超⾳波検査のデータセット
"Automatic radiology report generation based on multi-view image fusion and medical concept enrichment." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019. ü 画像から病変部位を特定し、診断書を⾃動⽣成 CVPR2019 accpeted 患者の画像から病変部位を予測し,診断書を⾃動⽣成する研究
"Automatic radiology report generation based on multi-view image fusion and medical concept enrichment." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019. ü 画像から病変部位を特定し、診断書を⾃動⽣成 ・どんな研究? 医⽤画像を学習・病変予測をすると同時に 医⽤画像から概念を抽出し 最終的に放射線科医の診断書を⾃動⽣成する研究 ・対象領域は? 胸部X線&診断書 ・使⽤データセットは? 事前学習:CheXpert,Indiana University Chest X-ray. Train & Test:IU-RR(放射線検査集, 画像と診断書のセット) ・検証⽅法は? 医⽤画像:AUC ⾃然⾔語:BLEU Score 提案モデル 医⽤画像とペアになる診断書を学習することで, 医⽤画像から診断書に必要なワードの類推などを⾏い,最終的に診断書作成までを⾏う
"Automatic radiology report generation based on multi-view image fusion and medical concept enrichment." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019. ü 画像から病変部位を特定し、診断書を⾃動⽣成 『医⽤画像の病変部分』と『⾔語情報』を紐付けて学習することで, 最終的に放射線の診断書を⾃動⽣成することを可能にした 提案モデル ・どんな研究? 医⽤画像を学習・病変予測をすると同時に 医⽤画像から概念を抽出し 最終的に放射線科医の診断書を⾃動⽣成する研究 ・対象領域は? 胸部X線&診断書 ・使⽤データセットは? 事前学習:CheXpert,Indiana University Chest X-ray. Train & Test:IU-RR(放射線検査集, 画像と診断書のセット) ・検証⽅法は? 医⽤画像:AUC ⾃然⾔語:BLEU Score
"Contrastive Learning of Medical Visual Representations from Paired Images and Text." arXiv preprint arXiv:2010.00747 (2020). ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する① 医⽤画像(ラベル不使⽤)とテキストデータの⾃然なペアデータから 医⽤画像の病変を推測する教師なし学習の提案
al. "Weakly supervised one-stage vision and language disease detection using large scale pneumonia and pneumothorax studies." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020. ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する② 医⽤画像(ラベル不使⽤)とテキストデータをそれぞれ学習し,画像内の病変を特定する研究 MICCAI2020 accpeted
al. "Weakly supervised one-stage vision and language disease detection using large scale pneumonia and pneumothorax studies." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020. ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する② ・どんな研究? 医⽤画像とペアになるテキストデータをそれぞれ学習し 最終的に画像内の疾患候補部位を特定する研究 ・対象領域は? 胸部X線&テキストデータ ・使⽤モデルは? 提案モデル ‒ LITERATI YOLO v3 / BERT ・評価指標は? IOU 提案モデル - LITERATI ⾃然⾔語部分にBERTを使⽤ 医⽤画像とテキストデータより疾患部位を特定する
al. "Weakly supervised one-stage vision and language disease detection using large scale pneumonia and pneumothorax studies." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020. ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する② ・使⽤データセットは? ChestXray-14 MIMIC-CXR ・実験結果 Scene Label(ラベルが疾患名称データのみ)では 提案⼿法がIOU(0.1~0.3)は⾼い. Scene Label(疾患名称データのみ) Referring expression(疾患の状態データ) Referring disease emphasis(疾患名称と位置のデータ) の⽐較では Referring disease emphasis(疾患の名称と位置データ)が 最も精度に影響する 疾患名称のみでもある程度の精度が出る事が判明 現状は疾患の状態データより,疾患の名称+位置データが精度に直結する Scene Label Whole Label
"Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 (2018). ü Transformer系 他領域で話題となった技術が医⽤画像処理領域にも今後⼊ってくる (すでに⾃然⾔語×医⽤画像処理などの新ジャンルにおいて活⽤され始めている) ⾃然⾔語領域で話題となったBERT(Transformer系) Transformer系を画像処理に適応したViT ・引⽤ Dosovitskiy, Alexey, et al. "An image is worth 16x16 words: Transformers for image recognition at scale." arXiv preprint arXiv:2010.11929 (2020).
Screening for COVID-19: Japanese Startup Uses AI for Drug Discovery https://blogs.nvidia.com/blog/2020/07/08/elix-ai-covid-drug-discovery/ Nvidia GTC https://on-demand.gputechconf.com/gtc/2020/s2747/ ・⼀⾔ - グラフニューラルネットと呼ばれるモデルを⽤いて 薬剤候補のデータベースを分析し、特定の疾患を 治療するのに適した物理的・化学的特性を持つ薬剤を 推論する。
”CGHF: A Computational Decision Support System for Glioma Classification Using Hybrid Radiomics- and Stationary Wavelet-Based Features” https://ieeexplore.ieee.org/document/9075214 ・⼀⾔ - 97.54%の精度で判別する機械学習法を開発 低グレード:グレードIの⽑様細胞性星状細胞腫、 グレードIIの低グレードグリオーマ。 ⾼グレード:グレードIIIの悪性神経膠腫、 グレードIVの多形性膠芽腫。 [京都⼤学×インド⼯科⼤学] 脳腫瘍を低グレード、⾼グレードに⾼精度に分類する⼿法の提案
(眼科学 病院助⼿ ⼩椋 有貴) https://www.hyo-med.ac.jp/research_facilities/output/gyoseki/20200401-01.html Choroidal thickness estimation from colour fundus photographs by adaptive binarisation and deep learning, according to central serous chorioretinopathy status https://www.nature.com/articles/s41598-020-62347-7 ・⼀⾔ - VGG16を⽤いて眼底写真から脈絡膜厚の推測を⾏った カラー眼底写真から、網膜⾎管消去画像を作成。 脈絡膜⾎管を描出し、視神経乳頭を削除。 それによって得られた画像から特徴量(CVAI)を算出 特徴量と脈絡膜厚の実測値の相関を検討した。
of Chest X-Ray Using Deep Learning to Predict Pulmonary to Systemic Flow Ratio in Patients With Congenital Heart Disease https://www.ahajournals.org/doi/abs/10.1161/circ.140.suppl_1.14250 AI outperforms clinicians for predicting pulmonary to systemic flow ratio in congenital heart disease https://www.healio.com/news/cardiology/20200122/ai-outperforms-clinicians-for-predicting- pulmonary-to-systemic-flow-ratio-in-congenital-heart-diseas Train:⼼臓カテーテル検査を受けた931例の胸部X線写真 ラベル:肺体⾎流⽐ Test:100例 結果:専⾨医よりも⾼い精度(詳細なし)
Validation of a Deep Neural Network for Accurate Evaluation of Endoscopic Images From Patients With Ulcerative Colitis https://pubmed.ncbi.nlm.nih.gov/32060000/ ⼀⾔メモ -「内視鏡的な寛解」に対する精度は 90.1%、 「組織学的な寛解」に対する精度は 92.9% [SONY株式会社×東京医科⻭科⼤学] AIを⽤いた潰瘍性⼤腸炎の内視鏡画像評価の実現
et al. "Prediction of conversion to Alzheimerʼs disease using deep survival analysis of MRI images." Brain communications 2.1 (2020): fcaa057. ⼀⾔メモ - 島根⼤学との共同研究 - アルツハイマーに発症する確率を個⼈レベルで推定した [株式会社ERISA×島根⼤学(追⼿⾨学院⼤学)] アルツハイマー病の発症時期を予測する深層学習の提案
With Canon Medical on AI Stroke Detection https://avicenna.ai/partnership-avicenna-ai-canon-medical/ ⼀⾔メモ - 初期費⽤込みで700万円(税別)での販売 [キヤノンメディカルシステムズ× Avicenna.ai(フランス)] Avicenna.ai(フランス)が開発する脳卒中検出AI CINA Headを⽇本で販売 Avicenna.AIのHPより
"Application of artificial intelligence using a convolutional neural network for diagnosis of early gastric cancer based on magnifying endoscopy with narrow‐band imaging.” Journal of Gastroenterology and Hepatology (2020). [株式会社AIメディカルサービス×順天堂⼤学] NBI併⽤胃拡⼤内視鏡より早期胃癌を診断するAIの開発 技術的視点 - モデル:ResNet50 - タスク:2クラス分類(胃がん or ⾮がん) - 事前学習:ImageNet - Train:5,500枚,Test:2,300枚 - 評価指標:AUC AIによる出⼒結果 左2つが胃がん,右2つが⾮がん ⼊⼒画像
タンパク質の3次元構造予測コンペで2位と圧倒的な差をつけて優勝 考案者は“ImageNet moment”とコメント (深層学習がブレイクするきっかけとなった ILSVRCコンペにて2位と圧倒的な差をつけて優勝した歴史に合わせて) COVID-19の流⾏を鑑みて オンライン診療の取り扱いが可能に 引⽤: AlphaFold: a solution to a 50-year-old grand challenge in biology https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology