Share
Embed
Human-Centered Tools for Coping with Imperfect Algorithms During Medical Decision-Making
NN 論文を肴に酒を飲む会 #11 オンライン! の登壇資料です
SMILY の動画は次から確認できます
https://youtu.be/kw_X7x3G6FY
https://youtu.be/htYFBFSSV58
Asei Sugiyama
May 20, 2020
Transcript
55 slides
-
NN 論文を肴に酒を飲む会 #11 オンライン! Human-Centered Tools for Coping with Imperfect
Algorithms During Medical Decision-Making. -
杉山 阿聖 Software Engineer @ Repro AI Labs 機械学習, 統計,
R&D, 開発 TensorFlow Docs 翻訳 & レビュー 翻訳:Performance with tf.function レビュー: Tutorials などなど 機械学習図鑑 共著 -
Human-Centered Tools for Coping with Imperfect Algorithms During Medical Decision-Making.
Carrie J. Cai and Emily Reif and Narayan Hegde and Jason Hipp and Been Kim and Daniel Smilkov and Martin Wattenberg and Fernanda Viegas and Greg S. Corrado and Martin C. Stumpe and Michael Terry -
深層学習は画像検索においても利用が拡大 している 類似する画像を検索する際に、単純に最近 傍の画像を取得するだけでは専門家の考え る「類似性」を捉えられるとは限らない この研究では医療画像検索 (類似画像検索) における専門家の考えるニーズを特定し、 システム SMILY
を作成した SMILY を実際に使った結果を評価したとこ ろ、発見した画像が診断に役立つ度合い や、アルゴリズムの信頼度が向上した Abstract 6 -
1. Introduction <- 2. Related Works 3. User Needs 4.
User Interface and System Design 5. Tool Evaluation Study 6. User Study 7. User Study Results 8. Tool Use and Navigation Patterns 9. Decision Making and Coping With Black-box ML 10. Discussion 11. Conclusion TOC 7 -
患者を撮影した画像と、よく似た 診断済みの画像を探すということ を医者は行っている 入力 : 未診断の患者の画像 出力 : 過去に診断済みの画像 検索結果の質が低いと医者の体験
を損ねるが、完全なアルゴリズム は存在しない Introduction 8 -
1. Introduction 2. Related Works <- 3. User Needs 4.
User Interface and System Design 5. Tool Evaluation Study 6. User Study 7. User Study Results 8. Tool Use and Navigation Patterns 9. Decision Making and Coping With Black-box ML 10. Discussion 11. Conclusion TOC 11 -
1. Interactive Machine Learning 2. Deep Neural Nets (DNN) and
Embeddings Related Works https://projector.tensorflow.org/ 12 -
1. Introduction 2. Related Works 3. User Needs <- 4.
User Interface and System Design 5. Tool Evaluation Study 6. User Study 7. User Study Results 8. Tool Use and Navigation Patterns 9. Decision Making and Coping With Black-box ML 10. Discussion 11. Conclusion TOC 13 -
病理学的診断において、さまざまな仮説をエビデンスの元で比較して、もっとも確 からしい診断を下す 診断は次のように行われる i. 仮説と、対立仮説を立てる ii. 生検の結果や過去の診断と照らし合わせ、どちらが妥当か判断する iii. はっきりしないときは、類似の画像を探したり、セカンドオピニオンを求めた り、再検査を要求する
画像を探すときには、異なるカテゴリの診断を横断して、もっとも類似するように 見える画像を探し、見落としがないようにする 仮説はある、でも常にセーフティーネットを求めている…他にも似ているも のがあったりしないだろうか? Needs During Clinical Decision-Making 15 -
プロトタイプを病理医が触ったときに、病理医が類似性のタイプを調整しようとし たがっていたことに気がついた 関係のない特徴を弱めて、病理的に関連する特徴を強調しようとした 確認をしたいんだ、この甲状腺で現れているのは…それだと。『こいつだ!』 と言いたいんだ。 画像の局所的な位置に現れる特徴も、画像の全体に渡って出現する特徴もあった 特徴の関連度合いも、病理医が現在集中している事項によって変わった 病理医はシステムが場面ごとで異なる特徴に着目するよう、操作したいと要求した この箇所に出現した炎症に着目しているかもしれないけれど、そうじゃない。 「この炎症を見て欲しいんじゃない、それの周辺のすべてに着目してほし
い」と伝えたいんだ。 Needs Arising from Machine Learning 16 -
1. Introduction 2. Related Works 3. User Needs 4. User
Interface and System Design <- 5. Tool Evaluation Study 6. User Study 7. User Study Results 8. Tool Use and Navigation Patterns 9. Decision Making and Coping With Black-box ML 10. Discussion 11. Conclusion TOC 17 -
SMILY では入力画像に対して、学習済みの深層学習モデルを用いて高次元の Embedding を計算する データベースの中から、Embedding space での近傍画像を出力する ユーザーのフィードバックの結果、1 ページにおおよそ 15
枚の画像を出力するよ うに調整した User Interface and System Design 18 -
いくつかのシナリオでは臨床上重要な概念が検索結果に現れない場合があった そのようなケースでは明示的に重要な概念を検索結果に含めることができるように した もしこの画像にもっと多くの癒着したリンパ腺があったら、それは診断にど う影響するだろう? Embedding space のなかで、そのような概念 (e.g. 癒着の個数)
を示すような方向 を見つけるために、シンプルな線形識別機を用いた どのような概念が必要になるかは病理医にヒアリングして洗い出した どの画像にそのような概念が現れているかは病理医がラベル付けした Refine-by-concept Tool (1/3) 25 -
それぞれの概念について、概ね 20 枚程度で方向を学習できるこ とがわかった 横軸 : 線形識別器の学習に使った 画像の数 縦軸 :
全部の画像を使った場合の 決定境界の法線ベクトルと、n 枚 の画像を用いたときに得られた決 定境界の法線ベクトルのコサイン 類似度 Refine-by-concept Tool (3/3) 27 -
1. Introduction 2. Related Works 3. User Needs 4. User
Interface and System Design 5. Tool Evaluation Study <- 6. User Study 7. User Study Results 8. Tool Use and Navigation Patterns 9. Decision Making and Coping With Black-box ML 10. Discussion 11. Conclusion TOC 28 -
それぞれの機能を有効にした場合と、無効にした場合とで比較した Refine-by-region : 1 人目が画像中の矩形を指定 2 人目が画像中のランダムな箇所を選んだ場合と人手で選んだ場合とで、臨床 上の概念が現れている画像の枚数を比較 Refine-by-example :
1 人目がある臨床上の概念を表す典型的な 10 枚を選択 2 人目が一人目の選んだ画像をの検索結果を元にツールを用いて再検索 3 人目・4 人目が目的の臨床上の概念が検索結果に含まれている枚数を評価 Refine-by-concept : Refine-by-example の方法に同様 Tool Evaluation Study (1/2) 29 -
すべての機能において、有効にした場合には優位に評価結果が良くなった Refine-by-concept においては、線形識別器により学習した Embedding 空間の方 向ベクトルが人の直感と合うかどうか追加で確認した 1 人目 : 画像を検索
2 人目 : Refine-by-concept を使って検索結果を調整 3 人目 : どのような臨床上の概念に基づく調整を行ったか質問 (自由回答) 病理医はどのような臨床上の概念に基づいて調整を行ったかを正確に答えた Tool Evaluation Study (1/2) 30 -
1. Introduction 2. Related Works 3. User Needs 4. User
Interface and System Design 5. Tool Evaluation Study 6. User Study <- 7. User Study Results <- 8. Tool Use and Navigation Patterns 9. Decision Making and Coping With Black-box ML 10. Discussion 11. Conclusion TOC 31 -
既存の画像検索システムと今回作成した SMILE とのどちらのほうがユーザーにと って良かったのかアンケート調査 1. Diagnostic utility: 診断を下すために見つけた画像が役立っただった度合い 2. Mental
support for decision-making: 診断や考えをまとめるのに役立った度合い 3. Workload: 使いこなすのに必要だった労力や、使うときに感じた苛立ち度合い 4. Trust: システムの能力と、その振る舞いについての信頼度合い 5. Future use: 業務でこの先使いたいと思う度合い 6. Overall preference between the two interfaces: 総合評価 User Study 32 -
すべての項目で既存の画像検索シ ステムよりも良い結果となった (7 点満点) SMILE では既存の画像検索システ ムよりも操作が複雑になっている ので、この結果は自明でないこと に注意 診断結果を優位には向上させなか
ったが、同様の結果をより楽に、 システムに信頼を置きながら得ら れるようになった User Study & Results 33 -
1. Introduction 2. Related Works 3. User Needs 4. User
Interface and System Design 5. Tool Evaluation Study 6. User Study 7. User Study Results 8. Tool Use and Navigation Patterns <- 9. Decision Making and Coping With Black-box ML 10. Discussion 11. Conclusion TOC 34 -
病理医は直感的に検索結果から画像を選び出していた そうだな…「これとこれ、それからこれ」と直感で 画像を追加したあとの方が、検索結果が良くなっているのか確信できずに困惑する 場面もあった 交絡する特徴が画像中に含まれている場合に多く観察された そのようなケースではユーザーが画像を多く選択できなかった (平均 2 枚) 病理医は
Refine-by-Example に多くの時間を割いた 全体 : 139 sec (中央値) Refine-by-Example: 86 sec (中央値) Refine-by-Example 37 -
Refine-by-Concept は病理医に画像ではなく文字で考えることを強制する 診断結果を左右する要素のスペクトルの中を探索できる ステージ 3 とステージ 4 のガンを分ける重要な要素がリンパ腺の癒着だったと きに、その度合を強めてみたり弱めてみたりして結果を確認することで、さま ざまな可能性を検討できる
検索結果がこれ以上良くならないときに、強制的に検索結果を向上できる ある病理学的な特徴の度合いを強めたことで、視覚的に似ている別の特徴を含む検 索結果を混入させてしまうことがあった (両方ともに小さな点が現れるケース) 人手によるラベル付が必要だが、総じてよく働いた Refine-by-Concept 38 -
それぞれの病理医は SMILE の利 用中にしばしば行ったり来たりし ていた (右図) 検索結果を改善している最中で、 元画像中の別の箇所が気になった 場合、最初からやり直すケースが あった
検索中に「なんか違うな…」と思 ったケースでも最初からやり直し たケースがあった Interleaving, Resets, and Backtracks 39 -
1. Introduction 2. Related Works 3. User Needs 4. User
Interface and System Design 5. Tool Evaluation Study 6. User Study 7. User Study Results 8. Tool Use and Navigation Patterns 9. Decision Making and Coping With Black-box ML <- 10. Discussion 11. Conclusion TOC 41 -
仮説の確からしさについて調べる : 似た画像が多く見つかるようなら仮説の正しい 可能性は高まり、見つからなければ間違っている可能性が高まる 新しいアイデアを作り出す : ツールが思考過程を見える形で残し新しいアイデアへ と導く、特に、Refine-by-Concept は新たな方向性への気づきを与える 問題の複雑さを下げる
: 医療画像の一部を矩形選択することで、一度にひとつの事 柄に集中する Refinement Practices for Decision-making 43 -
「意味」のギャップを埋める ユーザーのメンタルモデルが SMILY の振る舞いと一致しない場合にユーザーは SMILY のツールを用いて「意味」のギャップを埋めようとする 一方、典型的なツールではユーザーはより多くの画像を見ることしかできない (典型的なツールで画像検索しているときに) next ボタンを押す、でも結
果はどんどん悪くなる 機械学習モデルのメンタルモデルを作る ユーザーは機械学習モデルがどう「考えて」いるのかを想像する (特に、機械 学習モデルが意図しない間違え方をしたときに) こいつは人間の脳の動きを真似ようとしてると思うんだよね Refinement Strategies for Coping with ML (1/2) 44 -
自分の誤りなのか機械学習モデルの誤りなのかはっきりさせようとする 検索結果が期待と一致しなかったときに、ユーザーは意思決定のために、自分 のミスかアルゴリズムのミスかはっきりさせようとする 「あれ、俺が間違えてるのか?」という気持ちにこいつはさせる どちらなのかテストするために、病理医はアルゴリズムがエラーを起こしたと 思われる変数を外して検索をもう一度行ったりした ユーザーがテストできるようにすることで、アルゴリズムの明示的な説明がな くとも、SMILY は暗黙的にユーザーにアルゴリズムの振る舞いを示した アルゴリズムに過剰に影響を与えているのではないかと恐れる
総じて、ユーザーは画像の見た目が変わったとしても、診断カテゴリはあまり 変わってほしくないようだった Refinement Strategies for Coping with ML (1/2) 45 -
1. Introduction 2. Related Works 3. User Needs 4. User
Interface and System Design 5. Tool Evaluation Study 6. User Study 7. User Study Results 8. Tool Use and Navigation Patterns 9. Decision Making and Coping With Black-box ML 10. Discussion <- 11. Conclusion TOC 46 -
1. Introduction 2. Related Works 3. User Needs 4. User
Interface and System Design 5. Tool Evaluation Study 6. User Study 7. User Study Results 8. Tool Use and Navigation Patterns 9. Decision Making and Coping With Black-box ML 10. Discussion <- 11. Conclusion TOC 48 -
SMILY のツールは信頼性と有用性を向上させるだけでなく、医療現場での意思決定 プロセスに貢献できることがわかった この研究により、機械学習の課題でも好機でもある次の内容に道筋を示した ブラックボックスである機械学習モデルは理解しにくいにもかかわらず、深層 学習モデルからの Embedding を用いると、新しく軽量な方法で、改善と探索 を行うための双方向的な手段を確立できる この研究により、医療診断における意思決定において、機械学習ベースのシステム
が専門家を置き換えるのではなく、支援することが可能だと実証できた この領域は将来に渡って重要性が増し続けるだろう Conclusion 49 -
A Human-Centered Evaluation of a Deep Learning System Deployed in
Clinics for the Detection of Diabetic Retinopathy Emma Beede, Elizabeth Baylor, Fred Hersch, Anna Iurchenko, Lauren Wilcox, Paisan Ruamviboonsuk, Laura M. Vardoulaki -
研究室ではうま くいくものも、 現実だとうまく いかないんだ よ、という論調 いい結果も残し ている (念の為) Techcrunch に煽られる
https://jp.techcrunch.com/2020/05/04/2020- 04-27-google-medical-researchers-humbled- when-ai-screening-tool-falls-short-in-real- life-testing/ 53 -
from How Google does Machine Learning (coursera) 1. 業務が未定義 2.
業務が定義され、手順書を作る <- 医療現場はここだった 3. 手順が明確になり、システム化を行う 4. 情報を可視化し、意思決定を行う 5. 意思決定の自動化 or 補助 <- 機械学習はここ 逆説的にこれが正しいと示す結果かもしれない 機械学習までのステップ by Google 54 -
Human-Centered Tools for Coping with Imperfect Algorithms During Medical Decision-Making
| Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems Google AI Blog: Building SMILY, a Human-Centric, Similar-Image Search Tool for Pathology A Human-Centered Evaluation of a Deep Learning System Deployed in Clinics for the Detection of Diabetic Retinopathy | Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems Healthcare AI systems that put people at the center Googleの失敗から学ぶ、AIツールを医療現場へ適用することの難しさ How Google does Machine Learning 日本語版 | Coursera Reference 55