(CVPR2024) Modeling Dense Multimodal Interactions Between Biological Pathways and Histology for Survival Prediction

Transcript

1. Modeling Dense Multimodal Interactions Between Biological Pathways and Histology for Survival Prediction 論文読み会 西村和也
2. 最近の興味と本日紹介する論文の関係 1 入力 病理診断の臨床現場ではさまざまな画像に付与されたラベル多数が存在 Neural Network 病理画像 ? 免疫染色 (immunohistochemistry) 遺伝子発現 遺伝子変異, バイオマーカーetc. { "gene": "BRAF", "mutation": { "type":"point_mutation", "nucleotide_change": "c.1799T>A", "amino_acid_change": "p.V600E" }, } 診断ラベル （アノテーション） Tumor Non-tumor 診断ラベル （アノテーション） 学習に役立てたい！！ メタデータ 遺伝子発現を解釈しやすい形で扱う方法を紹介
3. 遺伝子発現の観測方法 … Tissue 切り出す Whole slide image シーケンサー Bulk transcriptomics … Count RNA seq. ペアで取得される 2
4. 論文概要：Modeling Dense Multimodal Interactions Between Biological Pathways and Histology for Survival Prediction 3 Neural Network Pathways （遺伝子の事前知識）を導入したmulti-modelの推定方法を提案 病理画像 入力 Bulk transcriptomics … Count 出力 Survival Prediction … Risk Time Pathways 遺伝子と biological Function の関係性 + Visualize
5. 背景： Survival Prediction with multi-modal data 4 特徴を統合する方法が注目 統合を考える前に意味のある特徴が取り出されているのか？ Modal 間の関係性を説明することができないか？ Interpretability を持つ multi-modal を考える！！ [Chen+, IEEE TMI 2023] 画像，遺伝子の特徴を 統合して推定 [Qiu+, ICLR 2023] Attention で統合して推定 [Xu+, ICCV 2023] OT-based Attention を提案
6. Interpretability of multi-modal model [Wang+, IEEE Trans. 2021] 感情とA, L, Vという指標とクラスの対応関係をvisualize [Liang+, ICLR 2023] 単語と画像の位置をvisualize しつつ推定 Multi modal がどこに寄与するかを可視化しつつ推定 1. 遺伝子発現でも何らかのclassと紐付けて考えたい 2. そのclass と画像の関係を踏まえた visualize もしたい 5
7. 遺伝子を解釈するアイデア：pathway解析（ざっくり） Cell death Pathway 事象や機能 GNAS PCNA TP53 作用 IL6 EGFR JUN PTG2 作用 作用 RERP GAL 作用 作用 遺伝子間でどういう相互作用が発生し，生物学的な機能を持つのかの関係を解析する方法 PCNA Pathway解析でCell death に関連する遺伝子発現を調べることができる 判明しているPathwaysを元に生物学では実験結果の理由を考える 6
8. 手法のやりたいことのざっくりイメージ 病理画像 入力 Bulk transcriptomics … Count Patch emb. Pathway emb. Pathwayに基づいた 埋め込みに変換 𝑓𝑔 𝑓𝑖 Transformer Survival Prediction … Risk Time 生物学的機能に 紐づいた推定＆可視化ができる？ 7
9. Pathway解析に基づいた tokenize Pathways を踏まえると 各経路に紐づく遺伝子が分かる Pathway Genes Cell death TP53, PCNA, … COX reactions PTGS1, PTGS2, … … … EMT ANPEP, IL6 … 遺伝子全て Pathway に関係する遺伝子だけ のnodeを接続 Pathways この埋め込み自体は後続の学習 8
10. Attentionの工夫に関して 全部self attention みたいに計算すると大変 4 block に分けてattention Patch をpathway の重み付で計算 9
11. 実験結果に関して
12. Dataset TCGA  BLCA, BRCAA, STAD, COADREAD, HNSC で検証 Pathway に関して： 二つのデータベースから4999 gene に紐づく 331 pathways を収集 11
13. Survival prediction の推定性能の比較 12
14. Survival prediction の推定性能の比較 13
15. Ablation study MLPで遺伝子から埋め込み 従来手法で埋め込み 使うpathwayを変更 提案のattention が高精度 14
16. Patch とpathway の関係性を可視化可能 Patch とpathway Pathway間の関係性が見れる Patch にかかる attentionを可視化 15
17. より詳しいvisualize 上皮細胞の分化は？ 炎症反応は？ 代謝は？ Risk への寄与が変わっているのが見える 16
18. まとめ 目標：multi-modal な survival prediction アイデア：生物学的機能に紐づいたpathway を介して遺伝子発現から 意味を持った埋め込み表現を獲得 手法：pathway tokenizeとparam. Efficient なattentionを導入 結果：従来よりも高い解釈性を示すことができた 懸念点：  比較手法の性能が論文毎にコロコロ変わっている  あくまで得られる埋め込みはsurvival prediction に紐づく埋め込みで 本当に生物学的機能と関連しているのかは疑問  Patch 間の相互作用が性能を向上させなかったらしい ✓ 何故patch間よりpathway 由来のよくわからないvector が寄与するかが不明 17