(ECCV2024) Multistain Pretraining for Slide Representation Learning in Pathology

Transcript

1. Multistain Pretraining for Slide Representation Learning in Pathology Kazuya Nishimura
2. 最近の興味と本日紹介する論文の関係 1 入力 病理診断の臨床現場ではさまざまな画像に付与されたラベル多数が存在 Neural Network 病理画像 ? 免疫染色 (immunohistochemistry) 遺伝子発現 遺伝子変異, バイオマーカーetc. { "gene": "BRAF", "mutation": { "type":"point_mutation", "nucleotide_change": "c.1799T>A", "amino_acid_change": "p.V600E" }, } 診断ラベル （アノテーション） Tumor Non-tumor 診断ラベル （アノテーション） 学習に役立てたい！！ メタデータ WSI を染色する技術で得られた画像のペアを活用する研究を紹介
3. Immunostaining (免疫染色) で何が得られる？ 2 画像 細胞 分子 がん細胞で増える分子がある 狙った分子にくっつく光る物質を用意 H&E stained ER … がんに関連する分子毎に用意 PR がん細胞に関連する箇所が色をもつ画像が取得できる
4. 論文概要：Multistain Pretraining for Slide Representation Learning in Pathology 3 Neural Network H&E Slide embeddings ER PR … Multi stain の画像を使ってそれぞれの stain に対する slide embeddings を取得したい
5. 背景：Self-supervised representation learning 4 Local-global contrastive [Xu+, nature 2024] Image-text contrastive [Xu+, nature medicine 2024] Contrastive learning [Ciga+, MLA 2024] HEだけの情報を使用していて 他の染色によって得られた情報を使えていない
6. 解決策：multi-stain の画像でより豊富なシグナルを獲得 5 ER PR … HER2, KI67 細胞の状態でどの遺伝子が 活性化するか変わる 下の画像だけPRが観測 Multi-stain の画像によって画像内の細胞状態がより詳細に示される 複数のシグナルを統合してより良い画像特徴の取得に役立てたい！
7. 手法の概要 6 Patch の埋め込みは既存 Slide embeddings のために学習
8. 1. Preprocessing: Patch 画像の作成 7 MILと同様な前処理 背景を削除＆patch 化
9. 2. Preprocessing: Patch 画像の作成 8 染色毎にstain encoding (trainable vectorを追加) 既存のモデルで特徴抽出
10. 3. Multi-head attention MIL でslide 特徴の取得 9 Multi-head attention でpatch 特徴を集約
11. 手法の Loss functions 10 𝐿 = 𝐿infoNCE + 𝐿𝐺𝑂𝑇 1. Cross-modal global alignment slide レベルのloss 2. Cross-modal local alignment patch レベルのloss 𝐿infoNCE = − log exp 𝑆𝑖,𝑖 HE,ER σ exp 𝑆𝑖,𝑗 − log exp 𝑆𝑖,𝑖 HE,PR σ exp 𝑆𝑖,𝑗 − log exp(𝑆𝑖,𝑖 HE, KI67) σ exp 𝑆𝑖,𝑗 − log exp(𝑆𝑖,𝑖 HE, HER2) σ exp 𝑆𝑖,𝑗 Stain の全てのペアでCLIP のように Contrastive learning Patch レベルの良い埋め込み HE → Stain への最適輸送問題 HE から各染色への輸送コストが最小になる埋め込みが良い Ƹ 𝑝HE → Ƹ 𝑝ER , … , Ƹ 𝑝HE → Ƹ 𝑝PR 全ての染色画像の特徴に輸送しやすい特徴を獲得する！ HE 染色PRなど
12. Cross-modal local alignment 11 Graph optimal transport として考える 𝑣1 HE 𝑒1,2 HE 𝑒1,𝑗 HE Patch 特徴の関係性を表すgraphを作成 𝑣1 ER 𝑣2 ER 𝐿𝐺𝑊𝐷 𝐿𝑊𝐷 LGOT = γ ෍ 𝑘=1 𝐾 L𝑛𝑜𝑑𝑒 ( Ƹ 𝑝𝐻𝐸 , Ƹ 𝑝𝑠𝑘 ) + (1 − γ) ෍ 𝑘=1 𝐾 L𝑒𝑑𝑔𝑒 ( Ƹ 𝑝𝐻𝐸 , Ƹ 𝑝𝑠𝑘 ) Node間のWasserstein distance Edge間のGromov-Wasserstein distance
13. Dataset Breast Acrobat: ✓ MICCAI challenge の公開データセット ✓ 4211 WSIs ✓ ER: 844, PR: 837 HER2: 534, KI67: 843 検証用 TCGA Breast, BCNB, AIDPATH, BWH Breast, MGH Breast Kidney BWHで学習（同じく4000程度）、 Renal allograft rejection で検証 12 Private
14. 検証方法  Few-shot classification： WSI 数枚の教師でクラス分類 tuning には linear probing を採用  Suvival prediction: 患者の生存時間を推定するタスク regression head をtuning  Fine-tuning: 普通のclass 分類 13
15. Few-shot classification のまとめ 14 Dataset 1 Dataset 2 Dataset 3 Dataset 4 全体的に提案手法が性能が良かった
16. Suvival prediction & classification 15 ピンクが提案 ピンクが提案 ピンクが提案 提案手法がどのタスクでも性能が高いことを確認
17. Ablation study 16 GOT とINTRA は ほぼ一緒 既存のcontrastive GOT とInfoNCE を組み 合わせると性能向上 Loss 関数の検証 Feature extraction の検証 CONCH では性能向上しているが、 CTRANSPATHで性能が向上しない Domain specific なfeature encoder が必要 ?
18. Ablation study: architecture について 17 Single head TransMIL Stain encoding Multi-head attention
19. Attention visualization 18 Non-tumor Tumor Tumor をみてそう Non-tumor をみてそう
20. まとめ 目標： Multi-stain 画像を使って slide embeddings representation 手法： Stain 間のcontrastivelearning+patch 間の最適輸送による表現学習 実験： 21のタスクで性能検証して手法の有効性を証明 Limitations: ✓ Data scaling: 臨床で使われるIHCは常に進化。他のマーカー遺伝子（EGFR, P53など）なども使えるかも ✓ Lack of public datasets: Acrobat だけが大規模データセット。もっと必要 ✓ Model scaling: 3090で学習しているのでbatch size が小さい。より大きい batch sizeでcontrastive learning を行う場合を検証 19