EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge
紹介する論文は 「EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing」 です。本研究では、Visual Prompting が可能な EarthMarker というマルチモーダル大規模言語モデル（MLLM）を構築し、image-level、region-level、point-level の各レベルで大規模言語モデルによる衛星画像の自動判読を実現しました。その結果、複数の下流タスクにおいて、従来の MLLM を大幅に上回る性能を達成しました。さらに、Visual Prompting MLLM を構築するためのフレームワークと、新しいデータセットも同時に提案しています。

Transcript

1. EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing
 修　浩毅
 1 第9回 SatAI.challenge勉強会

2. 目次 
 2 • 自己紹介スライド
 • 研究の1ページサマリ紹介 
 • 研究の背景（Introduction） 
 • 手法について（Method） 
 • 実験（Experiment）
 • 結論（Conclusion）

3. 3 著者紹介 This image was generated by ChatGPT
4. 修　浩毅 産総研 データプラットフォーム研究チーム • 3次元点群解析 • コンピュータ・グラフィックス • 建物被害検知 点群セグメンテーション 自己紹介 4 GitHub Linkedin 点群からの法線推定 航空ライダーからの建物被害検知
5. 5 研究の1ページサマリ紹介 This image was generated by ChatGPT
6. EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing 
 
 6 • 初のRS visual prompting対応MLLMを提案。衛星 画像をpoint, region, imageレベルで判読可能。 
 • visual prompting 学習フレームワークを提案 
 • RS visual promptingデータセット（RSVP）を提案 
 • 下流タスクにてSoTAを達成 
 RS分野初のvisual promptingに対応可能マルチモーダル大規模言語モデル（MLLM) EarthMarkerを構 築
 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用
7. 7 研究の背景 This image was generated by ChatGPT
8. 背景： Prompting 
 8 • 大規模言語モデル（LLM）は、事前学習後にpromptを与えることで、学習時に見たことのないタスクやデータ分布 にも対応できる
 Brown et al. (2020), “Language Models are Few-Shot Learners”, arxiv より引用
9. 背景： Visual prompting 
 9 • Visual prompting に対応するモデルを構築することで、学習時に見たことのないタスクやデータ分布にも対応で きるビジョンモデルを構築可能 
 Kirillov et al. (2023), “Segment Anything”, arxiv より引用
10. 背景： Visual prompting for remote sensing 
 10 • Visual prompting に対応するRSモデルを構築するこ とで
 ◦ 未知のタスクやデータに対応 
 ◦ 興味があるところだけ解析 
 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用
11. 背景： Visual prompting for remote sensing 
 11 • visual prompting をRS 画像に適用する際の問題点 
 ◦ リモセン画像の判読は難しい 
 ▪ scale variations
 ▪ cross-category diversity 
 ▪ complex contextual semantic information
 ◦ 自然言語だけでは領域を正確に定義できない 
 ◦ （先行研究）image-levelの判読は可能だが、 より詳細な判読（region-level, point-level）は 難しい
 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用 上記の問題を考慮し、visual prompting に対応するRS MLLMを構築する

12. 12 手法について This image was generated by ChatGPT
13. Model architecture 
 13 Sharing visual encoding module 
 • 画像とvisual promptを共通のencoderで処理すること によって、両者の関係性をより考慮した特徴量を作 成
 • MoV: parallel encoder (DINOv2-ViT L/14 & CLIP-ConvNeXt)
 • 画像はmulti-resolution化 
 • visual promptは画像化 
 
 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用
14. Model architecture 
 14 modality-align projection 
 • visual tokens (画像とvisual prompt特徴量）を言語モ デルが扱える特徴量空間に投影 
 
 text tokenizer
 • text tokenizerでtext instructionを埋め込む 
 
 上記の二つを組み合わせ、multimodal input sequenceを作 成し、LLMに入れる
 
 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用
15. Model architecture 
 15 LLM decoder
 • 画像、visual promptを組み合わせることによって、 image, region, point-levelの表現を扱う 
 • text instructionを組み合わせることによって、テキス トに応じた判読結果を生成 
 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用
16. Cross-domain training 
 16 自然画像とリモートセンシング（RS）データのドメインギャッ プを埋め、一般的なドメインの知識を効果的にRSドメイン へ適応させるため、Cross-domain trainingを提案 
 
 
 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用
17. Cross-domain training 
 17 Phase 1: multi-domain image-text alignment 
 自然画像とRS画像を同時用いて画像とテキストをalignし、 包括的なvision-langauge表現を獲得 
 • データセット
 ◦ COCO Caption
 ◦ RSVP (本研究で提案） 
 • projectionだけトレーニングし、画像とテキストの alignmentだけを学習 
 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用
18. Cross-domain training 
 18 Phase 2: Spatial Perception Tuning 
 空間的な、オブジェクトレベルの表現を獲得する 
 • データセット
 ◦ RefCOCO
 ◦ RefCOCO+
 • LLMをトレーニングし、より詳細な空間的概念を扱え るようにする
 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用
19. Cross-domain training 
 19 Phase 3: RS Visual Prompting Tuning 
 モデルがtext instructionに従い、region-level、point-level のタスクを実行できるようにする 
 • データセット：RSVP （本研究で提案） 
 ◦ region-text, point-text ペア 
 • LoRAでparameter-efficient training 
 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用
20. RS visual prompting dataset construction 
 20 既存のRSデータセットからの変換 
 • タスク：scene classification, referring object classification, image captioning, region captioning, and relationship analyses 
 • 解像度
 • グローバル
 
 data structure
 for each item, 
 • Visual prompts 
 • User instructions
 • (answers)
 • an image 
 
 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用
21. RS visual prompting dataset construction 
 21 image-level 
 • image classification and image captioning のデータ セットから変換
 • text instruction: “Please provide a detailed description of the ⟨Region i⟩ in the image”
 • バウンディングボックスは画像全体 
 
 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用 region-level 
 • object detection のデータセットから変換 
 • GTバウンディングボックスをそのままRegionに使用 
 • text instruction: “please provide the brief caption of each marked region in the image” 
 • answer format: “⟨Region 1⟩ : A big airplane on the left\n < ⟨Region 2⟩ : A small vehicle on the top\n, . . . ,‘bbox’: [x1, y1, x2, y2], . . .” 
 
 point-level 
 • instance, semantic segmentation のデータ セットから変換
 ◦ ins. seg.: representative points (?) 
 ◦ sem. seg.: 32x32 patch に分割し、各 パッチからランダムにPointを一つサ ンプリング
 • text instruction: “please identify the category of each marked point in the image.” 
 • answer format “⟨Mark 1⟩ : Label 1\n⟨Mark 2⟩ : Label 2\n, . . . ,‘points’: [x1, y1], [x2, y2], . . .” 
 

22. GPT4V-Assisted Visual Prompting Data Generation 
 • クラスラベルや既存のデータセットのキャプションは シンプル
 • GPT4Vによって既存データを拡張 
 ◦ Set-of-Mark (SoM) promptingを使用 
 RS visual prompting dataset construction 
 22 Yang et al. (2023), “Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V”, arxiv より引用
23. 23 実験 This image was generated by ChatGPT
24. • prompt: 
 ◦ image-level bounding box 
 ◦ ”Please identify the object category of each marked region in the image” 
 • findings 
 ◦ Non-RSのMLLMを大幅に上回る 
 ◦ GeoChatよりも高精度 
 24 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用 zero-shot scene classification 
 Non RS
 RS

25. • prompt: 
 ◦ image-level bounding box 
 ◦ ”Please provide a brief caption of each marked region in the image.” 
 • findings 
 ◦ 既存のexpertモデルよりも高い精度を達成 
 25 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用 Image Captioning on NWPU-Captions dataset 
 Non RS
 RS

26. • prompt: 
 ◦ region-level bounding box 
 ◦ ”Please identify the category of the marked region in the image” 
 • findings 
 ◦ 既存のNon-RS 高性能 
 ◦ 既存のRSモデルと比べても大幅に性能アップ 
 26 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用 Referring Object Classification on DIOR-RSVG dataset 
 Non RS
 RS

27. • prompt: 
 ◦ region-level bounding box 
 ◦ ”Please provide a brief caption of each marked region in the image” 
 • findings 
 ◦ 既存のNon-RS 高性能 
 ◦ 既存のRSモデルと比べても大幅に性能アップ 
 27 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用 Region Captioning on DIOR-RSVG dataset 

28. ablation studies
 • shared encoder：CNNとViTの組 み合わせが一番いい 
 • データセットの組み合わせ：全部 合わせたほうがいい 
 
 計算コスト
 • GPU：an NVIDIA RTX A6000 
 • 計算コストは比較的高い 
 28 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用 Ablation studies and computation analysis 

29. 29 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用 Visualization 

30. 30 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用 Visualization 

31. 31 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用 Visualization 

32. 32 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用 Visualization (failure cases) 

33. 33 結論 This image was generated by ChatGPT
34. 結論 
 34 • RSで初のvisual prompting MLLMを構築 
 • visual prompting MLLM構築のためのフレームワークとデータセットを提案 
 • image-level, region-level 及びpoint-levelの下流タスクにおいてNon-RS、RSモデルよりも大幅に性能向上 
 
 
 Zhang et al. (2025), “EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing”, IEEE TGRS より引用