Vector Map as Language: Toward Unified Remote Sensing Vector Mapping

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge

本研究では、リモートセンシング画像から建物・道路・水域などを統一的にベクター形式の地図データとして生成する手法を提案してています。従来手法では、建物や水域のような閉じた地物にはポリゴン表現、道路網のようなつながりを持つ地物にはグラフ表現が使われてきました。しかし、地物ごとに表現方法が異なるため、複数カテゴリを単一の枠組みで扱いにくい課題がありました。そのため、提案手法では、地物のジオメトリ・意味・トポロジといった共通要素を、新たに設計した構造化言語で表現することで、この課題の解決を図りました。また、局所領域ごとに段階的にベクター化する工夫や、生成結果を構文・内容・地図データとしての忠実度の観点から最適化することで、異なる地物を同じ枠組みで扱えるようにしました。

Transcript

1. Vector Map as Language: Toward Unified Remote Sensing Vector Mapping 青木 亮祐 / ぴっかりん(@ra0kley) 1 第29回 SatAI.challenge勉強会
2. 目次 2 • 自己紹介スライド • 研究の1ページサマリ紹介 • 研究の背景（Introduction） • 手法について（Method） • 実験（Experimet） • 結論（Conclusion）
3. 3 発表者紹介 This image was generated by ChatGPT
4. 青木 亮祐（ぴっかりん） ⚫ 株式会社パスコ 生成AI戦略開発部 ⚫ 一般社団法人OSGeo日本支部( OSGeo.JP ) 運営委員 ⚫ FOSS4G Hiroshima 2026 LOCメンバー 自己紹介 4 X（旧Twitter） GitHub 過去に個人で行った衛星データ関連の発表 個人で作ったSAR画像を用いた位置当てゲーム
5. 5 1ページサマリ This image was generated by ChatGPT
6. Vector Map as Language: Toward Unified Remote Sensing Vector Mapping 6 リモートセンシング画像からベクター形式で地図を描くタスクを「構造化した言語の 生成」として扱い、複数カテゴリのベクター形式データ化を統一的に解く枠組みを提案 • 既存手法は、ベクトルオブジェクトをポリゴンまたはグラフとして表現することが多く、 特定のタスクにしか適していない • 人間のコミュニケーションの媒体である言語が、ジオメトリ、意味、トポロジなどの異種の要素に 対応できる柔軟で表現力豊かな表現を提供することに着目 • 提案手法が汎用的に使える手法であることを実験で実証 Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
7. 7 研究の背景 This image was generated by ChatGPT
8. 背景: リモートセンシング画像からのベクター形式での地図作成 8 そもそもどんなタスク？ • リモートセンシング画像から地物を抽出し、構造化された地図データを作るタスク • 各地物は、意味、ジオメトリ、トポロジといった共通要素を持つ • 目視判読やAIモデルなどを用いて、地物の境界やカテゴリ、 接続関係を推定し作成 • 出力はベクター形式であることが多い 例: 建物ポリゴン、水域ポリゴン、道路ネットワーク 等 なぜベクター形式を採用しているか？ • 人の手や機械で編集しやすく、保存しやすい • 容量が小さく保存効率が良い • 空間的な解析に適している Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
9. 背景: 既存手法とその課題 9 ベクター形式での地図の表現手法は、主に2つの種類がある 課題 単一のフレームワークにて、複数カテゴリの意味、ジオメトリ、トポロジ的な情報を共通的にモデル化 できない → 一般化、汎用性へのボトルネック ※ GPT-Image-2.0を用いて作成
10. 10 手法について This image was generated by ChatGPT
11. 手法の概要 11 提案手法は以下の3つの要素で構成 Vector Structured Language (SVL): ジオメトリ、意味、トポロジを含むGeoJSONのような構造化されている表現の言語を設計 Progressive Vectorization Framework (PVF): リモートセンシング画像から地図データ化する部分を特定し、SVLとして出力する処理部分 Hierarchical Vector Language Optimization (HVLO): SVLの品質改善部分、構文、内容、実行可能性の3つのレベルから改善を実施 Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
12. 手法1: Vector Structured Language (SVL) 12 Vector Structured Language (SVL) ベクター形式の地図データをGeoJSONのような構造化されている言語で表現したもの 以下、この資料中でSVLとして記載する 何を言語で表す？ さまざまな地物があるが、以下の4つの要素を1つの共通のセットとして表す ID: 各地物を識別するためのID クラス: 意味カテゴリ（道路、建物など） ジオメトリ: 形状の情報、ポリゴンもしくはポリラインなど トポロジ: 包含関係や交差関係などの関係性 異なる地図オブジェクトを同じ言語空間で表現することが可能に！！ Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
13. 手法1: Vector Structured Language (SVL) 13 地図と言語の変換 ⚫ 学習データと推論結果を統一するために、既存のベクター形式のデータをSVLに 変換が必要 ⚫ ポリゴンベースの地物は、各地物ごとにパッチとして切り出して変換 ⚫ 道路などのグラフベースのデータは、独立したインスタンスごとに切り出せないので、 一定のパッチで対象範囲を切り出し、作成する Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
14. 手法2: Progressive Vectorization Framework (PVF) 14 Progressive Vectorization Framework (PVF) 構造化マップ要素生成のための視覚的な基盤を提供する リモートセンシング画像を入力したときの処理の課題 直接的なフルマップ生成では、処理シーケンスが長くなり、推論が不安定になり、 GPUメモリ消費量も高くなる傾向がある 解決策 1. VLMを用いて抽出したいカテゴリの地物を bboxで抽出 2. bboxの結果に従い、画像を切り出す 3. 2.の結果ごとに切り出された範囲を対象に VLMを用いてSVLを生成 4. 切り出された範囲ごとに生成されたSVLを 統合し、フルマップ範囲のSVLを作成 Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
15. 手法2: Progressive Vectorization Framework (PVF) 15 Vectorization Unit Localization 役割: VLMを用いて、大きなサイズのリモートセンシング画像と対象カテゴリのテキストから対象の 地物を見つけ、bounding boxで出力する 学習方法: P.13で述べた方法で作成したデータ（bounding box）と画像をペアにして 教師ありファインチューニングと強化学習を含む事後トレーニングを実施 → 一般的に公開されているVLMは、密集した小さな領域を特定するのが苦手のため Structured Map Element Generation 役割: 上で検出された地物のbounding box単位でパッチとして切り出し、 パッチ画像と対象カテゴリと出力形式を指定するテキストを入力し、 パッチ単位のSVLを出力する 学習方法:モデルにSVLの文法と、画像からベクトル構造へのマッピングを学習させる 具体的には、教師ありファインチューニングを行い、その後強化学習を実施 教師ありファインチューニングは、LoRAを用いて実施 強化学習については、後述のHVLOを使用
16. 手法3: Hierarchical Vector Language Optimization (HVLO) 16 この時点での提案手法の課題 教師あり学習により、SVLをトークンレベルで模倣することは可能 しかし、位置情報も含んでいるので、より高い精度の出力結果が必要 → 位置座標が1文字でも異なると、形状などが歪む Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
17. 手法3: Hierarchical Vector Language Optimization (HVLO) 17 この時点での提案手法の課題の解決策 以下3つの報酬の加重和をHierarchical Rewardと定義し、強化学習（GRPO）を行い精度を改善 ⚫ Syntax-Level Reward 言語としての構文があっているかを評価 → 言語の構文が誤っている場合ペナルティを与える ⚫ Content-Level Reward カテゴリとジオメトリタイプがあっているかを評価 → カテゴリが誤っている場合、ペナルティを与える → ジオメトリタイプが異なる場合、ペナルティを与える → 無効なジオメトリな場合、ペナルティを与える → 頂点数や線分数の違いにより、ペナルティを与える ⚫ Executability-Level Reward 予測のSVLをベクトルジオメトリに変換した後に、GTの形状とどれだけ一致するかをチェック → IoUやハウスドルフ距離を用いて形状の類似度に基づき、ペナルティを与える Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
18. 18 実験 This image was generated by ChatGPT
19. 実験: ベンチマークデータセットの構築 19 VecMap-Bench 建物や水域などのポリゴンオブジェクト、道路などのネットワーク状オブジェクトを含む、 異なる構造を含めた約54,000枚の画像と800,000個の地物が含まるベンチマークデータセットを作成 Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
20. 実験: ベンチマークデータセットの構築 20 使用したデータセット 建物単体: WHU 道路単体: CityScale 水部単体: EvLab-SS、GID、WAQS 複数クラスの評価: IRSAMap 汎用性の評価（データセット間の評価）: CrowdAI、SpaceNet 汎用性の評価（オープンボキャブラリ性の評価）: COCO、iSAID 作成方法 1. 元のデータセットから低品質のアノテーション、不完全なオブジェクト、矛盾する画像ラベルの ペアを除去してクリーンアップ 2. アノテーションされた頂点を単純化して冗長な点を削減しつつ、主要な幾何学的構造を維持 3. すべてのアノテーションを構造化ベクトル言語（SVL）に変換
21. 実験結果: 単一クラスでの性能 22 建物は既存手法より精度が高い結果となった 道路と水辺は、既存手法の方が精度が高いが、追従はできている結果となった → ポリゴンとグラフのような構造の両方に対して統一的なソリューションを提供できることを示唆 Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
22. 実験結果: 単一クラスでの性能 23 既存手法と提案手法の判読結果の比較 カテゴリ固有の表現に頼ることなく、多様な単一クラスのベクトルマッピングタスクを 処理できることを示唆 Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
23. 実験結果: 複数クラスでの性能 24 全てのカテゴリにおいて、既存手法より精度が高くなった 提案手法がカテゴリ固有の出力ヘッドや個別のベクトル表現なしに、ポリゴンおよびネットワーク状の 地物を統合的にモデル化できることを示した Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用 ※ Mask R-CNNとMask2Formerは、判読結果のマスクをDouglas-Peuckerアルゴリズムを用いて ベクター形式に変換
24. 実験結果: 複数クラスでの性能 25 既存手法と提案手法の判読結果の比較 ポリゴンベースの道路抽出はある程度ポリゴンを推論できるが、道路の接続を表現するのが難しい →トポロジー的に不正確な道路網が生成 インスタンスレベルの形状とネットワーク接続の両方をより精度よく生成し、複数クラスの ベクトル形式の地図データを構造化言語として表現することの有効性を確認 Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
25. 実験結果: 異なるデータセット間での汎化性能検証 26 学習データセットと地理的地域、画像条件などが異なるデータセットで評価を実施 学習していない異なるデータセットにおいても、高い精度を示した Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
26. 実験結果: 異なるデータセット間での汎化性能検証 27 既存手法と提案手法の判読結果の比較 タスク固有の手法では、オブジェクトの欠落、形状の断片化、トポロジの劣化といった問題が発生 提案手法であるSVLが、モデルがデータセット間で幾何学的およびトポロジ的な事前情報を 再利用するのに役立ち、汎化性を向上させることを示唆 Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
27. 実験結果: オープンボキャブラリ性 28 柔軟性を検証するため、テキストプロンプトを用いて、未知のリモートセンシングカテゴリに対する オープンボキャブラリ性を評価 → 提案手法は、未知のリモートセンシングカテゴリで優れた性能を発揮 オープンカテゴリのベクター形式でのマッピング能力を大幅に向上させることを示唆 Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
28. 実験結果: オープンボキャブラリ性 29 未知のカテゴリに対する判読結果 リモートセンシング画像における未知のカテゴリや自然画像においても抽出およびベクトル化が出来ている 提案手法が明確な構造境界を持つ未知の地物に対して、抽出およびベクトル化できることを示唆 また、VLMに一定のオープンボキャブラリー分割およびベクター形式データ化を与えられることを示唆 Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
29. 実験結果: 大規模シーンでのベクトル化 30 学習していない広い範囲のリモートセンシング画像において推論を行い、 定性的に精度が落ちないことを確認 紹介論文のプロジェクトサイト https://github.com/yyyyll0ss/VecLang より引用
30. 実験: Ablation Studies and Analysis 31 Component Ablation 提案手法を構成する3つの要素の貢献を分析 → Qwen3-VL-4B単体では、精度が低い → それぞれの要素を入れると精度が向上し、3つのすべての要素が精度に貢献していることを確認 Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
31. 実験: Ablation Studies and Analysis 32 Reward Ablation syntax-level、content-level、execution-levelの報酬をさまざまな組み合わせで使用して、 SVLの最適化を分析 → 3つの報酬が相補的であることを示した → syntax-levelの報酬のみだとフォーマットの妥当性だけでは正しい形状やトポロジを 保証できないため、パフォーマンスは向上しない → トポロジに敏感な道路のベクター形式データは、特に有効 Yinglong Yan et al. “Vector Map as Language: Toward Unified Remote Sensing Vector Mapping,” arXiv preprint, 2026. より引用
32. 33 結論 This image was generated by ChatGPT
33. 結論 34 ベクトル形式の地図データの共通要素であるジオメトリ、意味、トポロジーを「構造化言語」として 再定義することで、多様な地図要素の生成を単一のVLMで扱えるようにし、高い精度と汎用性を実現 • 提案手法のうち2つの要素である、GeoJSONに似たStructured Vector Language（SVL）と Progressive Vision-language Framework（PVF）を用いることで、多様な地物をエンコード、 生成し、ベクター形式の地図データに変換可能 • 提案手法の要素であるHierarchical Vector Language Optimization（HVOL）を用いることで、 構文の妥当性、内容の一貫性、ジオメトリやトポロジの忠実度がさらに向上した • 単一クラス、複数クラス、クロスデータセット、オープンボキャブラリ性といったさまざまな 実験により、提案手法の抽出精度の高さと汎化性能を示すことができた