SatSplat: Geometrically-Accurate Gaussian Splatting for Satellite Imagery

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge

本研究では、複数時期に撮影された衛星画像から高精度な数値表層モデル（DSM）を復元するため、2D Gaussian Splatting（2DGS）を衛星写真測量に適用したSatSplatを提案しています。従来の3D Gaussian Splatting（3DGS）を用いた手法は高速である一方、半透明な体積要素で表面を表すため深度のノイズや浮遊物が生じやすく、撮影時期ごとの照明変化にも弱いことが課題でした。本手法では、衛星カメラをアフィンモデルで近似して2DGSを再定式化し、学習中にカメラパラメータの微小な補正量を最適化します。さらに、幾何的な影マッピングとカメラごとの色補正により時間変化する影と照明を扱い、既存の粗いDSMを利用した初期化を導入しています。DFC2019とIARPA2016のベンチマークで評価した結果、従来の3DGS系手法より高い幾何精度を示し、DFC2019では既存の最良手法と比べて平均絶対誤差を11.93%、ピークGPUメモリを31%削減しました。本研究は、精度と計算効率を両立した大規模なDSM生成の可能性を示しています。

Transcript

1. 第33回 SatAi.challenge勉強会 SatAI.challenge勉強会 SatSplat: Geometrically-Accurate Gaussian Splatting for Satellite Imagery Dept of CSE, University of Nevada, Reno 八木 遼多 この資料に出てくる図は引用を明記しない場合は Song, S., Kim, J., & Qin, R. (2026). SatSplat: Geometrically-Accurate Gaussian Splatting for Satellite Imagery. arXiv preprint arXiv:2606.28581., https://arxiv.org/abs/2606.28581より引用 1
2. 自己紹介 2 • 経歴 ◦ 2018-2022 : 東京大学 航空宇宙工学専攻（学士） ▪ ◦ 2022-2024 : 東京大学 航空宇宙工学専攻（修士） ▪ ◦ Cross-View Geo-Localization 2024- : CSE, University of Nevada, Reno ▪ • 位置ずれの研究（ Template Matching） Wildfire, Satellite Imagery, Deep Learning 興味・関心 ◦ ◦ Deep Learning全般、特にCV系 最近は軌道力学/多様体に興味あり。
3. 概要 衛星画像から高精度な DSMを高速に作る • • • • 3 専門は衛星画像や航空写真からの 3D計測 Department of Civil, Environmental and Geodetic Engineering Photogrammetric Engineering and Remote Sensing誌の編集長（Editor-in-Chief）を務めて いるとの情報もあります。 https://ceg.osu.edu/people/qin.324 JAX-214の比較です。中央は Google Earthの参考画像、周囲は各手法の DSMです。SatSplatは屋上設備や円 形広場の形状を GTに近い形で復元し、 Skyfall-GSやEOGSより凹凸ノイズが少なくなっています。 https://gdaosu.github.io/satsplat/
4. タスク:多時期の衛星画像から、 DSM（地表の高さ地図）を復元する 入力 同じ地域を異なる日時に撮影した複数枚の衛星画 像と、そのカメラ情報（ RPC）、太陽の方向 4 出力 DSM https://www.sciencedirect.com/science/article/pii/S0924271622003276 評価：LiDARで測った正解 DSMとの高さの誤差（ MAE_reg）
5. Gaussian Splatting（ガウシアン・スプラッティング） • • • • 5 たくさんの写真から3Dの場面を作る手法、新規視点生成が目的 2023年にKerblらが発表した3D Gaussian Splatting（3DGS）が始まり NeRFよりも高速（NNを基本的に必要としない） 場面を、数万〜数百万個の「ぼやけた小さな粒」の集まりで表します。 粒ごとの数値（位 置、形、不透明 度、色）の一覧 https://pyimagesearch.com/2024/12/09/3d-gaussian-splatting-vs-nerf-the-end-game-of-3d-reconstruction/
6. 2DGS vs 3DGS 6 項目 3DGS 2DGS 粒の形 楕円体（ラグビーボール 型） 円盤（コイン型） 広がりの数 3方向 2方向（厚みは0） 面の向き（法線） はっきり決まらない 円盤の向きとして決まる 深度の求め方 粒の中心の深さで近似 光線と円盤の交点で正 確に計算 得意なこと きれいな画像 正確な表面形状 https://surfsplatting.github.io/ https://www.researchgate.net/figure/Motivation-a-The-ellipsoid-shape-of-3DGS-l eads-to-different-intersection-planes-in_fig1_394941061
7. 簡単な例 1/3 • パラメータ：粒200個 × 9個（位置2、広がり2、角度 1、色3、不透明度1）= 1,800個 7
8. 簡単な例 2/3 8
9. 簡単な例 3/3 9
10. 貢献 • 10 アフィンカメラ対応の2DGSを構築 ◦ 従来の2DGSはピンホールカメラが前提 ◦ 衛星用のアフィンカメラでの視線と円盤の交点を解析的に 導出 • • カスケード型カメラ最適化 ◦ カメラ行列の補正量（ 2×4）を学習中に同時に推定 ◦ 太陽方向と近傍視点のカメラも補正後の行列から生成 幾何を考慮した初期化 ◦ ASPで作った粗いDSMから円盤を配置 ◦ 表面積に比例してサンプリングし、壁面にも円盤を配置 ◦ 円盤の向きと大きさも DSMから設定 初期化 主カメラ、太陽カメラ を用いてレンダリン グ（再構成） 損失計算 パラメータ更新
11. 定量評価 MAE_reg (m) 11 . https://www.grss-ieee.org/community/technical-committees/2019-ieee-grss-data-fusion-contest/ • 衛星ステレオ用データセットで、正解として 航空機LiDARのDSMが付いている • 衛星はWorldView-3 • 両データとも、1タイルは約256 m × 256 m、解像度は30〜50 cm/画素 https://www.multimediauts.org/3DWorkshop_CVPR2016/slides/IARPA%20Multi-View%20Stereo%20(MVS)%203D%20Mapping%20Challenge.pdf
12. Fig. 4 新規視点レンダリングの比較 • • 12 EOGSは巨大なGaussianやフローターが残り、斜め視点で像がぼやけている。 SatSplatはsplatが地表面に密着しており、斜め視点でもタンクや道路の形が保たれている。
13. Fig. 5 データセットの定性評価 13
14. 限界とまとめ • 限界 ◦ • 2DGSは区分平面を仮定するため、 JAX-214の建物間の狭い隙間を平滑化 してしまう まとめ ◦ ◦ アフィン2DGS、差分カメラ最適化、DSM 初期化により、衛星DSMの精度を向上 させた DFC2019ではMAEを11.93%、ピーク VRAMを31%削減した 14
15. 所感 • • • • • 15 カメラ行列からGSまで学べて勉強になった。 2DGSを利用してDSMの推定をするのは面白いと思った。 3DGSでも使える技術があるから（アフィン2DGS、差分カメラ最適化）をそれとの比較も 知りたい。 ところどころ粗が目立つ（図・数式・定義）。 特に数式の次元が適当すぎて困った。