SatelliteFormula: Multi-Modal Symbolic Regression from Remote Sensing Imagery for Physics Discovery

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge

本研究では、衛星画像から予測精度の高い数値モデルだけでなく、人間が解釈可能な数式を直接発見することを目的として、マルチモーダルSymbolic Regression（記号回帰）手法であるSatelliteFormulaを提案しています。従来のNDVIやSAVIなどの衛星観測指数は専門家によって設計されており、一方で深層学習による推定手法は高精度であるものの、物理的な関係性の解釈が難しいという課題がありました。本手法では、Swin Transformerを用いてマルチスペクトル衛星画像から空間・波長特徴を抽出し、TransformerベースのDecoderによって数式を生成します。さらに、予測誤差や数式構造に加えて物理的な制約をLoss関数に組み込み、精度と解釈可能性の両立を目指しています。SRBenchおよびOpen-Canopyデータセットで評価した結果、SRBenchでは平均R² = 0.9930を達成し、NDVI、NDWI、SAVIなどの衛星観測指数の再現においても高い予測精度を示しました。一方で、既知の数式構造への依存やデータ量の増加に伴う精度の不安定性などの課題も残されています。本研究は、衛星画像から物理的に意味のある関係式を自動抽出する可能性を示しており、従来のブラックボックス型AIから解釈可能な科学的知識の発見へと発展させる新たなアプローチとして注目されます。

Transcript

1. 第33回SatAI.challenge勉強会 SatelliteFormula: Multi-Modal Symbolic Regression from Remote Sensing Imagery for Physics Discovery Helios 佐々木謙一
2. ✦ 目次 • 研究の1ページサマリ紹介 • 研究の背景（Introduction） • 手法について（Method） • 実験（Experiment） • 結果（Results） • 結論・考察（Conclusion） Zhenyu Yu et al. (2025), SatelliteFormula, arXiv:2506.06176 2
3. 著者紹介 3 This image was generated by ChatGPT
4. 佐々木謙一 • 2012-2016:東工大機械宇宙学科 • 2016-2019:東工大院松永研究室 • 2019-2023:CU Boulder Aerospace Engineering Ph.D. in Remote Sensing, Marine pollution monitoring • Internship • 2023-2025: Esri, product engineer in spatial analysis team • 2025: Helios Founder & CEO
5. 要約 5 This image was generated by ChatGPT
6. ✦ SatelliteFormula: 研究の1ページサマリ 衛星画像から、予測値だけでなく「人が読める数式」を生成する INPUT METHOD OUTPUT マルチスペクトル画像 （空間・波長情報） Swin Transformer ＋数式 Decoder ＋Physics loss 解釈可能な式 f(B,G,R,NIR,…) 主張：精度と式の簡潔さを両立。物理法則そのものの発見は別途検証が必要。 Zhenyu Yu et al. (2025), SatelliteFormula, arXiv:2506.06176 5
7. 論文紹介 7 This image was generated by ChatGPT
8. Introduction ✦ なぜ Symbolic Regression なのか • NDVI / SAVI などの従来指数は専門家が式を設計 • Deep Learning は高精度でも、式としての解釈が難しい • Symbolic Regression（SR）は入力と目的変数の関係を数式として探索 • しかし既存の SR は表形式データ向けで、画像の空間・波長構造に弱い Zhenyu Yu et al. (2025), SatelliteFormula, arXiv:2506.06176 7
9. ✦ Introduction 研究目的とアプローチ 研究目的 提案の特徴 多波長衛星画像から ・精度の高い予測 ・簡潔で解釈可能な数式 ・物理的にもっともらしい関係 を同時に得る ① 空間・波長特徴を Swin Transformer で抽出 ② Transformer により式を生成 ③ 物理制約を Loss に追加 注意：「既知の式の再現」と「未知の法則の発見」は異なる評価課題 Zhenyu Yu et al. (2025), SatelliteFormula, arXiv:2506.06176 8
10. Method ✦ 問題設定：画像から数式を推定 観測データ : D = {(xᵢ, yᵢ)} 目標 : yᵢ ≈ f(xᵢ) • • x : 衛星画像に由来するスペクトル値・ 空間特徴 y : NDVI、地表面温度、植生関連変数 などの目的変数 • 演算子 : ＋, −, ×, ÷, exp, log • 予測誤差・数式の複雑さ・物理整合性のバランスを最適化 Zhenyu Yu et al. (2025), SatelliteFormula, arXiv:2506.06176 10
11. ✦ Method SatelliteFormula のアーキテクチャ Multi-spectral Image → Swin-B Image Encoder → Feature Fusion → Transformer Expression Decoder → Symbolic Formula 式の教師情報 → Expression Encoder → Fusion / Decoder に条件付け • 画像特徴と式の構造情報を Attention で統合 • 推論時には未見画像に対する候補式を生成 Zhenyu Yu et al. (2025), SatelliteFormula, arXiv:2506.06176 11
12. ✦ Method Physics-guided loss Ltotal = λcon Lcon + λMSE LMSE + λCE LCE + λphy Lphy Lcon LMSE 画像表現と target 特徴の整合 予測値と教師データの差 LCE Lphy 生成式と既知の式構造の整合 発散と Source の保存則残差 Zhenyu Yu et al. (2025), SatelliteFormula, arXiv:2506.06176 12
13. ✦ Method 最適化プロセス Stage 1 Stage 2 Stage 3 Image Encoder を事前最適化 式 Decoder と SR を最適化 BFGS によって連続定数を微調 整 Consistency Loss ４種類の Loss 式の Refinement 論文中の設定： λcon=0.5, λCE=0.5, λMSE=1.0, λphy=0.1 Zhenyu Yu et al. (2025), SatelliteFormula, arXiv:2506.06176 13
14. ✦ Experiment データセット・比較手法 データセット 比較手法 SRBench：汎用の数式回帰問題 Open-Canopy：SPOT 6/7 衛星画像 Expanded Open-Canopy：追加サンプル・条件 画像入力：256 × 256 MMSR TPSR End2End / NeSymReS SymbolicGPT 評価：R², MAE, RMSE, Nodes（数式木のノード数） Zhenyu Yu et al. (2025), SatelliteFormula, arXiv:2506.06176 15
15. ✦ Results SRBench：精度と数式の複雑さ 平均性能（論文 Table 1） 手法 平均 R² ↑ 平均 Nodes ↓ MMSR 0.9934 21.3 SatelliteFormula 0.9930 21.3 TPSR 0.9264 24.4 NeSymReS 0.7528 26.2 SymbolicGPT 0.6311 32.4 MMSR が平均 R² でわずかに上回る。Nodes は同値。 Zhenyu Yu et al. (2025), SatelliteFormula, arXiv:2506.06176 17
16. ✦ Results 衛星画像タスクでの定量評価 各指標で高い R²。ただし既知の指数を再現する実験が中心。 SAVI NDVI R² = 0.9733 29.2 Nodes = Nodes = EVI R² = 0.9420 37.5 Nodes = AGB NDWI R² = 0.9975 43.1 R² = 0.9675 29.1 R² = 0.9998 33.3 Nodes = CS Nodes = Zhenyu Yu et al. (2025), SatelliteFormula, arXiv:2506.06176 R² = 0.9995 21.8 Nodes = 18
17. Results ✦ Ablation：画像 Encoder の効果と懸念 • 5% Sampling：R² が 0.9783 → 0.9912（Encoder あり） • 100% Sampling：R² が 0.6521 → 0.7234 • Sampling ratio 50% で R² = 0.7042 に低下 • データを増やすほど精度が単調に改善するわけではない 論文自身も Overfitting と正則化の不足を課題として指摘 Zhenyu Yu et al. (2025), SatelliteFormula, arXiv:2506.06176 19
18. Results ✦ 実際に生成した式の例 Table 3：H / AGB / Carbon Stock の式を探索 Canopy Height (H) ((B₂ − B₁) + 0.76) × 76.58 • H：MAE = 4.17, RMSE = 5.41 • AGB：MAE = 27.96, RMSE = 38.53 • CS：MAE = 13.86, RMSE = 18.94 • 式の形が得られても、物理的意味の検証は別途必要 Zhenyu Yu et al. (2025), SatelliteFormula, arXiv:2506.06176 20
19. まとめ ✦ Conclusion / 感想 結論 • 多波長画像から Symbolic Expression を生成する枠組みを提案 • 画像 Encoder は一定の性能改善に寄与 • 式の簡潔さと予測性能の両立を目指す 考察・議論したい点 • NDVI の再発見は教師の式構造に依存していないか？ • 保存則の物理 Loss の定式化が現時点で有用かは疑問 • 実センサ差・地域外汎化・データ増加時の不安定性の検証が必要 Zhenyu Yu et al. (2025), SatelliteFormula, arXiv:2506.06176 21