TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge

紹介する論文は、「TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis」です。本研究は、Sentinel-1とSentinel-2のSARと光学衛星の時系列データから構築する基盤モデルを提案したものです。大きな特徴として、空間方向の情報を使わずに、ピクセル単位の時系列を取り扱っています。また、学習に際しても所与のピクセルの時系列データを２組に分けて、それらが特徴量空間でも類似する様に損失を設計する工夫がなされています。既存のデータセットとの比較ではAlpha Earth Foundationをはじめとする基盤モデルと比較して分類・セグメンテーション・回帰のいずれでも優れたパフォーマンスと、少数ラベルに対しても頑健な性能を示しました。モデルのコードと学習済みの重み、また全球でEmbeddingsが公開されており、手法の透明性・再現性・応用性に優れた研究プロジェクトとして設計されています

Zhengpeng Feng et al. (2026), “TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis” より引用

Transcript

1. 第31回 SatAI.challenge勉強会 TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis 嶌田将貴 1
2. 目次 • • • • • • • 自己紹介スライド 研究の1ページサマリ紹介 研究の背景 手法について 実験 全球データセット構築 結論 2
3. 著者紹介 3 This image was generated by ChatGPT
4. 自己紹介 嶌田将貴（シマダ 現所属：産業技術総合研究所 ショウキ） 地質調査総合センター 研究テーマ： • 農業・農地のリモートセンシング（特に広域の作付け分類図作成） • 太陽光発電（PV）の検出や、導入に伴う環境改変の定量化 • 最近は衛星以外のリモセンツール（ドローン等）にも関心 ➢ AIも含めて、リモセンデータからより効果的な価値創出を目指す ➢ 特徴量設計や、データセットの整備を通じてリモセン×AIに貢献したい 4
5. TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis Sentinel-1&2のピクセル時系列から作る衛星基盤モデル • Sentinel-1/2の不規則な年間時系列をTransformerで学習し、各pixelを128次元のembeddingとして表現 • 同一pixelの異なる観測サンプルが近い表現になるよう自己教師あり学習し、少数教師データでも高い分 類性能を実現 Zhengpeng Feng et al. (2026), “TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis” より引用 5
6. Introduction & Objectives • 既存の衛星リモセン分析で十分に対応できていない「雲による不均一な観測」の問題 →時系列でコンポジットを作れば雲による未観測に対応できるが、細かな情報は失われてしまう →隠されたリッチな情報を引き出すために工夫されたモデルが求められている →TESSERAはピクセル毎の時系列情報に着目し、①SOTAなパフォーマンス、②Embeddingsの公開、③モ デルや重みのオープン化、の3点に取り組む Zhengpeng Feng et al. (2026), “TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis” より引用 6
7. Methodology (Overview) • コアになる考え方：不完全な観測を除去するのではなく、Barlow Twinsを用いて、時間サンプリングの 違いに頑健なembeddingを作る →同一地点からランダムに選択された異なるcloud-free観測subsetから得られるembeddingを一致させるこ とで、“どの観測日が選ばれても安定するような表現”を探索する どうやって学習させる？ ピクセルご とのS1と S2を入力 同じピクセルなら、使う観測時 期が違ってもEmbeddingは 一致する！ （Barlow Twins loss） 異なるピクセルの観測系列を一 定割合で混ぜたとき、得られる Embeddingもその混合割合を反 映するように学習する！ （Mix loss） Zhengpeng Feng et al. (2026), “TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis” より引用 7
8. Methodology (Time series data extraction) • Sentinel-1とSentinel-2の時系列データを抽出する →S1とS2の各バンドの時系列から、L個のサンプルを２通り取り出す（今回はL=40） →これらのサンプルは同じピクセルから得られているので、同じEmbeddingになると期待される Zhengpeng Feng et al. (2026), “TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis” より引用 8
9. Methodology (Extract features & Barlow twins loss) • Transformerを使ってピクセル単位の変化から時系列的な特徴量を取り出す →元の時系列に各観測の観測日時（DOY）情報を付け足したものをTransformerに入れる →Transformerが出してきた特徴量（128次元）をS1とS2で合体させて、Fused特徴量にする →Projectorで16384次元に変換し、Barlow twins lossへ入れる Barlow twins loss、CはN個のバッチデータから計算できる相関行列（サイズは16384×16384） Zhengpeng Feng et al. (2026), “TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis” より引用 9
10. Methodology (Mix loss) • 異なるピクセルの観測系列を一定割合で混ぜたとき、得られるEmbeddingもその混合割合を反映するよ うに学習する →𝑌𝑀 = 𝛼𝑚𝑖𝑥 × 𝑌𝐴 + 1 − 𝛼𝑚𝑖𝑥 × 𝑌𝑆 として混ぜた入力データを作る（Ysはバッチ内でシャッフルしたデータ、 αmixは一様分布から生成する混合率） →Mix lossは、異なるピクセルを混ぜた入力に対して混合比がEmbedding空間でも保たれるようにする損失 最終的に学習で使われる損失 Zhengpeng Feng et al. (2026), “TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis” より引用 10
11. Experiments • TESSERAのパフォーマンス評価のために分類・回帰・セグメンテーションの６つのタスクで実験 →使用するラベル量を変えていき、どの程度パフォーマンスが保たれるかも検証 実験に使ったデータセット 実験に使ったモデル Zhengpeng Feng et al. (2026), “TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis” より引用 11
12. Experiments (Classification) • Classificationのタスクにおいて、 TESSERAは小数サンプルでも精度を 維持＆AEFを上回る →たった1%のラベルでもTESSERAは 0.66のF1スコアを出した（AEFは0.37） →極端に少数なラベル制約下でも、 TESSERAはそのほかのモデルを上回るパ フォーマンスを引き続きだしていた Zhengpeng Feng et al. (2026), “TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis” より引用 12
13. Experiments (Segmentation) • セグメンテーションのタスクにおいて、TESSERAは小数サンプル条件でも強みを見せた →PASTIS-Rデータセットで全ラベル＆30％ラベルではAEFに負けているが、1%ラベルで逆転 →Austrian cropデータセットではTESSERAが他を大きく上回るパフォーマンスを出した Zhengpeng Feng et al. (2026), “TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis” より引用 13
14. Experiments (Regression) • バイオマスと樹高を対象にした回帰タスクでは AEFを上回るパフォーマンスを達成した →小数サンプルの制約でもConsistentに他のモデル よりも高い精度を示している。 Zhengpeng Feng et al. (2026), “TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis” より引用 14
15. Data availability • 専用のWebsiteが公開されていて、データセットやモデルに関する情報が集約されている →Embeddingの可視化も確認可能、ダウンロードはCOGで提供されている →関連する論文や情報更新も一発で分かるように工夫してある https://geotessera.org/ Zhengpeng Feng et al. (2026), “TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis” より引用 15
16. そもそもTESSERAってなんだったの？ • テッセラ（ラテン語: tessera、英語: tessera）は、モザイク製作で漆喰の地に埋め込 まれるサイコロ型の小片である。一辺の長さは数ミリメートルから30ミリメートルほ どで、大理石・貴石・ガラスなどから生産される（by Wikipedia） By Dave & Margie Hill / Kleerup from Centennial, CO, USA - Naples Archaeology MuseumUploaded by Marcus Cyron, CC BY-SA 2.0, https://commons.wikimedia.org/w/index.php?curid=30180786 16
17. まとめ 目的 Sentinel-2とSentinel-1のピクセル単位の時系列を使った基盤モデルの構築 コアの考え方 ・あるピクセルから取った時系列情報を変換して得られる特徴量は、同じになるべきである ・異なるピクセルから得られた時系列情報を変換した特徴量は、元の混合率を再現できるべきである 結果 ・分類、セグメンテーション、回帰のいずれのタスクでも有用である ・多くのタスクでAlpha Earth Foundationすら上回るパフォーマンスを発揮した ・特に小数サンプルの制約下でも精度が低下しにくい データ入手性 ・計算済みの特徴量、モデル、モデル重みを全て一般に公開している ・自分で走らせる際のインストラクションも丁寧に記述されているなど再現性、応用性に優れる 17
18. 論文を読んでの気づき・感想 • • • • • • • • なんでもぶっこみではなく、Sentinel-1とSentinel-2に絞って基盤モデルを構築した思い切りのよさ 空間方向の情報を入れていないので、空間解像度が落ちないのはGood 2個時系列を抜いてきて、それらが似るように学習させる、というアイデアがシンプルで賢い 意図的に別のピクセル情報を引っ張ってきて混ぜるというのも面白い＆意図が分かりやすい 全体的に「ただDeepにすればよい」ではなく、リモセンのドメイン知識を反映している モデル構造自体は改造が簡単にできるはず（ALOS-2/4の利用など？） データやモデルがオープンになっていて透明性が高い（某EFだとブラックボックス気味なので） アイデアは色々と応用できそう、高空間分解能な衛星画像（Planetとか）にも展開したら楽しそう 18