Adaptive fusion of multi-modal remote sensing data for optimal sub-field
 crop yield prediction
 藤野倫太郎
 1 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 

目次 
 2 ● 自己紹介スライド
 ● 研究の1ページサマリ紹介 
 ● 研究の背景（Introduction） 
 ● 手法について（Method） 
 ● 実験（Experimet）
 ● 結論（Conclusion）
 

3 自己紹介 This image was generated by ChatGPT 

藤野 倫太郎 東京理科大学大学院　創域理工学専攻　社会基盤工学研究科　修士1年 　 - 東京理科大学　水理研究室所属 　　- AcademiX(AIを学びたい学生が集まるコミュニティ)の運営メンバー 　　- 未踏アドバンス(2023) 野球の動作解析アプリの開発 研究テーマ ：河川橋梁洗掘(実験・混相流の数値計算) 自己紹介 4 興味のある分野：数値計算 　　　　　　　　人工知能全般(距離学習、GNN、サロゲートモデル) リモートセンシング(ハイパースペクトル等) 

Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction 
 5 異なるリモートセンシングデータをデータごとに適応的に融合するMMFGの提案 
 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 ● 作物予測は、様々な要因に起因してお り、リモートセンシングデータの複数モ ダリティを用いた予測が注目されている 
 ● 天候や地域特性に応じて、柔軟にモダ リティの寄与度をデータごとに変化させ られるMMFG(Multi-Modal Gated Fusion)手法を提案
 ● 単一モダリティやstatic fusion(静的な 融合)では得られない一貫した性能と解 釈性があることを示した
 MMFGのアーキテクチャ 

6 背景 This image was generated by ChatGPT 

● 作物量予測は農業において重要であるが、多様な要因(土壌、天候、等)に依存し困難 
 ● 近年の技術の発達により、リモートセンシング(RS)により、様々なデータ(気象・地形・土壌など)が得ら れるが、融合が難しい
 ● 従来の静的融合(static fusion)では、すべてのデータを同じ重みで扱ってしまい、予測精度が限られ る
 
 Introduction 
 7 従来のstatic fusion Input-level concatenation 
 特徴を単純に結合（concatenate）し、1つの入力ベクトルとして機械学習モデルへ入力 Feature-level fusion in neural networks 
 複数モダリティの中間特徴を結合（concatenation）や平均（average）で融合し、最終層へ渡す モダリティの有用性は 作物の種類や地域、時期によって変動 
 適応的な融合(adavtive fusion) が必要 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 

8 手法 This image was generated by ChatGPT 

作物収穫量を10m解像度で予測するために、データごと に特徴量の重み を調整し融合する MMFG(Multi-Modal Gated Fusion) を提案した
 
 大きく分けて以下の手順 
 ● Spatial alignment 各モダリティには異なる解像度があるため、それを衛星画像データの解像度(19m/pixel)にそろえる 
 ● Feature-level learning 各モダリティに対して、専用のエンコーダを用いて、特徴量を取得 
 ● Gated Fusion データごとに特徴量ごとの重みを用意し、その加重和で最終表現を取得 
 
 Method 
 9 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 

Spatial alignment 各モダリティには異なる解像度があるため、それを衛星画像データの解像度(10m/pixel)にそろえる 
 ● DEM(土地標高)と土壌で0タは スプライン補完によって、10m補完に変換 
 ● 気象データはフィールドの 代表値をすべてのpixelに適用 
 
 Method 
 10 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 

特徴量抽出 (Feature-level learning) 各モダリティに対して、専用のエンコーダを用いて、固定長の高次元表現(128次元)を取得 
 Method 
 11 ● 動的データ(時系列：衛星画像・気象) LSTMやAttention poolingを用いて、時系列から1つのベクトルを 抽出
 
 ● 静的データ(土壌・地形) MLP(多層パーセプトロン)で処理し、128次元の表現を取得 
 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 

ゲート機構による適応的融合(Gated Fusion) データごとに特徴量レベルごとの重みを用意し、その加重和で最終表現を取得 
 
 Method 
 12 point ● モデルはデータごと にどのモダリティに注目するかを自動的に 調整する
 Ex) 雲で覆われたピクセルに対しては、 
 ■ モデルは衛星画像の重みを下げて、他のモダリティの重みを 上げる
 ■ 雲のないピクセルでは、光学モダリティに高い重みを与え、残 りのモダリティに補完的に重みを分配する 
 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 

全体像
 Method 
 13 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 

14 実験 This image was generated by ChatGPT 

正解データ 
 ● 予測対象作物(多様性の確保) 　アルゼンチン(大豆),ウルグアイ(大豆), 　ドイツ(菜種・小麦)の収穫量 
 ● サブフィールドレベル(10m解像度)で予測 
 ● 異常値は収穫量、水分量などをもとに削除 
 
 予測に用いるデータ(種植えー収穫までのデータ) 
 
 
 
 
 
 
 Experiment 
 15 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 

Experiment 
 16 クロスバリデータション 
 ● 10-fold Stratified Group K-fold(農場・フィールド単位で分割) 　リークの排除：1つのフィールド内のすべてのピクセルは、訓練データか検証データのいずれか一方にの　 
 　み使用される
 ● 各foldでピクセルごとの予測、フィールド平均の予測を評価 
 比較モデル 
 IF Input-level　(得られた特徴量をconcat) Fusion Pathak et al.(2023)により提案 
 ● LSTM ● LSTM-IF ● GBDT-IF(時系列データを時系列方向にフラット化してベクトルにしたものを入力) 
 
 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 

● サブフィールド(10m解像度)レベルでの評価 
 
 Experiment 
 17 Pixelごとに推定 することの難しさ を示唆 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 ✔ 他の手法に比べて高い、同等の精度を達成 Multi Modal Learning の有効性 ● フィールレベルでの評価 
 

● 本手法とLSTM-IFとの定性的な比較
 
 
 
 
 
 Experiment 
 18 ✔ MMGFの方が性能が良いことがわかる(LSTM-IFは収量を全体的に過大に予測する 傾向) ✔ フィールド内での収穫量のばらつきを学習している Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 

● 特徴量レベルの融合重みの分析
 *fold,データセットごとの平均を利用
 
 
 
 
 Experiment 
 19 ✔ 各foldごとで必ずしも重みが一致しない 各foldごとに含まれる地域が異なる ✔ 作物、場所によって注目している特徴量が異なる→動的に注目している箇所を変化 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 

● モデルごとにのモダリティの組み合わせによる結果の変化
 
 
 
 
 
 Experiment 
 20 ✔ MMGFでは、4つのモダリティを用いた場合 が高い性能を示す ✔ 他のfusion手法では、精度が低下することがある Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 

● 雲の度合いと精度の関係
 
 
 
 Experiment 
 21 ✔ 多の手法では、雲が多いと精度悪化
 ✔ データごとで適応することで、性能を維持 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 他の手法は大きく 性能が悪化 性能を維持 

22 結論 This image was generated by ChatGPT 

✔ マルチモダリティをデータごとに特徴量の重みを調整し融合する手法(MMGF)を提案
 ✔ すべてのモダリティを使ったときにMMGFは最良の予測性能を達成
 ✔ 静的な融合では精度の低下がみられるが、MMGFでは適応的に融合するため、一貫した 性能があることや解釈性がある
 
 
 
 
 Conclusion 
 23