Combining Deep Learning and Street View Imagery to Map Smallholder Crop Types

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、
より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。
speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge
紹介する論文は、「Combining Deep Learning and Street View Imagery to Map Smallholder Crop Types」です。
本研究は、Google Street View画像を活用して農地ごとの作付けラベルを低コストで大量に作成し、Sentinel-2衛星データの分類に利用することで、タイ全土の作付けマップを生成する手法を提案しています。
具体的には以下のような流れです：
①Street View画像の活用：OSM道路沿いで収集したGSV画像をResNetモデルにより作物種類に分類し、作付けラベルを作成。Expert labeled、Web公開データセット、GPT-4Vなど複数のラベリング手法を比較。　②衛星データ解析：Sentinel-2のRed Edge・SWIR・NIRなどのバンドと植生指数の時系列を調和関数で特徴量化。得られた作付けラベル（81,000点超）を用いてRandom Forestを訓練し、国家規模の作付けマップを作成。③成果：GPT-4VによるZero-shot分類が専門家ラベルを超える性能を示した点が特筆される。また、大量の弱ラベルデータが衛星分類の精度向上に大きく寄与し、Expert labeledのみのケースを大幅に上回る精度を達成。結論として、Street View×AI×衛星データを組み合わせることで、小規模農家が多い国でも高コストな現地調査に依存せずに効率的に作付け状況を把握できることを示しました。今後の課題としては、GSVのカバレッジや更新頻度への依存、似た作物の誤分類、他地域・作物への一般化などが挙げられています。

Transcript

1. Combining Deep Learning and Street View Imagery to Map Smallholder Crop Types 嶌田将貴 第18回 SatAI.challenge勉強会
2. 目次 • 自己紹介スライド • 研究の1ページサマリ紹介 • 研究の背景（Introduction） • 手法について（Methodology） • 結果と考察（Results & Discussions） • 結論（Conclusion）
3. 発表者紹介 This image was generated by ChatGPT
4. 現所属：JAXA地球観測研究センター 研究テーマ： • 農業・農地のリモートセンシング • 太陽光発電（PV）の検出や、導入に伴う環境改変の定量化 • 最近は衛星以外のリモセンツール（ドローン等）にも関心 ➢ AIも含めて、リモセンデータからより効果的な価値創出を目指す ➢ 特徴量設計や、データセットの整備を通じてリモセン×AIに貢献したい 嶌田将貴（シマダ ショウキ） 自己紹介 手持ちセンサを使用したスペクトル計測
5. 1ページサマリ This image was generated by ChatGPT
6. Combining Deep Learning and Street View Imagery to Map Smallholder Crop Types • 農作物の作付け実態の把握は食料の安定供給に重要だが、地域によってはリファレンス情報が不十分 • Street Viewの画像を使えば、圃場の作付けに関して大量の情報を安価に収集できる • Street View画像を使った作付けラベルの作成と、ラベルによるSentinel-2画像のAI分類により、タイ全土 をカバーする作付け状況の定量的把握に成功 Street View×AI×衛星データで小規模農家の作付け実態把握を実現 Yokoya、 Naoto、 Junshi Xia、 and Clifford Broni-Bediako. "Submeter-level land cover mapping of japan." International Journal of Applied Earth Observation and Geoinformation 127 (2024): 103660.より引用 Street View画像をAIによって 作付け状況ごとにラベリング 作成した作付けラベルを教師データに利用 →Sentinel-2の時系列データを特徴量としたAIモデルによる作付けマップ
7. 論文紹介 This image was generated by ChatGPT
8. Introduction ◆ 農地作付け状況の把握 →農地へ“なんの作物が植えられているか”に関する情報 →食料生産状況の把握において重要な情報であり、各国で実施されている ◆ どの様に作付け状況の情報を収集するか →現地調査・各農家や農業共同体へのアンケート（日本） →衛星リモートセンシング情報の活用（米国CDL） Cropland Data Layer (CDL) https://nassgeodata.gmu.edu/CropScape/ 面積調査の方法 https://www.maff.go.jp/j/tokei/kouhyou/sakumotu/menseki/gaiyou/index.html#9
9. Introduction ◆ 農地作付け状況に関する課題 →小規模農家が多く、経済規模が中小規模の国にとっては広域の調査・統計は負担大 →作付け状況調査に衛星リモートセンシング情報×機械学習モデルの利活用は有効だが、 課題としては正確な作付けラベル（＝教師データ）の収集の負担 衛星画像 圃場に植えられた作物のデータを収集 機械学習モデル 機械学習モデルで衛星画像を分類 作付け状況マップの作製
10. Objectives & Flow chart ◆ 研究の目標：①効率的な圃場ごとの作付け状況把握と、②国家レベルの作付け図作成 ①→Street Viewのデータを活用した低コストの作付け状況把握・データセット作成 ②→①で構築した圃場の作付け状況を教師データとして機械学習モデルを構築し、衛星画像 を分類することで、タイ全土を対象とした作付け図を作成する Soler, Jordi Laguarta, Thomas Friedel, and Sherrie Wang. "Combining deep learning and street view imagery to map smallholder crop types." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 38. No. 20. 2024.より引用
11. Methodology ◆ Street View画像による圃場レベルの作付け状況把握 →Google Street View (GSV)を利用 →OSMの道路に沿って10 mごとの点を作成し、ESA WorldCoverを利用して農地周辺に存在す る場所を最終的なサンプル点に利用 OSMの道路情報とLULCでフィルタをかけたGSV 道路沿いに得られた圃場のGSV画像 Soler, Jordi Laguarta, Thomas Friedel, and Sherrie Wang. "Combining deep learning and street view imagery to map smallholder crop types." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 38. No. 20. 2024.より引用
12. Methodology ◆ GSV画像から機械学習モデルによる作付け状況データセットへの変換 →農地は道路の左右に広がっている⇒道路の法線方向・30 mの距離を代表位置とする →ResNet-18による圃場/非圃場の分類モデルでGSV画像をフィルタ（画像2986枚） →GSV画像＆作物のデータ＆ラベルデータは6種類の方法で作成・比較（後述） GSV画像＆作物のラベルを作成 するために、複数の方法を試行 Soler, Jordi Laguarta, Thomas Friedel, and Sherrie Wang. "Combining deep learning and street view imagery to map smallholder crop types." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 38. No. 20. 2024.より引用
13. Methodology ◆ GSV画像＆作物ラベルを異なる 手法で作成・比較 →所与のGSV画像に含まれる作物を 複数の方法で分類 →iNaturalistとWebCCはWeb上に公開 されている画像とラベルのセット ①iNaturalist ②WebCC ③iNaturalist + WebCC ④Expert labeled ⑤GPT-4V ⑥Combined (iNaturalist + WebCC + Expert labeled) ↓ ①～⑥を入力としたResNet-50で分類 Soler, Jordi Laguarta, Thomas Friedel, and Sherrie Wang. "Combining deep learning and street view imagery to map smallholder crop types." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 38. No. 20. 2024.より引用
14. Methodology ◆ GSV画像の分類と作物種類のラベル付け →訓練済みのResNet-50モデルを利用し、Street View画像を作物種類に分類 →Sliding Windowをうごかしながら分類⇒予測を繰り返した結果を統合し、信頼性の高い 作物種類のラベル付けを実現 GSV画像全体 300 px 50 px 𝑝𝐶1𝑖 𝑝𝐶2 i 𝑝𝐶3𝑖 𝑝𝐶4𝑖 ResNet出力 If max([𝑝𝐶𝑘𝑖 (𝑘 = 1、2、3、4)]) >0.95 ↓ 𝐶𝑖 = 𝑐𝑘𝑖 (𝑘は最大の𝑝𝑐𝑘𝑖 を与える) GSV画像全体での代表作物種 類Kは最頻値として与える K = mode([𝐶𝑖 (𝑖 = 1、 2、 … 𝑁)]) Soler, Jordi Laguarta, Thomas Friedel, and Sherrie Wang. "Combining deep learning and street view imagery to map smallholder crop types." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 38. No. 20. 2024.より引用
15. Methodology ◆ 衛星画像解析による作付け状況の定量化 →Sentinel-2画像から4バンド（Red Edge 4、SWIR 1、SWIR 2、NIR）と植生指標 （Green Chlorophyll Vegetation Index）の時系列データを取得 →各バンド・植生指標の時系列を3次までの調和関数で近似し、特徴量に利用 →81、000点の位置情報付き作物ラベルを使い、Random Forestモデル（木数500）を訓 練し、タイ全土の作付けマップを作製 Wang, S., Di Tommaso, S., Deines, J.M. et al. Mapping twenty years of corn and soybean across the US Midwest using the Landsat archive. Sci Data 7, 307 (2020). https://doi.org/10.1038/s41597-020-00646-4
16. Results & Discussions ◆ 6種類のデータセットで訓練されたResNet-50モデルは相応の分類精度を達成 →興味深い結果：GPT-4VのZero-shot予測はExpert labeledデータセットを使った ResNet-50モデルを超えるパフォーマンスを達成している ※Baseline: Most commonとは全てをコメにした場合 . Soler, Jordi Laguarta, Thomas Friedel, and Sherrie Wang. "Combining deep learning and street view imagery to map smallholder crop types." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 38. No. 20. 2024.より引用
17. Results & Discussions ◆ 機械学習モデルによって大量の追加データ（>80、000）を作成することで、衛星画像 の分類においてExpert labeledのみ（<1、000）と比べて明確に高い精度を達成 →多少不完全であっても、データ量の多さは精度に効いてくる →学習させた衛星画像分類モデルによって、タイ全土の作付けマップ作製に成功 . Soler, Jordi Laguarta, Thomas Friedel, and Sherrie Wang. "Combining deep learning and street view imagery to map smallholder crop types." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 38. No. 20. 2024.より引用
18. Conclusions まとめ 研究の目的 高コストな現地調査に依存せず、ストリートビュー画像と機械学習モデルの活用により作付けラベ ルを大量に作成し、衛星時系列データと組み合わせて作付け図を作る汎用パイプラインを構築。 研究の結果 I. Street View画像と機械学習モデルを組み合わせることは、低コストな作付けラベルの作成に 有効である。LLMモデルの利活用はラベリングの手間を減らす上で更に有用な可能性がある。 II. 衛星画像の解析によって、タイ全土の作付けマップを作製できた。Expert labeledのみと比べ て、GSVによる教師データの増加は精度向上に効果的であった。 今後の課題 I. GSVの空間的偏り・更新頻度への依存、GPT-4Vのクエリ上限 II. “Other”や類似作物（トウモロコシ/サトウキビ）での誤分類・ラベルノイズ低減 III. 雨季以外・他国/他作目への一般化、非GSV画像の活用、地理・時系列移転学習の検証 IV. 弱ラベルと高精度ラベルの最適統合、既存マップとの併用による精度向上。
19. 個人的な所感 ①研究全体の目的がクリアかつ有用性が高い →モデルの細かな工夫よりも、“作付け状況を低コストで把握する”という目的に沿ってAIが利活用されており、 研究全体の目的・構成がとてもクリアになっている。成果も食料の安定供給につながり、社会的な有用性が高い。 ②GSVの入手性の課題 →論文中でも指摘されているが、GSVの入手性は本手法の適用性を大きく左右する →国によってはGSVが存在しない、もしくは整備が進んでいない。特に農業地域は比較的人口密度が低く、都 市部と比べるとGSVのカバー率も一般的には低下するジレンマがある ③ResNet-50モデルの手堅い選択 →最近のSoTAなモデルではなく、2015年に出てきたResNet-50を使っているのは面白い →GSVの分類タスクではZero-shotのGPV-4に負けているが、モデルをより発展したものに切り替えれば更なる 精度向上も見込めるのでは？ ④土地被覆分類図作成への利活用 →今回は作付け状況の把握であったが、手法論としては一般的な土地被覆図の作成に使えるはず。日本のような 人口稠密な国・地域ならば、道路沿いであってもかなりのカバー率が見込めるのではないか？