Dynamic World, Near real-time global 10 m land use land cover mapping

Slide 1

Slide 1 text

Dynamic World, Near real-time global 10 m land use land cover mapping  嶌田将貴  第７回 SatAI.challenge勉強会 

Slide 2

Slide 2 text

目次   ● 自己紹介スライド  ● 研究の1ページサマリ紹介  ● 研究の背景（Introduction）  ● 手法について（Methodology）  ● 結果と考察（Results & Discussions）  ● 結論（Conclusion） 

Slide 3

Slide 3 text

発表者紹介 This image was generated by ChatGPT

Slide 4

Slide 4 text

嶌田将貴（シマダ　ショウキ）所属：東京大学　社会基盤学専攻　博士課程3年研究テーマ：衛星画像を利用した太陽光発電パネルのマッピングと社会経済・環境・災害リスクに関する定量分析自己紹介 CNNモデルを使用したSentinel-2画像中の太陽光発電パネル検出手持ちセンサを使用したスペクトル計測ベトナムにおける太陽光発電パネル導入に伴う土地改変履歴

Slide 5

Slide 5 text

1ページサマリ This image was generated by ChatGPT

Slide 6

Slide 6 text

Dynamic World, Near real-time global 10 m land use land cover mapping   ● 既存の全球土地被覆分類データセットは①更新頻度（1年以上）、②空間解像度（～ 100 m）が課題   ● 小規模農業や集落の増加は、既存の土地被覆分類図の更新頻度・空間解像度ではとらえきれない   ● Dynamic Worldではクラウド計算環境のGoogle Earth Engineと深層学習モデルを組み合わせることで、高頻度（Near-Real-Time）・高解像度（10 m）な土地被覆データセットの構築に成功   深層学習モデルを利用したNear-Real-Timeな土地被覆分類図の作成   クラウド計算環境である Google Earth Engine 土地被覆分類のための深層学習モデル Near-Real-Timeな土地被覆分類図データセットの構築 https://github.com/google/dynamicworld/tree/master 観測後に随時 Sentinel-2画像が追加 Brown, C.F., Brumby, S.P., Guzder-Williams, B. et al., (2022), “Dynamic World, Near real-time global 10 m land use land cover mapping”, Scientific Data. より引用

Slide 7

Slide 7 text

論文紹介 This image was generated by ChatGPT

Slide 8

Slide 8 text

Introduction   ◆ 土地被覆分類図（Land-cover map）   →地表面を様々な土地利用形態・植生タイプなどに区分したデータ   →人間活動・自然環境の変化の分析において重要な情報源となる   ◆ 既存の全球レベル土地被覆分類図の課題   →空間解像度が限定的（>100 m）   →更新頻度が低い（～1年）    小規模な農地や居住地拡大、森林伐採などを追跡するためには、既存の土地被覆分類図データセットでは空間解像度・時間解像度共に十分ではない NASA MCD12 Q1 空間解像度 500 m ESA CCI 空間解像度 300 m ESA CGLS 空間解像度 100 m https://lpdaac.usgs.gov/products/mcd12q1v061/ https://www.esa.int/ESA_Multimedia/Images/2014/10/Land_cover_2010 https://www.mdpi.com/2072-4292/12/6/1044#

Slide 9

Slide 9 text

Introduction   ◆ 土地被覆分類図の頻繫かつ高解像度な更新に必要な要素とは？   →衛星画像の定期的な取得・処理   →効率的かつ高精度な土地被覆分類を行う機械学習モデル       Dynamic Worldでは二つの課題に対してGoogle Earth Engineと深層学習モデルの組み合わせによって解決を目指すクラウド計算環境である Google Earth Engine 土地被覆分類のための深層学習モデル大量の衛星画像を保持・計算可能な環境

Slide 10

Slide 10 text

Methodology   ◆ 教師データの構築  → 510 × 510 ピクセル四方のタイルをSentinel-2 L2A画像から切り抜き   →Expertによるアノテーション（4000枚）＋Non-Expertによるアノテーション（20,000枚）     ９カテゴリへのアノテーション Water Trees Grass Flooded Vegetation Crops Shrub & Scrub Built area Bare ground Snow & Ice https://www.nature.com/articles/s41597-022-01307-4 https://www.nature.com/articles/s41597-022-01307-4

Slide 11

Slide 11 text

Methodology   ◆ Sentinel-2 L2Aを対象に行ったアノテーション結果を対応するSentinel-2 L1C画像と結合   ◆ 雲マスク・雲影マスク・画像のNormalizationを適用   教師データは One-Hot encodingのあと、ラベルの不確実性を考慮するため、 ExpertとNon-Expertに対応したラベル平滑化を実施あるピクセルがクラス２である場合のOne-Hot encoding →[0,1,0,0,0,0,0,0,0] Expert：0.2を不確実性として、全体へ均等に配分 0.2/9 = 0.02 [0.02,0.82,0.02,0.02,0.02,0.02,0.02,0.02,0.02] Non-Expert：0.3を不確実性として、全体へ均等に配分 0.3/9 = 0.03 [0.03,0.73,0.03,0.03,0.03,0.03,0.03,0.03,0.03] クラス不均一性やアノテーション過程でのポリゴン中心部でのアノテーションの潜在的な不確実性についても重みづけによって対応 https://www.nature.com/articles/s41597-022-01307-4 ExpertとNon-Expertのアノテーション精度の考慮 L2A：大気補正済プロダクト（2017 ~） L1C：大気上端反射率プロダクト（2015 ~）

Slide 12

Slide 12 text

Methodology   ◆ Fully Convolutional Neural Network (FCNN)を利用し、各ピクセルごとに９種類の土地被覆カテゴリである確率を算出  ◆ Labelling modelから算出された土地被覆カテゴリの確率図から入力画像を再現する“Backward model”を同時に構築し、手作業のアノテーションの不完全さなどを補完     https://www.nature.com/articles/s41597-022-01307-4 https://github.com/google/dynamicworld/tree/master 土地被覆分類モデルの構造 DeepLab v3+やUnetと比べて 100分の１程度の軽量なモデル

Slide 13

Slide 13 text

Methodology   ◆ Google Earth Engine上のee.Model.predictImage機能を使用し、Sentinel-2 L1C画像から Near-Real-Timeな土地被覆分類データセットを作成   https://www.nature.com/articles/s41597-022-01307-4 https://www.nature.com/articles/s41597-022-01307-4

Slide 14

Slide 14 text

Methodology   ◆ 精度検証のためRESOLVE Ecoregions biomesの１４カテゴリへと均等に検証地を設定し、合計 409タイルを作成した。  ◆ それぞれのタイルは3名のExpertによって個別にアノテーションされた。   異なるバイオーム地帯に設定された精度検証地点の分布 https://www.nature.com/articles/s41597-022-01307-4

Slide 15

Slide 15 text

Results & Discussions   ◆ Dynamic Worldによる土地被覆カテゴリ分類結果と3名のExpertによるアノテーション結果との比較は、土地被覆カテゴリ毎に大きく異なる一致度を示した。   DWとExpertの一致度高：water, trees, built area, snow & ice   DWとExpertの一致度低：grass, flooded vegetation, shrub & scrub, and bare ground   https://www.nature.com/articles/s41597-022-01307-4 3名のExpertの間で意見が一致するカテゴリは DWでも高精度で予測可能であり、反対の傾向（ Expert 間の意見の乖離）が存在するカテゴリは DWにおいて精度が低かった。

Slide 16

Slide 16 text

Results & Discussions   ◆ 既存の土地被覆分類図データセットとの比較   →Dynamic WorldはExpertの作成したデータセットとの比較の結果、既存の全球レベルの土地被覆分類図データセットを上回る一致度を示した。  →Near-Real-Time、全球のカバー、空間解像度の３つの要素で優れる   https://www.nature.com/articles/s41597-022-01307-4 既存の土地被覆分類図データセットとの比較

Slide 17

Slide 17 text

Results & Discussions   ◆ Dynamic WorldはNear-Real-Time性を持つことから、“Dynamic”な土地被覆変化を追跡できる。   →土地被覆カテゴリの確率値を通じてIntra-annualな変化が明瞭に捉えられている。   https://www.nature.com/articles/s41597-022-01307-4

Slide 18

Slide 18 text

Results & Discussions   ◆ Dynamic Worldの不確実性  →Shrub & ScrubとCroplandの間でモデルの予測に不確実性が増す（≒両者を明瞭に区別しにくくなる）  https://www.nature.com/articles/s41597-022-01307-4 紫色（≒Shrub & Scrubと Croplandの確率値が近しい場所の存在）

Slide 19

Slide 19 text

Results & Discussions   ◆ Dynamic WorldはSentinel-2の画像の更新とともに作成される   →時期・領域等をユーザーが任意に指定することが可能   https://www.nature.com/articles/s41597-022-01307-4 2021/4/1 ～ 2021/5/1までのDynamic Worldプロダクトの最頻値から作成された全球の土地被覆分類図プロダクト（黒：雲領域）

Slide 20

Slide 20 text

Conclusions   まとめ  研究の目的   Google Earth Engine上の衛星画像と深層学習モデルを組み合わせ、 ①Near-Real-Time、②高解像度（10 m）、③全球カバーの３つを実現する土地被覆分類図プロダクトを作成すること    研究の結果   I. Sentinel-2画像と軽量な深層学習モデルを構築し、Dynamic Worldプロダクトを作成した   II. Dynamic Worldプロダクトはwater, trees, built area, snow & iceのカテゴリではHuman Expertのアノテーションとよく一致する傾向を示した   III. 既存の土地被覆分類図データセットと比較して、Dynamic Worldプロダクトは精度・空間解像度・Near-Real-Time性の３つの要素で優れている     今後の課題   I. Shrub & ScrubとCroplandなどDynamic Worldの出力において依然として十分に区別できない土地被覆カテゴリが存在する  II. Dynamic Worldの結果はGoogle Earth Engine上でプロダクトとして利用可能であり、そのNear-Real-Time性も活かしたデータセット活用に期待  