Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行うグループです。speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge
紹介する論文は、「Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation
for Global Solar Mapping」（arXiv 2024）です。従来のSolar API(Google, 2024)での住居の太陽光発電ポテンシャル計算は高品質な航空写真が整備されているアメリカやヨーロッパ、日本といった地域において100万件以上の住居のプロジェクトで利用されてきました。これを衛星画像に置き換えることができれば、航空写真が整備されていない地域や、衛星画像が航空写真より高頻度に撮影されていることから頻繁に更新できるようになります。本研究では衛星画像を利用したモデルを構築することで、より広範囲において太陽光発電ポテンシャルを計算することができるようになりました。
具体的にはRGBの衛星画像および低分解能のDSMを入力とし、高分解能なDSM・直下視RGB画像・屋根セグメントを出力するU-Net構造のモデルを構築しました。本モデルによりフィリピンなど一部の国で精度が出ない場合があるが、ほとんどの国においてある程度の精度が確認されました。今後はより正確に太陽光発電ポテンシャルを計算できるようにしていく予定です。

Transcript

1. Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping
 
 二村忠宏
 1 第5回 SatAI.challenge勉強会

2. 2 著者紹介 This image was generated by ChatGPT
3. 3 二村　忠宏 スカパーJSAT株式会社スペースインテリジェンス事業部 過去の仕事：災害対応用衛星データ提供システム内自動解析アルゴリズム開発（CVベース、前々職） 　　　　 損害保険自動支払い用AI開発PoC（技術DD中心、前職） 小型SAR衛星コンステレーションの利用拡大に向けた実証（CV＋AI、現職） 研究(業務)テーマ ：実業務に向けた衛星解析手法の探求 　　　　　　　　　SAR画像の鮮明化（SARの原理から計算） SAR画像単画像からの土砂崩れ箇所の抽出 自己紹介 LinkedIn

4. 4 1ページサマリ This image was generated by ChatGPT
5. Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation 
 for Global Solar Mapping 
 5 • 光学画像から高精度・高分解能なDSM等を生成し、太陽光発電のポテンシャルを計算する 
 • 従来はＮＥＲＦなど多方向からの観測を利用しＤＳＭを計算する必要があったが、１枚の画像で実施できることで より広範囲・高頻度で変化を追跡できるようになる 
 • 本手法を適用することで20か国以上で太陽光ポテンシャルを計算できるようになり、Google Maps Platform Solar APIで提供されている 
 
 
 1枚の斜め撮影された光学画像から直下画像・DSM・屋根Segmentを出力 
 Vishal Batchu et al. (2024), “Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping”, arXiv:2408.14400 [cs.CV], 2024 より引用 提案手法の入力と出力の概要 

6. 6 論文紹介 This image was generated by ChatGPT
7. • 従来のSolar API(Google, 2024)では高品質な航空写真が整備されているアメリカやヨーロッパ、日本といった地 域において100万件以上の住居の太陽光発電プロジェクトで利用されてきた。 
 • Goroshin et al., 2023 では低品質な航空写真を用いることでアメリカなどで10倍程度範囲を広げることができるこ とを示したが、これに加え衛星写真を用いることができればアフリカなどへ計算範囲を広げるだけでなく、航空写 真より高頻度に更新されるため時系列的な変化追跡を実施できるようになる 
 • 高精度な屋根形状・シェーディングはSolar APIの根幹であるが、それは高精度なDSMと屋根のセグメンテーショ ンによる
 • 本論文ではラベルとして航空写真を利用し、衛星を用いてDSMと屋根セグメンテーションを推論するモデルを示 す
 Introduction 
 7 Goroshin et al.. (2023), “ESTIMATING RESIDENTIAL SOLAR POTENTIAL USING AERIAL DATA”, ,ICLR 2023. より引用
8. • Inputとしては解像度30cmのPleiades NeoのRGB画像とオプションとして衛星画像から作られたDSMまたはDTM （このDSM/DTMは屋根の詳細情報は欠ける） 
 • ラベルは高品質の直下視航空画像とDSM推定タスクのために写真測量により計算されたDSM/DTMから構成さ れる。
 • 高品質の建物検出モデル[Sirko et al., 2021]を用いて建物インスタンスを計算。さらに建物内のDSMに対してグ ラフカットにより屋根セグメント予測タスク用の屋根セグメントラベルを作成する。 
 • このラベルをさらに各衛星画像のビューフレームにラベルを再投影する 
 Data and Preprocessing 
 8 Vishal Batchu et al. (2024), “Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping”, arXiv:2408.14400 [cs.CV], 2024 より引用
9. • モデルのインプットとアウトプットに関しては以下 
 Method 
 9 Vishal Batchu et al. (2024), “Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping”, arXiv:2408.14400 [cs.CV], 2024 より引用
10. • モデルについてはGoroshin et al., 2023と同様のU-Net構造で特徴抽出にSwin Transformerエンコーダーを使用 し、続いて畳み込みアップサンプリングデコーダを使用する 
 モデルに関して 
 10 Goroshin et al.. (2023), “ESTIMATING RESIDENTIAL SOLAR POTENTIAL USING AERIAL DATA”, ,ICLR 2023. より引用 モデル構造(Goroshin et al., 2023)
 • このモデルを高さマップの不一致を最小化するための L1Loss、より細かい屋根の詳細を追うためのソーベル 勾配損失、屋根インスタンスセグメンテーションのため のAffinity Mask Lossを用いて学習する 
 • 性能はL1高さマップエラー、屋根セグメントのIoU、ピク セル毎の法線から計算されたピッチ/方位角エラーから 評価される

11. トレーニング結果・評価 
 11 Vishal Batchu et al. (2024), “Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping”, arXiv:2408.14400 [cs.CV], 2024 より引用
12. Ablation Study 
 12 Vishal Batchu et al. (2024), “Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping”, arXiv:2408.14400 [cs.CV], 2024 より引用
13. Country Level Analysis 
 13 Vishal Batchu et al. (2024), “Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping”, arXiv:2408.14400 [cs.CV], 2024 より引用
14. Country Level Analysis 
 14 Vishal Batchu et al. (2024), “Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping”, arXiv:2408.14400 [cs.CV], 2024 より引用
15. • 従来は航空写真を用いて作成されていたSolar APIについて衛星画像を用いても同様の計算を実施することより 航空写真のない箇所においても実施できるようになった 
 • 今後の研究では、屋根の障害物の検出・屋根の素材・種類の検出、既存のソーラーパネルの識別、屋根セグメ ントの微調整などにより、ソーラーポテンシャルの推定値を改良することに焦点を当てる 
 Conclusion, Future work 
 15 Vishal Batchu et al. (2024), “Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping”, arXiv:2408.14400 [cs.CV], 2024 より引用