Building Height Estimation Using Shadow Length in Satellite Imagery

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge

紹介する論文は、1枚の衛星画像から建物の高さを推定する手法を提案したものです。この研究では、建物の高さを深層学習モデルで直接推定するのではなく、衛星画像に映る影の長さを深層学習モデルで推定し、その結果を用いて関係式に基づき建物の高さを算出しています。

Transcript

1. Building Height Estimation 
 Using Shadow Length in Satellite Imagery
 青木 亮祐 / ぴっかりん(@ra0kley)
 1 第3回 SatAI.challenge勉強会

2. 目次
 2 • 自己紹介スライド
 • 研究の1ページサマリ紹介 
 • 研究の背景（Introduction） 
 • 手法について（Method） 
 • 実験（Experimet）
 • 結論（Conclusion）

3. 3 発表者紹介 This image was generated by ChatGPT
4. 青木 亮祐（ぴっかりん） 某航空測量会社所属 自己紹介
 4 X（旧Twitter） GitHub 業務: - 航空写真/衛星画像からの深層学習を用いた地物の分類や検出 - 深層学習を用いた二時期の衛星画像からの変化検出 Project PLATEAU ADVOCATE 2024
5. 5 1ページサマリ This image was generated by ChatGPT
6. Building Height Estimation Using Shadow Length in Satellite Imagery 
 6 影の長さを用いた建物高さ推定 
 • 単一の光学衛星画像から建物の高さを推定する 
 • 従来はステレオ撮影の衛星画像から建物の高さを推定するが、単一の衛星画像から分かる情報である 
 影の長さを用いることで、建物高さの推定精度向上へつなげている 
 • 従来手法と比べると高さの誤差が小さくなっており、精度が向上していると思われる 
 提案手法の概要
 Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用

7. 7 研究の背景 This image was generated by ChatGPT
8. 背景: 既往研究 
 8 • 複数枚の光学衛星画像やSAR衛星画像、もしくはそれらの両方を用いて建物の高さを推定している 
 → 推定はできるものの、使用する計算資源やデータの取得コストが高い 
 
 • 単一の光学衛星画像から深層学習を用いて、直接建物の高さ推定する研究も出てきている 
 SAR画像を用いた建物高さ推定の例 Yao et al., “Large-scale building height retrieval from single sar imagery based on bounding box regression networks,” ISPRS Journal of Photogrammetry and Remote Sensing, vol. 184, pp. 79–95, 2022. より引用 単一の光学画像を用いた建物高さ推定の例 Min et al., “Multi-task learning of relative height estimation and semantic segmentation from single airborne rgb images,” Remote Sensing, vol. 14, no. 14, pp. 3450, 2022. より引用
9. 背景: 本研究の貢献 
 9 • 単一の衛星画像を用いた建物高さ推定のための位置特定と回帰に基づく 
 新しいフレームワークを開発 
 • 建物高さの推定精度を向上するために、回帰モデルとともに数学的定式化を組み込む手法を提案 
 • 建物や影の長さをアノテーションするためのツール開発、データセットの作成 

10. 10 手法について This image was generated by ChatGPT
11. データセットの作成 
 11 • 従来手法は、衛星画像と建物の高さマップのみでデータセットが構築されている 
 • 本研究では、上記のほかにバウンディングボックス、緯度・経度、建物ごとの影の長さを含む 
 独自データセットを作成 
 • 従来手法で使用されているデータセットから、以下の点を改良 
 ◦ 提供されている情報が建物の階数情報であるため、3mを掛けて高さマップに変換 
 例: 3階 → 3×3 = 9m 
 ◦ 建物や影が見えないパッチ画像に関しては省いた 
 
 
 [補足: 従来手法のデータセットについて] • 中国で人気がある42都市が対象 
 • 中国の光学衛星であるZY-3（解像度: 直下視カメラ2.1m、前方/後方カメラ3.5m）の画像を使用 
 • パッチサイズは、400x400 pixels（約1000x1000 m） 

12. アノテーションツール 
 12 建物および影の位置特定（バウンディングボックス） 
 • DarkLabelを用いて作成し、YOLO形式で保存 
 
 影の長さ
 • 独自に開発したツールを使用 
 ◦ YOLO形式のバウンディングボックスのリストを入力 
 ◦ 各バウンディングボックスに含まれる建物の垂直エッジと影の始点と終点をマークし、 
 アノテーションデータを作成 
 ◦ アノテーションした建物ごとに、緯度、経度、画像が撮影された日時を入力 
 → 太陽高度（地平線と太陽のなす角）の算出のため 
 
 
 

13. アノテーションツール 
 13 影の長さ
 • 独自に開発したツールを使用 
 
 
 
 独自ツールのスクリーンショット 
 Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用

14. 手法: 概要 
 14 提案手法の概要
 STEP1 建物と影の位置を推定 （物体検出モデル） STEP2 影の長さを推定 （回帰モデル） STEP3 影の長さと太陽高 度から建物の高 さを算出 Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用

15. 手法: STEP1 建物と影の位置を推定 
 15 • 光学衛星画像から物体検出モデルを用いて、建物とその影の位置を推定 
 • 使用している物体検出モデルは、 YOLOv7
 
 
 
 物体検出モデル（YOLOv7）による建物と影の検出結果 
 Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用

16. 手法: STEP2 回帰モデルで影の長さを推定 
 16 以下のような手順で、回帰モデルにより影の長さを推定 
 1. STEP1の結果であるバウンディングボックスに沿って、衛星画像をクリップ 
 2. 1.を50x50 pixelsにリサイズ 
 3. 2.を回帰モデル（ResNet18）に入力し、建物の影の長さを推定
17. 手法: STEP3 関係式を用いて建物の高さを推定 
 17
18. 18 実験 This image was generated by ChatGPT
19. 実験: 実装の詳細 
 19 • 適切なハイパーパラメータを探すために、以下の表のようにパラメータを変更し実験 
 RMSEが一番小さい赤枠のパラメータを採用 
 • 表の結果は、500棟のテストデータセットに対するもの 
 
 
 Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用

20. 実験: 評価結果 
 20 • 同じデータセットを用いた既存手法と建物高さのRMSEを比較した結果は以下の通り 
 • このモデルが一番RMSEが小さくなった 
 
 Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用

21. 21 結論 This image was generated by ChatGPT
22. 結論 
 22 • 単一の衛星画像を用いた建物高さ推定のための位置特定と回帰に基づく 
 新しいフレームワークを開発 
 • 建物高さの推定精度を向上するために、回帰モデルとともに数学的定式化を組み込む手法を提案 
 • 建物や影の長さをアノテーションするためのツール開発、データセットの作成 
 • 既存手法より、推定した建物高さのRMSEが小さいことを確認 
 Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用

23. 23 個人的な謎 This image was generated by ChatGPT
24. 謎 
 24 • 教師データの例を見ると、複数の建物で1つのバウンディングボックスを作成している 
 箇所がある
 • 建物に対して影は見えるけど、バウンディングボックスがない箇所もある（採用基準は？） 
 
 Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用