Building Height Estimation Using Shadow Length in Satellite Imagery

Slide 1

Slide 1 text

Building Height Estimation   Using Shadow Length in Satellite Imagery  青木亮祐 / ぴっかりん(@ra0kley)  1 第3回 SatAI.challenge勉強会 

Slide 2

Slide 2 text

目次  2 ● 自己紹介スライド  ● 研究の1ページサマリ紹介   ● 研究の背景（Introduction）   ● 手法について（Method）   ● 実験（Experimet）  ● 結論（Conclusion） 

Slide 3

Slide 3 text

3 発表者紹介 This image was generated by ChatGPT

Slide 4

Slide 4 text

青木亮祐（ぴっかりん）某航空測量会社所属自己紹介  4 X（旧Twitter） GitHub 業務: - 航空写真/衛星画像からの深層学習を用いた地物の分類や検出 - 深層学習を用いた二時期の衛星画像からの変化検出 Project PLATEAU ADVOCATE 2024

Slide 5

Slide 5 text

5 1ページサマリ This image was generated by ChatGPT

Slide 6

Slide 6 text

Building Height Estimation Using Shadow Length in Satellite Imagery   6 影の長さを用いた建物高さ推定   ● 単一の光学衛星画像から建物の高さを推定する   ● 従来はステレオ撮影の衛星画像から建物の高さを推定するが、単一の衛星画像から分かる情報である   影の長さを用いることで、建物高さの推定精度向上へつなげている   ● 従来手法と比べると高さの誤差が小さくなっており、精度が向上していると思われる   提案手法の概要  Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用 

Slide 7

Slide 7 text

7 研究の背景 This image was generated by ChatGPT

Slide 8

Slide 8 text

背景: 既往研究   8 ● 複数枚の光学衛星画像やSAR衛星画像、もしくはそれらの両方を用いて建物の高さを推定している   → 推定はできるものの、使用する計算資源やデータの取得コストが高い     ● 単一の光学衛星画像から深層学習を用いて、直接建物の高さ推定する研究も出てきている   SAR画像を用いた建物高さ推定の例 Yao et al., “Large-scale building height retrieval from single sar imagery based on bounding box regression networks,” ISPRS Journal of Photogrammetry and Remote Sensing, vol. 184, pp. 79–95, 2022. より引用単一の光学画像を用いた建物高さ推定の例 Min et al., “Multi-task learning of relative height estimation and semantic segmentation from single airborne rgb images,” Remote Sensing, vol. 14, no. 14, pp. 3450, 2022. より引用

Slide 9

Slide 9 text

背景: 本研究の貢献   9 ● 単一の衛星画像を用いた建物高さ推定のための位置特定と回帰に基づく   新しいフレームワークを開発   ● 建物高さの推定精度を向上するために、回帰モデルとともに数学的定式化を組み込む手法を提案   ● 建物や影の長さをアノテーションするためのツール開発、データセットの作成  

Slide 10

Slide 10 text

10 手法について This image was generated by ChatGPT

Slide 11

Slide 11 text

データセットの作成   11 ● 従来手法は、衛星画像と建物の高さマップのみでデータセットが構築されている   ● 本研究では、上記のほかにバウンディングボックス、緯度・経度、建物ごとの影の長さを含む   独自データセットを作成   ● 従来手法で使用されているデータセットから、以下の点を改良   ○ 提供されている情報が建物の階数情報であるため、3mを掛けて高さマップに変換   例: 3階 → 3×3 = 9m   ○ 建物や影が見えないパッチ画像に関しては省いた       [補足: 従来手法のデータセットについて] ● 中国で人気がある42都市が対象   ● 中国の光学衛星であるZY-3（解像度: 直下視カメラ2.1m、前方/後方カメラ3.5m）の画像を使用   ● パッチサイズは、400x400 pixels（約1000x1000 m）  

Slide 12

Slide 12 text

アノテーションツール   12 建物および影の位置特定（バウンディングボックス）   ● DarkLabelを用いて作成し、YOLO形式で保存     影の長さ  ● 独自に開発したツールを使用   ○ YOLO形式のバウンディングボックスのリストを入力   ○ 各バウンディングボックスに含まれる建物の垂直エッジと影の始点と終点をマークし、   アノテーションデータを作成   ○ アノテーションした建物ごとに、緯度、経度、画像が撮影された日時を入力   → 太陽高度（地平線と太陽のなす角）の算出のため        

Slide 13

Slide 13 text

アノテーションツール   13 影の長さ  ● 独自に開発したツールを使用         独自ツールのスクリーンショット   Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用 

Slide 14

Slide 14 text

手法: 概要   14 提案手法の概要  STEP1 建物と影の位置を推定（物体検出モデル） STEP2 影の長さを推定（回帰モデル） STEP3 影の長さと太陽高度から建物の高さを算出 Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用 

Slide 15

Slide 15 text

手法: STEP1 建物と影の位置を推定   15 ● 光学衛星画像から物体検出モデルを用いて、建物とその影の位置を推定   ● 使用している物体検出モデルは、 YOLOv7        物体検出モデル（YOLOv7）による建物と影の検出結果   Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用 

Slide 16

Slide 16 text

手法: STEP2 回帰モデルで影の長さを推定   16 以下のような手順で、回帰モデルにより影の長さを推定   1. STEP1の結果であるバウンディングボックスに沿って、衛星画像をクリップ   2. 1.を50x50 pixelsにリサイズ   3. 2.を回帰モデル（ResNet18）に入力し、建物の影の長さを推定

Slide 17

Slide 17 text

手法: STEP3 関係式を用いて建物の高さを推定   17

Slide 18

Slide 18 text

18 実験 This image was generated by ChatGPT

Slide 19

Slide 19 text

実験: 実装の詳細   19 ● 適切なハイパーパラメータを探すために、以下の表のようにパラメータを変更し実験   RMSEが一番小さい赤枠のパラメータを採用   ● 表の結果は、500棟のテストデータセットに対するもの       Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用 

Slide 20

Slide 20 text

実験: 評価結果   20 ● 同じデータセットを用いた既存手法と建物高さのRMSEを比較した結果は以下の通り   ● このモデルが一番RMSEが小さくなった     Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用 

Slide 21

Slide 21 text

21 結論 This image was generated by ChatGPT

Slide 22

Slide 22 text

結論   22 ● 単一の衛星画像を用いた建物高さ推定のための位置特定と回帰に基づく   新しいフレームワークを開発   ● 建物高さの推定精度を向上するために、回帰モデルとともに数学的定式化を組み込む手法を提案   ● 建物や影の長さをアノテーションするためのツール開発、データセットの作成   ● 既存手法より、推定した建物高さのRMSEが小さいことを確認   Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用 

Slide 23

Slide 23 text

23 個人的な謎 This image was generated by ChatGPT

Slide 24

Slide 24 text

謎   24 ● 教師データの例を見ると、複数の建物で1つのバウンディングボックスを作成している   箇所がある  ● 建物に対して影は見えるけど、バウンディングボックスがない箇所もある（採用基準は？）     Shayaan et al., “Building Height Estimation Using Shadow Length in Satellite Imagery ,” arXiv, 2024. より引用 