2021.04.08 木村 元紀 (motokimura) 株式会社 Mobility Technologies 4th place solution for SpaceNet-7 challenge

2 項目 01｜SpaceNet-7 コンペ概要 02｜4位の解法（motokimuraの解法） 03｜1位の解法 04｜まとめと反省

3 01 SpaceNet-7 コンペ概要

4 SpaceNet Challenges ▪ SpaceNet LLCでは、衛星画像を対象としたコンペを通算7回開催（2021年4 月8日時点） 画像は[1]（10:21-）より引用

5 ▪ 7回目のSpaceNet-7は、NeurIPS’20のコンペとして、2020年8月~10月にか けて開催された ▪ 衛星画像の時系列から、建物を検出（instance segmentation）・追跡する 精度を競う SpaceNet-7 Challenge Task 画像は[1]（4:21-）より引用

6 ▪ Multi-temporal Urban Development (MUD) dataset ▪ 101 image time series (= 101 AOIs*) with building footprint labels SpaceNet-7 Dataset ~ 1 frame / month *AOI: Area Of Interest ~ 4.1km 画像は[1]（12:45-）より引用

7 Dataset: Geographical Selection Criteria 画像は[1]（16:12-, 17:08-）より引用

8 Dataset: Image Source ▪ 衛星画像は、米Planet社の超小型人工衛星Doveで撮影 ▪ 120機以上の衛星コンステレーションにより、任意地点をデイリーに撮影可能 ▪ 地上分解能は4メートルほどで、過去のSpaceNetコンペより解像度は低い 画像は[1]（13:35-）より引用

9 Dataset: Building Footprint Labels 画像は[1]（17:39-）より引用

10 Dataset: Building Footprint Labels 画像は[1]（18:16-）より引用

11 Dataset: Building Footprint Labels 画像は[1]（19:17-）より引用

12 Dataset Summary 画像は[1]（20:45-）より引用

13 SpaceNet Change & Object Tracking (SCOT) Metric GTポリゴン vs 検出ポリゴン で領域の重なり (IoU) が 閾値0.25以上の組をマッチング SCOT metric = Tracking F-score と Change Detection F-score の調和平均 Tracking : Change Detection = 1 : 2 で重みづけ For more details, see Medium blog post 画像は[1]（22:40-）より引用

14 02 4位の解法（木村の解法）

15 Building Detection Pipeline

16 Building Detection Pipeline: U-Net ▪ AOI単位で 5-fold にデータを分割 ▪ 各foldで、U-Net (w/ EfficientNet-B3 encoder) を学習 ▪ ▪ 入力: 3x or 4x の解像度に upsample した RGB 単フレーム ▪ 出力: 3-channel mask (building body, edge, and contact) footprint_mask = body × (1 - 0.5 × edge) × (1 - contact) 画像は[2]より引用

17 Building Detection Pipeline: Mask Refinement w/ Time-series ▪ 特に edge/contact mask の予測が時間方向で（=フレーム間で）一貫していないと、false positive が発生し、change detection のスコアが大きく悪化する。これを緩和するため、 ▪ ▪ 予測した 3-channel mask の時間方向の平均（~24 mask の平均画像）を計算 ▪ この mean mask を用いて、各フレームの 3-channel mask を補正する: refined_mask[t] = w × mean_mask + (1 - w) × mask[t] w = 1.00 for mask & contact channels w = 0.25 for body channel

18 Building Detection Pipeline: Polygon Extraction w/ Watershed ▪ 補正された 3-channel mask を用いて、body × (1 - 0.5 × edge) × (1 - contact) として計 算した mask (=建物の存在確率 ヒートマップ) から、建物をポリゴンとして抽出する ▪ 隣接する建物を正しく分離して検出するため、watershedアルゴリズムを利用

19 Building Tracking ▪ Tracking by Detection ▪ 建物の位置は変わらないので、ポリゴンの重なり (IoU) だけでほぼ追跡できる: ▪ 過去に検出されたポリゴンと比較して、IoU が閾値以上の検出（ポリゴン）に対して同じ tracking ID を付与していく ▪ IoU が閾値未満の検出には新しい tracking IDを発行。ただし...（以降のページに続く） T = 0 T = 1 画像は[3]より引用

20 Building Tracking: False Positive 対策 FP (false positive) に ID を発行してしまうと change detection スコアが著しく悪化するため、 以下のいずれかに該当する場合には、検出を FP として無視する A. 3フレーム先までのポリゴンとの IoU を計算し、閾値以上のポリゴンが存在しない場合 B. 過去に検出されたポリゴンとの交差（intersection）がゼロより大きい場合（一つの建物が フレームによっては複数のポリゴンとして検出され、その一部が FP となってしまう）

21 Building Tracking: False Negative 対策 過去のフレームで検出できていた建物がフレームによっては検出できない (FN: false negative) ケースへの対応: ▪ 各 tracking ID について、最初に現れたフレームと最後に現れたフレームを調べる ▪ その間のフレームでその ID が登場しないフレームを FN とみなし、直前のフレームのポリゴ ンをそのフレームに挿入する

22 Ablation Study Method Public score (%) Private score (%) Baseline (EfficientNet-b3 × 5 + watershed) 23.50 - + Upsample (3×) 26.65 - + Upsample (3× & 4x) 27.21 - + Tracking FP対策 (A) 29.19 - + Mask refinement w/ time-series 32.51 - + Tracking FP対策 (B) 35.24 - + Tracking FN対策 37.35 39.11

23 03 1位の解法

24 Approaches by Top-5 Teams Top-5 amoung 300+ teams 画像は[2]より引用

25 1st-place Solution: HRNet ▪ HRNet 1モデル のため、高速 ▪ 入力画像の解像度を 3× upsample ▪ これらはハイスコアの本質ではない（後述） 画像は[2]より引用

26 1st-place Solution: Temporal Collapse ▪ HRNetが予測した mask を時間方向に圧縮 ▪ 圧縮した mask に watershed を適用し、期間中に存在したすべての建物をポ リゴンとして検出 ▪ Frame-by-frame で検出するよりも、建物の形状を正確にとらえられる ▪ ぼやけたり暗かったりと、検出が困難なフレームがあるため、かなり有効 Watershed t=1 t=2 t=3 ……… 画像は[4]より引用

27 1st-place Solution: Building Origin Epoch ▪ Temporal collapse によって、すべての建物のポリゴンが得られているので、あと は各建物が初めて現れたフレームさえ決定できれば良い ▪ ▪ ポリゴン内部の mask 値の平均（=建物の存在確率）をフレームごとに計算 ▪ 存在確率の時系列に対して立ち上がりを検出することで、建物が初めて現れたフ レームを決定する 画像は[4]より引用

28 1st-place Solution: Ablation Study HRNet & upsample は、スコア向上には寄与していない ハイスコアの本質は、temporal collapse による後処理 (下表の STC-1/2) 画像は[4]より引用

29 04 まとめと反省

30 ▪ 時系列の衛星画像から建物検出・追跡・変化検出を行い、精度を競うコンペ ▪ ▪ 過去の SpaceNetコンペに比べて画像の解像度が低く、そこに工夫のしどこ ろがあるコンペだった ▪ 画像の拡大、時系列を利用した mask の補正、など ▪ ▪ 優勝者の解法からわかるとおり、後処理が特に重要なコンペであった SpaceNet-7 Challenge まとめ

31 ▪ 優勝チームのような本質を突いたアプローチにたどり着けなかった ▪ Frame-by-frame detection + tracking by detection のコードが運営からベースライ ンとして提供されており、そこに継ぎ足すように進めてしまった ▪ 時系列を使った mask の補正は自分も取り入れており、効果が大きいことはわかってい たが... ▪ ベースラインとは違うやり方を検討する時間もとるべきであった ▪ ▪ 手元で val できる環境を最初に作るべきだった ▪ コンペ締め切り2週間前くらいになってやっと、手元で val できる（val-set に対して SCOT スコアが出せる）環境をつくった ▪ val 環境により、tracking の改善（FP/FN対策の追加 & ハイパラ調整）が進み、終盤で かなりスコアを伸ばした SpaceNet-7 Challenge 反省

Thank you for your attention! → GIF animation

33 [1] “The SpaceNet 7 Multi-temporal Urban Development Challenge - NeurIPS 2020 Presentation” https://www.youtube.com/watch?v=BhmnoxBb2vw (2021年4月8日閲覧). [2] “The SpaceNet 7 Multi-Temporal Urban Development Challenge: Announcing the Winners” https://medium.com/the-downlinq/the-spacenet-7-multi-temporal-urban-development-challenge-announcing-th e-winners-847a9a53004c (2021年4月8日閲覧). [3] “SpaceNet 7 Results: ‘Tis the Season” https://medium.com/the-downlinq/spacenet-7-results-tis-the-season-fadc722fdff0 (2021年4月8日閲覧). [4] “SpaceNet7_Multi-Temporal_Solutions” https://github.com/SpaceNetChallenge/SpaceNet7_Multi-Temporal_Solutions/blob/master/1-lxastro0/report-fi nal-lxastro0.docx (2021年4月8日閲覧). 参考文献