Upgrade to Pro — share decks privately, control downloads, hide ads and more …

4th Place Solution for SpaceNet7 Challenge

4th Place Solution for SpaceNet7 Challenge

Presents 4th place solution for SpaceNet7 challenge, which was held as a part of NeurIPS'20 conference.

For details of SpaceNet7 challenge, see https://medium.com/the-downlinq/the-spacenet-7-multi-temporal-urban-development-challenge-announcing-the-winners-847a9a53004c

D7ef5177ffe7ddec8dc5e11547963f99?s=128

Motoki Kimura

April 08, 2021
Tweet

More Decks by Motoki Kimura

Other Decks in Research

Transcript

  1. 2021.04.08 木村 元紀 (motokimura) 株式会社 Mobility Technologies 4th place solution

    for SpaceNet-7 challenge
  2. 2 項目 01|SpaceNet-7 コンペ概要 02|4位の解法(motokimuraの解法) 03|1位の解法 04|まとめと反省

  3. 3 01 SpaceNet-7 コンペ概要

  4. 4 SpaceNet Challenges ▪ SpaceNet LLCでは、衛星画像を対象としたコンペを通算7回開催(2021年4 月8日時点) 画像は[1](10:21-)より引用

  5. 5 ▪ 7回目のSpaceNet-7は、NeurIPS’20のコンペとして、2020年8月~10月にか けて開催された ▪ 衛星画像の時系列から、建物を検出(instance segmentation)・追跡する 精度を競う SpaceNet-7 Challenge

    Task 画像は[1](4:21-)より引用
  6. 6 ▪ Multi-temporal Urban Development (MUD) dataset ▪ 101 image

    time series (= 101 AOIs*) with building footprint labels SpaceNet-7 Dataset ~ 1 frame / month *AOI: Area Of Interest ~ 4.1km 画像は[1](12:45-)より引用
  7. 7 Dataset: Geographical Selection Criteria 画像は[1](16:12-, 17:08-)より引用

  8. 8 Dataset: Image Source ▪ 衛星画像は、米Planet社の超小型人工衛星Doveで撮影 ▪ 120機以上の衛星コンステレーションにより、任意地点をデイリーに撮影可能 ▪ 地上分解能は4メートルほどで、過去のSpaceNetコンペより解像度は低い

    画像は[1](13:35-)より引用
  9. 9 Dataset: Building Footprint Labels 画像は[1](17:39-)より引用

  10. 10 Dataset: Building Footprint Labels 画像は[1](18:16-)より引用

  11. 11 Dataset: Building Footprint Labels 画像は[1](19:17-)より引用

  12. 12 Dataset Summary 画像は[1](20:45-)より引用

  13. 13 SpaceNet Change & Object Tracking (SCOT) Metric GTポリゴン vs

    検出ポリゴン で領域の重なり (IoU) が 閾値0.25以上の組をマッチング SCOT metric = Tracking F-score と Change Detection F-score の調和平均 Tracking : Change Detection = 1 : 2 で重みづけ For more details, see Medium blog post 画像は[1](22:40-)より引用
  14. 14 02 4位の解法(木村の解法)

  15. 15 Building Detection Pipeline

  16. 16 Building Detection Pipeline: U-Net ▪ AOI単位で 5-fold にデータを分割 ▪

    各foldで、U-Net (w/ EfficientNet-B3 encoder) を学習 ▪ ▪ 入力: 3x or 4x の解像度に upsample した RGB 単フレーム ▪ 出力: 3-channel mask (building body, edge, and contact) footprint_mask = body × (1 - 0.5 × edge) × (1 - contact) 画像は[2]より引用
  17. 17 Building Detection Pipeline: Mask Refinement w/ Time-series ▪ 特に

    edge/contact mask の予測が時間方向で(=フレーム間で)一貫していないと、false positive が発生し、change detection のスコアが大きく悪化する。これを緩和するため、 ▪ ▪ 予測した 3-channel mask の時間方向の平均(~24 mask の平均画像)を計算 ▪ この mean mask を用いて、各フレームの 3-channel mask を補正する: refined_mask[t] = w × mean_mask + (1 - w) × mask[t] w = 1.00 for mask & contact channels w = 0.25 for body channel
  18. 18 Building Detection Pipeline: Polygon Extraction w/ Watershed ▪ 補正された

    3-channel mask を用いて、body × (1 - 0.5 × edge) × (1 - contact) として計 算した mask (=建物の存在確率 ヒートマップ) から、建物をポリゴンとして抽出する ▪ 隣接する建物を正しく分離して検出するため、watershedアルゴリズムを利用
  19. 19 Building Tracking ▪ Tracking by Detection ▪ 建物の位置は変わらないので、ポリゴンの重なり (IoU)

    だけでほぼ追跡できる: ▪ 過去に検出されたポリゴンと比較して、IoU が閾値以上の検出(ポリゴン)に対して同じ tracking ID を付与していく ▪ IoU が閾値未満の検出には新しい tracking IDを発行。ただし...(以降のページに続く) T = 0 T = 1 画像は[3]より引用
  20. 20 Building Tracking: False Positive 対策 FP (false positive) に

    ID を発行してしまうと change detection スコアが著しく悪化するため、 以下のいずれかに該当する場合には、検出を FP として無視する A. 3フレーム先までのポリゴンとの IoU を計算し、閾値以上のポリゴンが存在しない場合 B. 過去に検出されたポリゴンとの交差(intersection)がゼロより大きい場合(一つの建物が フレームによっては複数のポリゴンとして検出され、その一部が FP となってしまう)
  21. 21 Building Tracking: False Negative 対策 過去のフレームで検出できていた建物がフレームによっては検出できない (FN: false negative)

    ケースへの対応: ▪ 各 tracking ID について、最初に現れたフレームと最後に現れたフレームを調べる ▪ その間のフレームでその ID が登場しないフレームを FN とみなし、直前のフレームのポリゴ ンをそのフレームに挿入する
  22. 22 Ablation Study Method Public score (%) Private score (%)

    Baseline (EfficientNet-b3 × 5 + watershed) 23.50 - + Upsample (3×) 26.65 - + Upsample (3× & 4x) 27.21 - + Tracking FP対策 (A) 29.19 - + Mask refinement w/ time-series 32.51 - + Tracking FP対策 (B) 35.24 - + Tracking FN対策 37.35 39.11
  23. 23 03 1位の解法

  24. 24 Approaches by Top-5 Teams Top-5 amoung 300+ teams 画像は[2]より引用

  25. 25 1st-place Solution: HRNet ▪ HRNet 1モデル のため、高速 ▪ 入力画像の解像度を

    3× upsample ▪ これらはハイスコアの本質ではない(後述) 画像は[2]より引用
  26. 26 1st-place Solution: Temporal Collapse ▪ HRNetが予測した mask を時間方向に圧縮 ▪

    圧縮した mask に watershed を適用し、期間中に存在したすべての建物をポ リゴンとして検出 ▪ Frame-by-frame で検出するよりも、建物の形状を正確にとらえられる ▪ ぼやけたり暗かったりと、検出が困難なフレームがあるため、かなり有効 Watershed t=1 t=2 t=3 ……… 画像は[4]より引用
  27. 27 1st-place Solution: Building Origin Epoch ▪ Temporal collapse によって、すべての建物のポリゴンが得られているので、あと

    は各建物が初めて現れたフレームさえ決定できれば良い ▪ ▪ ポリゴン内部の mask 値の平均(=建物の存在確率)をフレームごとに計算 ▪ 存在確率の時系列に対して立ち上がりを検出することで、建物が初めて現れたフ レームを決定する 画像は[4]より引用
  28. 28 1st-place Solution: Ablation Study HRNet & upsample は、スコア向上には寄与していない ハイスコアの本質は、temporal

    collapse による後処理 (下表の STC-1/2) 画像は[4]より引用
  29. 29 04 まとめと反省

  30. 30 ▪ 時系列の衛星画像から建物検出・追跡・変化検出を行い、精度を競うコンペ ▪ ▪ 過去の SpaceNetコンペに比べて画像の解像度が低く、そこに工夫のしどこ ろがあるコンペだった ▪ 画像の拡大、時系列を利用した

    mask の補正、など ▪ ▪ 優勝者の解法からわかるとおり、後処理が特に重要なコンペであった SpaceNet-7 Challenge まとめ
  31. 31 ▪ 優勝チームのような本質を突いたアプローチにたどり着けなかった ▪ Frame-by-frame detection + tracking by detection

    のコードが運営からベースライ ンとして提供されており、そこに継ぎ足すように進めてしまった ▪ 時系列を使った mask の補正は自分も取り入れており、効果が大きいことはわかってい たが... ▪ ベースラインとは違うやり方を検討する時間もとるべきであった ▪ ▪ 手元で val できる環境を最初に作るべきだった ▪ コンペ締め切り2週間前くらいになってやっと、手元で val できる(val-set に対して SCOT スコアが出せる)環境をつくった ▪ val 環境により、tracking の改善(FP/FN対策の追加 & ハイパラ調整)が進み、終盤で かなりスコアを伸ばした SpaceNet-7 Challenge 反省
  32. Thank you for your attention! → GIF animation

  33. 33 [1] “The SpaceNet 7 Multi-temporal Urban Development Challenge -

    NeurIPS 2020 Presentation” https://www.youtube.com/watch?v=BhmnoxBb2vw (2021年4月8日閲覧). [2] “The SpaceNet 7 Multi-Temporal Urban Development Challenge: Announcing the Winners” https://medium.com/the-downlinq/the-spacenet-7-multi-temporal-urban-development-challenge-announcing-th e-winners-847a9a53004c (2021年4月8日閲覧). [3] “SpaceNet 7 Results: ‘Tis the Season” https://medium.com/the-downlinq/spacenet-7-results-tis-the-season-fadc722fdff0 (2021年4月8日閲覧). [4] “SpaceNet7_Multi-Temporal_Solutions” https://github.com/SpaceNetChallenge/SpaceNet7_Multi-Temporal_Solutions/blob/master/1-lxastro0/report-fi nal-lxastro0.docx (2021年4月8日閲覧). 参考文献