Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

4th Place Solution for SpaceNet7 Challenge

4th Place Solution for SpaceNet7 Challenge

Presents 4th place solution for SpaceNet7 challenge, which was held as a part of NeurIPS'20 conference.

For details of SpaceNet7 challenge, see https://medium.com/the-downlinq/the-spacenet-7-multi-temporal-urban-development-challenge-announcing-the-winners-847a9a53004c

Motoki Kimura

April 08, 2021
Tweet

More Decks by Motoki Kimura

Other Decks in Research

Transcript

  1. 6 ▪ Multi-temporal Urban Development (MUD) dataset ▪ 101 image

    time series (= 101 AOIs*) with building footprint labels SpaceNet-7 Dataset ~ 1 frame / month *AOI: Area Of Interest ~ 4.1km 画像は[1](12:45-)より引用
  2. 13 SpaceNet Change & Object Tracking (SCOT) Metric GTポリゴン vs

    検出ポリゴン で領域の重なり (IoU) が 閾値0.25以上の組をマッチング SCOT metric = Tracking F-score と Change Detection F-score の調和平均 Tracking : Change Detection = 1 : 2 で重みづけ For more details, see Medium blog post 画像は[1](22:40-)より引用
  3. 16 Building Detection Pipeline: U-Net ▪ AOI単位で 5-fold にデータを分割 ▪

    各foldで、U-Net (w/ EfficientNet-B3 encoder) を学習 ▪ ▪ 入力: 3x or 4x の解像度に upsample した RGB 単フレーム ▪ 出力: 3-channel mask (building body, edge, and contact) footprint_mask = body × (1 - 0.5 × edge) × (1 - contact) 画像は[2]より引用
  4. 17 Building Detection Pipeline: Mask Refinement w/ Time-series ▪ 特に

    edge/contact mask の予測が時間方向で(=フレーム間で)一貫していないと、false positive が発生し、change detection のスコアが大きく悪化する。これを緩和するため、 ▪ ▪ 予測した 3-channel mask の時間方向の平均(~24 mask の平均画像)を計算 ▪ この mean mask を用いて、各フレームの 3-channel mask を補正する: refined_mask[t] = w × mean_mask + (1 - w) × mask[t] w = 1.00 for mask & contact channels w = 0.25 for body channel
  5. 18 Building Detection Pipeline: Polygon Extraction w/ Watershed ▪ 補正された

    3-channel mask を用いて、body × (1 - 0.5 × edge) × (1 - contact) として計 算した mask (=建物の存在確率 ヒートマップ) から、建物をポリゴンとして抽出する ▪ 隣接する建物を正しく分離して検出するため、watershedアルゴリズムを利用
  6. 19 Building Tracking ▪ Tracking by Detection ▪ 建物の位置は変わらないので、ポリゴンの重なり (IoU)

    だけでほぼ追跡できる: ▪ 過去に検出されたポリゴンと比較して、IoU が閾値以上の検出(ポリゴン)に対して同じ tracking ID を付与していく ▪ IoU が閾値未満の検出には新しい tracking IDを発行。ただし...(以降のページに続く) T = 0 T = 1 画像は[3]より引用
  7. 20 Building Tracking: False Positive 対策 FP (false positive) に

    ID を発行してしまうと change detection スコアが著しく悪化するため、 以下のいずれかに該当する場合には、検出を FP として無視する A. 3フレーム先までのポリゴンとの IoU を計算し、閾値以上のポリゴンが存在しない場合 B. 過去に検出されたポリゴンとの交差(intersection)がゼロより大きい場合(一つの建物が フレームによっては複数のポリゴンとして検出され、その一部が FP となってしまう)
  8. 21 Building Tracking: False Negative 対策 過去のフレームで検出できていた建物がフレームによっては検出できない (FN: false negative)

    ケースへの対応: ▪ 各 tracking ID について、最初に現れたフレームと最後に現れたフレームを調べる ▪ その間のフレームでその ID が登場しないフレームを FN とみなし、直前のフレームのポリゴ ンをそのフレームに挿入する
  9. 22 Ablation Study Method Public score (%) Private score (%)

    Baseline (EfficientNet-b3 × 5 + watershed) 23.50 - + Upsample (3×) 26.65 - + Upsample (3× & 4x) 27.21 - + Tracking FP対策 (A) 29.19 - + Mask refinement w/ time-series 32.51 - + Tracking FP対策 (B) 35.24 - + Tracking FN対策 37.35 39.11
  10. 25 1st-place Solution: HRNet ▪ HRNet 1モデル のため、高速 ▪ 入力画像の解像度を

    3× upsample ▪ これらはハイスコアの本質ではない(後述) 画像は[2]より引用
  11. 26 1st-place Solution: Temporal Collapse ▪ HRNetが予測した mask を時間方向に圧縮 ▪

    圧縮した mask に watershed を適用し、期間中に存在したすべての建物をポ リゴンとして検出 ▪ Frame-by-frame で検出するよりも、建物の形状を正確にとらえられる ▪ ぼやけたり暗かったりと、検出が困難なフレームがあるため、かなり有効 Watershed t=1 t=2 t=3 ……… 画像は[4]より引用
  12. 27 1st-place Solution: Building Origin Epoch ▪ Temporal collapse によって、すべての建物のポリゴンが得られているので、あと

    は各建物が初めて現れたフレームさえ決定できれば良い ▪ ▪ ポリゴン内部の mask 値の平均(=建物の存在確率)をフレームごとに計算 ▪ 存在確率の時系列に対して立ち上がりを検出することで、建物が初めて現れたフ レームを決定する 画像は[4]より引用
  13. 31 ▪ 優勝チームのような本質を突いたアプローチにたどり着けなかった ▪ Frame-by-frame detection + tracking by detection

    のコードが運営からベースライ ンとして提供されており、そこに継ぎ足すように進めてしまった ▪ 時系列を使った mask の補正は自分も取り入れており、効果が大きいことはわかってい たが... ▪ ベースラインとは違うやり方を検討する時間もとるべきであった ▪ ▪ 手元で val できる環境を最初に作るべきだった ▪ コンペ締め切り2週間前くらいになってやっと、手元で val できる(val-set に対して SCOT スコアが出せる)環境をつくった ▪ val 環境により、tracking の改善(FP/FN対策の追加 & ハイパラ調整)が進み、終盤で かなりスコアを伸ばした SpaceNet-7 Challenge 反省
  14. 33 [1] “The SpaceNet 7 Multi-temporal Urban Development Challenge -

    NeurIPS 2020 Presentation” https://www.youtube.com/watch?v=BhmnoxBb2vw (2021年4月8日閲覧). [2] “The SpaceNet 7 Multi-Temporal Urban Development Challenge: Announcing the Winners” https://medium.com/the-downlinq/the-spacenet-7-multi-temporal-urban-development-challenge-announcing-th e-winners-847a9a53004c (2021年4月8日閲覧). [3] “SpaceNet 7 Results: ‘Tis the Season” https://medium.com/the-downlinq/spacenet-7-results-tis-the-season-fadc722fdff0 (2021年4月8日閲覧). [4] “SpaceNet7_Multi-Temporal_Solutions” https://github.com/SpaceNetChallenge/SpaceNet7_Multi-Temporal_Solutions/blob/master/1-lxastro0/report-fi nal-lxastro0.docx (2021年4月8日閲覧). 参考文献