PolarMask: Single Shot Instance Segmentation with Polar Representation 論文紹介 / 20200718-cvpr-2020-polar-mask

PolarMask: Single Shot Instance Segmentation with Polar Representation (CVPR 2020 Oral)

第三回　全日本コンピュータビジョン勉強会（後編）にて発表したスライドです。
https://kantocv.connpass.com/event/178147/

誤りや疑問点等がありましたら、Twitterでご連絡ください。
https://twitter.com/__t2kasa__

Transcript

1. PolarMask: Single Shot Instance Segmentation with Polar Representation Enze Xie, Peize Sun, Xiaoge Song, Wenhai Wang, Xuebo Liu, Ding Liang, Chunhua Shen, Ping Luo CVPR 2020 (Oral) @__t2kasa__ (Tsukasa Takagi) 2020/07/18 CVPR2020読み会＠オンライン（後編）
2. 自己紹介＆論文を選んだ理由 • 自己紹介 ◦ Twitter: @__t2kasa__ ◦ Tsukasa Takagi • 論文を選んだ理由 ◦ bboxを推定せずにinstance segmentationができる！ という点が面白いと感じた
3. PolarMask • マスクの表現方法として 極座標（Polar Coordinates）を用いる ことにより、シンプルなsingle shot instance segmentationを可能にしたPolarMaskを提 案 • 極座標を用いる利点： ◦ 極座標の原点は物体の中心になる ◦ 物体の輪郭は物体の中心からの 距離と角度のみで表現できる ◦ 角度毎の点をつなげていくことで 物体の輪郭を容易に作成できる
4. 従来研究＆関連研究
5. Mask R-CNN [He+ ICCV 2017] 1. Region Proposal Network (RPN)で物体の矩形候補を推定 2. 矩形候補毎に特徴量をRoIAlignで抽出 3. ラベル・矩形・マスクを推定
6. FCOS [Tian+ ICCV 2019] • Object Detectionをclassification + centerness + tlbrの推定として扱う
7. PolarMask [Xie+ CVPR 2020] • Instance Segmentationをclassification + center + distanceの推定として扱う
8. 従来研究との関係性 Method Task use RPN? use anchor? # of stages Faster R-CNN [Ren+ NIPS 2015] Object Detection Yes Yes 2 RetinaNet [Lin+ ICCV 2017] No Yes 1 FCOS [Tian+ ICCV 2019] No No 1 Mask R-CNN [He+ ICCV 2017] Instance Segmentation Yes Yes 2 YOLACT [Bolya+ ICCV 2019] No Yes 1 PolarMask [Xie+ CVPR 2020] No No 1
9. • Polar Representation ◦ 極座標によるマスクの表現 • Loss ◦ Classification（FCOSと同様） ◦ Polar Centerness ◦ Polar IoU Loss • Inference ◦ Mask Assembling • Experiments ◦ Ablation Study ◦ COCO test-devでの精度比較 PolarMask 詳細
10. Polar Representation
11. 極座標によるマスクの表現 • 中心 ◦ bboxの中心ではなくマスクの重心を採用 ◦ マスクの重心を中心とした方がGTとのIoUの上限が高い • 角度 ◦ 中心からのrayの数nを決めておいて等間隔に分割（n = 36なら10度毎） • 中心からの距離 ◦ 各角度でマスクの輪郭までの距離を求める （実際にはマスクの輪郭上でその角度に最も近い距離を用いる）
12. Loss
13. Classification • FCOSと同様 • feature mapのstride x 1.5倍の範囲に物体の重心があればpositiveとする ◦ 例：元画像の1 / 8のサイズのfeature mapでは各位置について 元画像で8 x 1.5 = 12 pixelの範囲内に物体の中心があればpositive • focal lossで学習
14. Polar Centerness • Centerness ◦ FCOSで提案 ◦ 物体の中心に近い位置がcenterになりやすいようにする ◦ binary cross entropy lossで学習する • Polar Centerness ◦ Centernessを極座標用に変更 ◦ rayの長さのsqrt(min/max)が大きい方がcenterになりやすいようにする （rayの長さに差がないような位置が良いcenterとなるようにする）
15. Polar IoU Loss (1/2) • 中心から輪郭までの距離を回帰問題として推定 • object detectionやinstance segmentationではsmooth L1が定番だが… • 疑問： ◦ 各物体に対してn個のrayの回帰損失を計算するため、 分類損失とimbalanceになる可能性がある ◦ 各rayの回帰損失は独立して計算するよりも、n個のrayの間に 関係性があるとして計算できる損失の方が良いのではないか • → Polar IoU Lossを提案
16. Polar IoU Loss (2/2) • 定義に従ったIoU • rayは等間隔なのでΔθ = 2π / N、経験的にd^2ではなくdでも精度にほとんど影響し ない（±0.1 mAP）ことから、Nが有限の場合 • Polar IoU LossはPolar IoUのbinary cross entropy lossとする • 最適なIoUは1（正解の値を1としたBCE）なので負の対数をとった形になる
17. Inference
18. Mask Assembling • centernessとclassificationの値を掛けた数値をconfidence scoreとする • FPNの各レベルでscoreが高いほうから1kだけ残す • scoreが0.05を超える物体のみ残す • マスクの外接矩形を用いてnon maximum suppression (NMS)をする • マスクの算出自体はシンプル： ◦ 中心位置からrayの長さdと事前に決めた等間隔の角度から(x, y)を計算 ◦ 求めた点を線でつないでいく
19. Experiments
20. Ablation Study
21. COCO test-devでの精度比較
23. まとめ • マスクの表現方法として極座標を用いることにより、シンプルなsingle shot instance segmentationを可能にしたPolarMaskを提案 • 極座標に合わせたPolar Centerness, Polar IoU Lossを提案して精度を向上 • GitHubで公開されている ◦ https://github.com/xieenze/PolarMask
24. • [Ren+ NIPS 2015] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,” in NIPS 2015. • [Lin+ ICCV 2017] Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár, “Focal Loss for Dense Object Detection,” in ICCV 2017. • [Tian+ ICCV 2019] Zhi Tian, Chunhua Shen, Hao Chen, and Tong He, “FCOS: Fully Convolutional One-Stage Object Detection,” in ICCV 2019. • [He+ ICCV 2017] Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick, “Mask R-CNN,” in ICCV 2017. • [Bolya+ ICCV 2019] Daniel Bolya, Chong Zhou, Fanyi Xiao, and Yong Jae Lee, “YOLACT: Real-time Instance Segmentation,” in ICCV 2019. • [Xie+ CVPR 2020] Enze Xie, Peize Sun, Xiaoge Song, Wenhai Wang, Ding Liang, Chunhua Shen, and Ping Luo, “PolarMask: Single Shot Instance Segmentation with Polar Representation,” in CVPR 2020. References
25. Appendix
26. 中心からの距離の決定方法 • 輪郭をcv2.findContoursなどで求めておく • 輪郭上の全ての点で距離と角度を算出 → • ray毎に一致する角度が輪郭内にあれば → その値を距離とする （複数の点がマッチする場合は最大の距離） • 一致する角度がない場合は近い角度に → 対応する値を距離とする （近い角度もない場合は10^-6としておく）