Mobility Technologies Co., Ltd. SuperGlue Learning Feature Matching with Graph Neural Networks 株式会社Mobility Technologies 内⽥ 祐介 JapanCV CVPR2020読み会（前編）

Mobility Technologies Co., Ltd. nコンテキストを考慮した教師あり特徴点マッチング⼿法 SuperGlue 2 単純な最近傍 ＋距離閾値 SuperGlue 緑：正解マッチング ⾚：誤マッチング

Mobility Technologies Co., Ltd. n各画像領域の対応関係、2枚の画像を撮影したカメラ間の位置算出 n三次元復元、Visual SLAM、画像検索、AR等で必須の⼯程 特徴点マッチングは⾮常に重要な問題 3

Mobility Technologies Co., Ltd. SuperGlueの役割 4 通常の画像間特徴点マッチングパイプライン

Mobility Technologies Co., Ltd. Detection, Description, and Feature Matching 5 ① Detec%on: Extract local regions (patches) from images ② Descrip%on: Describe the patches by d-dimensional vectors ③ Matching: Make correspondences between similar patches Position (x, y) Orientation θ Scale σ Feature vector f (e.g., 128-dim SIFT) Local feature

Mobility Technologies Co., Ltd. “Classical” Detector 6 Hessian Beaudet’78 Harris Harris’88 LoG Lindeberg’98 DoG Lowe’99 SURF Bay’06 Harris-Laplace Mikolajczyk’01 Hessian-Affine Mikolajczyk’04 Harris-Affine Mikolajczyk’02 FAST Rosten’05 Affine-invariant Scale-invariant Rota0on-invariant LoG scale sele0on Affine adapta0on Multi-scale + Box filter acceleration LoG approxima0on Hessian-Laplace Mikolajczyk’01 Oriented FAST Rublee’11 SUSAN Smith’97 Simplifica0on + tree accelera0on OrientaGon Corner-like Blob-like (SIFT) (ORB)

Mobility Technologies Co., Ltd. “Classical” Descriptor 7 SIFT Lowe’99 SURF Bay’06 BRIEF Calonder’10 ORB Rublee’11 GLOH Mikolajczyk’05 FREAK Alahi’12 A-KAZE Alcantarilla’13 LDB Yang’12 LATCH Levi’16 BRISK Leutenegger’11 Real-valued Binary (0.56, 0.22, -0.10, …, 0.96) (1, 0, 0, …, 1) RootSIFT Arandjelovic’12 画像検索今昔物語 h@ps://www.slideshare.net/ren4yu/image-retrieval-overview-from-tradi0onal-local-features-to-recent-deep-learning-approaches Local Feature Detectors, Descriptors, and Image Representa0ons: A Survey h@ps://arxiv.org/abs/1607.08368

Mobility Technologies Co., Ltd. nLIFT, DELF, SuperPoint, D2-Net n最近のトレンドはD2-Netのように1つの特徴マップで detection + descriptionする系︖ “Learned” Detector and Descriptor 8

Mobility Technologies Co., Ltd. n単純なdescriptorの最近傍マッチングでは⼤量の誤対応が発⽣ nHeuristics • 閾値︓単純に⼀定距離のマッチングのみを残す • Ratio test: 最近傍と第⼆近傍の距離の⽐を利⽤ • Mutual check: お互いがお互いの最近傍となるマッチングのみを残す nLearned • e.g. Learning to Find Good Correspondences, CVPRʼ18. Outlier Filtering 9

Mobility Technologies Co., Ltd. n既存の局所特徴を⼊⼒とし、それらのマッチング結果を出⼒する SuperGlueの役割 10

Mobility Technologies Co., Ltd. 正確に⾔うと… 11

Mobility Technologies Co., Ltd. SuperGlueのパイプライン 12 ⼊⼒ descriptor d 座標 p = (x, y, c) cは信頼度 Keypoint Encoder

Mobility Technologies Co., Ltd. nSelf layerとcross layerを交互に適⽤することでdescriptorを update Attentional Graph Neural Network 13

Mobility Technologies Co., Ltd. nSelf layer • 同⼀画像内のdescriptorで 完全グラフを構成 nCross layer • 画像間のdescriptorで 完全⼆部グラフを構成 Self layerとcross layer 14 画像引⽤元 h@ps://ja.wikipedia.org/wiki/%E5%AE%8C%E5%85%A8%E3%82%B0%E3%83%A9%E3%83%95 h@ps://ja.wikipedia.org/wiki/%E5%AE%8C%E5%85%A82%E9%83%A8%E3%82%B0%E3%83%A9%E3%83%95 画像Aのdescriptor node 画像Bのdescriptor node 画像Aのdescriptor node 画像Bのdescriptor node

Mobility Technologies Co., Ltd. nSelf layerとcross layerを交互に適⽤することでdescriptorを update Attentional Graph Neural Network 15 concat

Mobility Technologies Co., Ltd. Message Passing with Self Attention 16 self or cross qとkの類似度に 基づいた重み vの重み付け和

Mobility Technologies Co., Ltd. 完全にBERT 17 BERT⼊⾨ hSps://speakerdeck.com/shimacos/graph-neural-networkswowan-quan-nili-jie-sitai

Mobility Technologies Co., Ltd. nGNNの出⼒からmatching descriptor、score matrix Sを計算 • xを線形変換して、内積でSを計算するだけ Score Matrix 18

Mobility Technologies Co., Ltd. nScore matrixは、各特徴点のマッチング結果を表現 nオクルージョンや再現性のない特徴点はマッチング相⼿がいない nこの情報を明⽰的に表現するためdustbinを追加 Dustbin追加 19 learnable parameter z

Mobility Technologies Co., Ltd. nScore matrixから実際のマッチング結果（割当）を求めたい nSoft assignment problem nSinkhorn algorithm（row, columnを交互に正規化することを 繰り返す）により⼆重確率⾏列化 Sinkhorn algorithm 20

Mobility Technologies Co., Ltd. n既知の画像間の変換パラメータから 正解ペアと、マッチングしなかった特徴点集合を作成、教師とする Loss 21 正解ペア 画像Aの マッチングしなかった 特徴点集合 画像Bの マッチングしなかった 特徴点集合

Mobility Technologies Co., Ltd. nRandomなHomography変換（＋photometric distortions）を ⾏った画像ペアに対してマッチングの精度（P, R）と homographyの精度（AUC; 10pxまで許容した際の精度曲線） Homography estimation 22

Mobility Technologies Co., Ltd. npose error is the maximum of the angular errors in rotation and translation Wide-baseline indoor pose estimation 23

Mobility Technologies Co., Ltd. Outdoor pose estimation 24

Mobility Technologies Co., Ltd. Ablation Study 25

Mobility Technologies Co., Ltd. n⼀部特徴点数Nに対してN^2の計算量なので もとの特徴が良いに越したことはない n⾼速化のニーズはありそう 速度 26

Mobility Technologies Co., Ltd. n徐々に正解にたどり着いている ように⾒える Attention可視化 27

Mobility Technologies Co., Ltd. n https://github.com/magicleap/SuperGluePretrained Network/blob/master/models/superglue.py 実装シンプル 28

Mobility Technologies Co., Ltd. n教師あり特徴点マッチング⼿法 n任意のdetector/descriptorに適⽤可能 n納得感のあるパイプライン、ステップは多いがシンプル n結果しゅごい nどの程度汎化能⼒があるのか︖ まとめ 29

⽂章·画像等の内容の無断転載及び複製等の⾏為はご遠慮ください。 Mobility Technologies Co., Ltd. 30