Tweet
Tweet

Slide 1

Slide 1 text

LightGlue: Local Feature Matching at Light Speed 発表者: tomoaki_teshima 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 tomoaki_teshima tomoaki0705 tomoaki_teshima tomoaki0705 1

Slide 2

Slide 2 text

LightGlue: Local Feature Matching at Light Speed Philipp Lindenberger1 Paul-Edouard Sarlin1 Marc Pollefeys1,2 1ETH Zurich 2Microsoft Mixed Reality & AI Lab 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 2

Slide 3

Slide 3 text

Fig.1 (teaser.svg) 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論 文読み会 3

Slide 4

Slide 4 text

We introduce LightGlue, a deep neural network that learns to match local features across images. We revisit multiple design decisions of SuperGlue, the state of the art in sparse matching, and derive simple but effective improvements. Abstract 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 4

Slide 5

Slide 5 text

Abstract • We revisit multiple design decisions of SuperGlue 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 5 SuperGlue (CVPR2020) Paul-Edouard Sarlin, Daniel DeTone, Tomasz Malisiewicz, Andrew Rabinovich LightGlue (ICCV2023) Philipp Lindenberger, Paul-Edouard Sarlin, Marc Pollefeys

Slide 6

Slide 6 text

2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 6 https://www.slideshare.net/ren4yu/supergluelearning-feature-matching-with-graph-neural-networks-cvpr20

Slide 7

Slide 7 text

The pipeline (SuperGlue,旧手法) • Front-end : detection, description (SIFT, ORB) • Middle-end : Matching • Back-end : Reconstruction etc.. 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 7 SuperGlueより引用 yu4uさんの発表資料より引用

Slide 8

Slide 8 text

特徴点マッチング • We thus seek a soft partial assignment matrix 𝐏 ∈ 0,1 𝑀×𝑁 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 8 𝑀 ൝ 𝑁 このマッチング行列とも言える 行列が得られれば良い

Slide 9

Slide 9 text

SuperGlue Architecture (self/cross attention) 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 9 • 位置pとDescriptor dを連結する • 同じ画像内の特徴点同士でSelf Attention • 同じ画像内の特徴点ペア全てで計算 • 特徴点同士の位置関係を考慮に入れる • もう１枚の画像の特徴点全てとCross Attention • 全特徴点同士で計算 • Self attention layerとCross Attention layerを繰り返すことで descriptorを更新する

Slide 10

Slide 10 text

SuperGlue Architecture (Matching layer) 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 10 • Descriptor からScore matrixを計算 • 基本的に全Descriptorペアで内積を計算 • Sinkhorn algorithm（row, columnを交互に正規化す ることを繰り返す）により二重確率行列化

Slide 11

Slide 11 text

ここまでSuperGlue(旧手法) のお話 yu4uさんありがとう 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 11

Slide 12

Slide 12 text

The LightGlue architecture 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 12

Slide 13

Slide 13 text

Rotary Encoding • SuperGlueとの差分その1 • 特徴点iとjの相対的な位置関係 • SuperGlueでは絶対位置 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 13 SuperGlueより引用 LightGlueより引用

Slide 14

Slide 14 text

Adaptive width • SuperGlueとの差分その2 • Confidenceが高いやつは、おしまい • 繰り返し計算しても結果はひっくり返らない • 特徴量ベクトルが収束した状態 • SuperGlueでもConfidenceは計算していた • LightGlueでは、しきい値処理して特徴量ベクトルの更新を止める • これにより特徴点数が減って計算量が減る=adaptive width 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 14 For a given layer ℓ, a point is deemed confident if ci > λℓ . LightGlueより引用

Slide 15

Slide 15 text

Adaptive depth • SuperGlueとの差分その3 • マッチングが十分得られたら計算を止める • 反復回数Lは固定でも良いし、動的でも良い • しきい値αは速度と精度のトレードオフを表す 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 15 LightGlueより引用 SuperGlue 特徴点数 特徴点数 反復回数 反復回数 LightGlue

Slide 16

Slide 16 text

Point Pruingの効果 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 16 赤●はすぐ棄却、青●はマッチ あとはオレンジ→黄色→緑の順に後段のレイヤーで棄却

Slide 17

Slide 17 text

Result 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論 文読み会 17 LightGlue is Pareto-optimal on the efficiency-accuracy trade-off この論文の主眼は高速化に置かれている

Slide 18

Slide 18 text

Affiliationsから読み解く • LightGlue : ETH Zulich, Microsoft Mixed Reality & AI Lab • SuperGlue : ETH Zulich, Magic Leap. Inc • 多分VR Headsetを想定している？ 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 18 引用(4)

Slide 19

Slide 19 text

Quantitative result 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 19 提案手法圧勝ではない

Slide 20

Slide 20 text

2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論 文読み会 20

Slide 21

Slide 21 text

2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 21

Slide 22

Slide 22 text

Conclusion • SuperGlueを改良してLightGlueを提案 • Transformerを改良 • 速度も改良 • 学習速度も改良(割愛) 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論文読み会 22

Slide 23

Slide 23 text

参考文献 • https://www.youtube.com/watch?v=LBFiKtUBHc0 LightGlue hu-po (2023/10/15) • 【DL輪読会】LightGlue: Local Feature Matching at Light Speed Deep Learning JP Takeru Oba (2023/10/13) • Visual Localization and Mapping: From Classical to Modern Marc Pollefeys ICCV'23 Robot Learning & SLAM Workshop (2023/10/12) • https://www.slideshare.net/ren4yu/supergluelearning- feature-matching-with-graph-neural-networks-cvpr20 yu4u 2023/Nov/5 第60回 コンピュータビジョン勉強会＠関東 ICCV2023論 文読み会 23