atmacup23_2nd_place.pptx.pdf

Transcript

1. Turing x atmaCup #23 2nd Place Solution GOドライブ株式会社 立松 郁也 (@monnu)
2. © GO Drive Inc. 2 自己紹介 立松 郁也 ▪ 所属 ▪ GOドライブ株式会社 ▪ Kaggle ▪ https://www.kaggle.com/fuumin621 ▪ Competitions Grandmaster ▪ SNS ▪ X: https://x.com/monnu0621
3. © GO Drive Inc. 3 結果 Public 1st / Private 2nd https://www.guruguru.science/competitions/31/leaderboard
4. © GO Drive Inc. 4 アプローチ概要 VPRによる画像検索と幾何学的補正による2段階パイプライン
5. © GO Drive Inc. 5 1st Stage : 画像検索（VPR） • VPRモデルでtrain画像と最も類似した画像を検索 • モデル: MegaLoc ◦ モデル以外はDiscussionで公開したベースライン（※）と同様 • 改善ポイント ◦ 解像度 : 512 → 1024で改善 ◦ DBは3カメラ登録 : FRONTのみではなくLEFT,RIGHTも登録 ※ https://www.guruguru.science/competitions/31/discussions/53f38366-e4cf-4141-8048-5e947031e8bb/ MegaLocによる画像検索でtrainと最も似ている座標を取得
6. © GO Drive Inc. 6 1st Stage : 画像検索（VPR） MegaLocによる画像検索でtrainと最も似ている座標を取得 画像例1
7. © GO Drive Inc. 7 1st Stage : 画像検索（VPR） MegaLocによる画像検索でtrainと最も似ている座標を取得 画像例2
8. © GO Drive Inc. 8 2nd Stage: 幾何補正のコンセプト Top-1画像の座標をそのまま使わず、方向と距離を推定し補正 方針 • 1st StageのTop-1画像の座標を初期値 • 2枚の画像から「どの方向に」「どれだけ」ズレているかを推定 補正フロー 1. 方向推定 (Essential Matrix) 2. 距離推定 (Linear Regression) 補正式: Top-1座標 + (方向 x 距離) = 補正後座標 補正の例
9. © GO Drive Inc. 9 2nd Stage詳細 :①方向推定（Essential Matrix） 特徴点マッチングと内部パラメータにより正確な移動方向を算出 方向推定フロー 1. 特徴点マッチング: ALIKED + LightGlue 2. Essential Matrix : 2画像間の点の動きからカメラの関係性を逆算 3. カメラの相対回転・並進（方向ベクトル）を復元 特徴点マッチング結果の例
10. © GO Drive Inc. 10 2nd Stage詳細 :②方向推定の改善(Masking) 動的物体（車・人）の特徴点をマスクし、方向推定のロバスト性向上 • 課題: 移動する車や人はノイズ、方向推定の精度を下げる • 解決策: Mask2Former で車・人を検出し、特徴点から除外 • 結果: 静的物体のみでマッチングでき、性能改善 (+0.6m改善) Mask2Formerの可視化
11. © GO Drive Inc. 11 2nd Stage詳細 :③距離推定 シンプルな線形回帰で2地点間の距離を推定 距離推定 • モデル ◦ 線形回帰 • 目的変数 ◦ クエリ画像と類似度top1画像の距離 • 外れ値対策 ◦ 距離の80%タイルでクリップ • 特徴量 ◦ VPRの類似度 ◦ 平均ピクセル変位（X,Y,合計） ◦ Essential Matrix推定時のインライア数
12. © GO Drive Inc. 12 効かなかったこと VPR関連 • VPRアンサンブル: 1st stageは微改善だが、2nd stage後は改善なし • 水平反転TTA • クエリ画像分割/クロップ: CVは改善するがLBは悪化 幾何補正関連 • 画像からの距離予測: Query-DB画像ペアから距離を直接予測 • LightGBM距離回帰: 線形回帰が最良 • Top-k Re-ranking : マッチ数やInlier比率で並びかえ 距離推定の改良を中心に色々試したが、効果なし
13. © GO Drive Inc. 13 最終スコア 各stageのスコアおよび順位 stage CV Public LB Private LB Private 順位 1st stage 24.44 15.97 17.08 29位 2nd stage 18.52 10.98 11.42 2位
14. © GO Drive Inc. 14 まとめ • アプローチ ◦ VPR (MegaLoc) + 幾何補正 の2 Stage構成 • VPRの工夫点 ◦ 入力解像度の向上 (1024px) と 全方位カメラのDB活用 • 幾何補正の工夫点 ◦ Essential Matrix (方向) + 線形回帰 (距離) で相対位置を推定 ◦ Mask2Former で動的物体をマスクしマッチング精度を強化 • 結果 ◦ 幾何補正が大きく寄与し、Public1位/ Private2位を獲得