Uncalibrated Structure from Motion on a Sphere (ICCV 2025)

Uncalibrated Structure from Motion on a Sphere (ICCV2025)
https://jonathanventura.github.io/spherical-sfm/
回転運動（Spherical Motion）撮影された未校正カメラ画像に対するStructure from Motionにおいて球面拘束を用いた初期化および復元パイプラインを提案。

Transcript

1. Uncalibrated Structure from Motion on a Sphere Jonathan Ventura, Viktor Larsson, Fredrik Kahl ICCV 2025 発表：武富貴史（サイバーエージェント）
2. 2 Spherical Motion カメラが球面上を動くようなケース（パノラマ画像を撮影する際の動き） Baker, Mills, Zollmann, Ventura, “CasualStereo: Casual Capture of Stereo Panoramas with Spherical Structure-from-Motion”, IEEEVR2020
3. 3 アプリケーション：自由視点映像生成 https://youtu.be/mrLONoM5H6s?si=BDhyb8u8ASyOOhh_
4. 4 Spherical Motionで撮影されたデータからの3D復元は難しい 疑似Ground Truth COLMAP GLOMAP 提案手法の結果 COLMAPやGLOMAPはバンドル調整前の初期化に失敗するた め最終的なカメラモーションの復元もうまくいかない この論文の貢献 Spherical Motion特化の初期化により安定した復元を実現
5. 5 • カメラは単位球面上を運動している カメラの光軸は球の法線方向と一致 • タイトルにもあるように内部パラメータは未知 ◦ ただし、未知のパラメータは焦点距離のみ（レンズ歪なし、主点既知） ◦ シーケンス全体で焦点距離は固定（Shared Intrinsic） ◦ Spherical Motionカメラ２視点はCritical Motion (Critical Configuration)の一つとして 知られている 前提条件
6. 6 Spherical Motion: 2視点の場合（内部パラメータは既知） 単位球面上（𝒛 = 0 0 1 𝑇）をカメラが外向きで移動している場合 W 𝑃1 = [𝑅1| − 𝒛] 𝑃2 = [𝑅2| − 𝒛] • 相対的な回転 𝑅 = 𝑅2𝑅1𝑇 • 相対的姿勢 𝑃 = [𝑅|𝑅:,3 − 𝒛] • 基本行列 𝐸~ 𝑅:,3 − 𝒛 × 𝑅 スケールに応じてのみ定義される 相対的な回転が同じ場合、外向きの場合も 内向きの場合も同じ基本行列となる
7. 7 Spherical Motion: 2視点の場合（内部パラメータは未知） 基礎行列 𝐹 ≡ 𝐾 𝑓 −𝑇𝐸𝐾 𝑓 −1~ 𝐸11 /𝑓 𝐸12 /𝑓 𝐸13 𝐸21 /𝑓 𝐸22 /𝑓 𝐸23 𝐸31 𝐸32 0 𝐾 𝑓 = diag 𝑓, 𝑓 1 基礎行列の情報から一意に𝑓を決めることはできない 2視点間で焦点距離が同一の場合、Spherical Motionの基礎行列 と基本行列は等価になる（証明は論文の補足資料を参照） 𝐸 𝐹 基本行列用の3点解法（Ventura, ECCV2016）がそのまま利用可能！！
8. 8 Critical Motionとなりうる運動（Kahl [19], Sturm [34]） • 全てのカメラが同一の光軸上を運動している場合 →今回の場合は該当しないので大丈夫 • 2つの円錐曲線（1つの楕円と1つの双曲線）上を運動している場合 3視点以上の場合でCritical Motionとなる場合があるか考える 青と赤の曲線上をカメラが動いており、曲線の接線が光軸に対応 • 平面上の任意の位置から円錐曲線への 接線は2本だけ • 平面が交わる部分（緑色）でも接線は 2本しか引けない 3視点以上ある場合はCritical Motion は回避できる （焦点距離の推定が可能）
9. 9 Global Calibration：3点法による基礎行列推定 全てのペアに対して3点法[Ventura, ECCV2016]により基礎行列を推定 F13 F23 F12
10. 10 Global Calibration：焦点距離の推定 Absolute rotationとRelative rotationに基づくコスト関数C 焦点距離の値が適切でないとループしない
11. 11 Global Calibration：焦点距離の推定 Absolute rotationとRelative rotationに基づくコスト関数C 焦点距離の値が適切になるとループするようになる
12. 12 Global Calibration：全体 基礎行列推定 焦点距離推定 球面拘束BA BA
13. 13 実験：Syntheticデータでの評価 基礎行列推定精度を8点法（線形解法）、7点法（非線形解法）、3点法で比較 3点法による推定が最も精度良く、安定していることが分かる
14. 14 • 2種類のデータセットを用いて評価 ◦ PhoneSweep dataset (この論文で構築) ◦ Deep View Video dataset 実データでの実験 Michael Broxton, John Flynn, Ryan Overbeck, Daniel Erickson, Peter Hedman, Matthew DuVall, Jason Dourgarian, Jay Busch, Matt Whalen, and Paul Debevec. Immersive Light Field Video with a Layered Mesh Representation. ACM Transactions on Graphics, 39(4), 2020.
15. 15 • 2種類のスマートフォンのカメラを用いて縦長（ポートレート）動画を撮影しデー タセットを構築 • 動画モードで撮影し3fpsまたは6fpsでサンプリング • 外向きカメラの画像のみでは推定に失敗するため疑似Ground Truthデータ作成の ための補助画像も取得 PhoneSweep Dataset 評価用画像シーケンス
16. 16 実験結果：PhoneSweep Dataset RRA: 相対回転誤差、RTA: 相対併進誤差、AUC: Area Under Curve、AFE: 平均焦点距離誤差
17. 17 実験結果：Deep View Video Dataset RRA: 相対回転誤差、RTA: 相対併進誤差、AUC: Area Under Curve、AFE: 平均焦点距離誤差 COLMAP (calib.): COLMAP実行時に焦点距離の真値を用いた場合 Deep View Video Datasetは球面上に固定されたカメラで撮影されているため 球面制約がないGeneral BAを実行することで精度が低下する結果に
18. 18 実験結果：計算速度の比較 N: 入力画像枚数、Nr : 復元された画像枚数、T: 処理時間 GLOMAPと同等かそれ以上の処理速度
19. 19 復元結果 カメラが小さくて分かりづらい。。。
20. 20 COLMAP, GLOMAP, SphericalSfMを実行してみた PhoneSweep iPhone13Mini Ocean data Pseudo GT COLMAP GLOMAP Spherical SfM
21. 21 SphericalSfM結果（iPhone13Mini Ocean） Without Spherical BA With Spherical BA With General BA 球面拘束を使ったバンドル調整の前後ではあまり変化は見られない
22. 22 他の結果も見てみるとGLOMAPは結構頑張っている GLOMAP Spherical SfM Plaza cafe Scott shand baker4
23. 23 自分で撮影したデータでもやってみた Spherical SfM Pseudo GT
24. 24 ICCVのポスター
25. 25 VGGT & MegaSaMとの比較 • VGGTもSpherical Motionの 入力には弱い • MegaSaMは単眼デプス推定 が入っているのでそこそこ健 闘している
26. 26 • Spherical Motionに特化した初期化とバンドル調整パイプラインを提案 ◦ Spherical Motion 2視点に対する分析 ◦ 3点法による基礎行列推定→焦点距離推定→球面拘束BA→一般BA • Spherical Motion評価用データセットPhoneSweep Datasetの構築 • 提案手法を用いることでSpherical Motionシーケンスに対して精度よくカメラ姿勢および焦点距離 を推定 所感 • 著者のJonathan Venturaは長年同様の問題に取り組んでおり、少しずつ手法を進化させているこ とに問題への愛着を感じる • 重箱の隅をつつくような研究トピックのようにも見えるが、ICCVのOralに選出されるような成果 に導いている点がすごい • 公開されているコードは（Windows環境では）ビルドがしんどい。。。 まとめと所感