Sparse Bundle Adjustment

Transcript

1. Sparse Bundle Adjustment MANOLIS I. A. LOURAKIS and ANTONIS A. ARGYROS Foundation for Research and Technology—Hellas 石田 岳志 (@sonicair)
2. 石田 岳志 (@sonicair) github.com/IshitaTakeshi 未踏 2019
3. Sparse Bundle Adjustment とは • Bundle Adjustment を高速化する手法のひとつ • SLAM や SfM を大幅に高速化できる
4. そもそも Bundle Adjustment とは Bundle Adjustment は E(P) を最小化する問題 a j は j 番目のカメラの姿勢， b i は i 番目の3次元点の座標，dは距離 Lourakis, Manolis IA, and Antonis A. Argyros. "SBA: A software package for generic sparse bundle adjustment." ACM Transactions on Mathematical Softwae (TOMS) 36.1 (2009): 2.
5. 最適化 最適化にはGauss-Newton法やLM法が用いられる
6. 問題点：遅い どこが遅い？
7. 問題点：遅い どこが遅い？
8. Jacobianが非常に大きい → 逆行列計算が遅い 3次元点の数は数千〜数万になることもある
9. Sparse Bundle Adjustment Jacobianのサイズが大きい Gauss-Newton法をそのまま計算しようとすると重い → Jacobianの性質に着目し，計算量を減らす
10. Q(a j , b i ) に着目する a j は j 番目のカメラの姿勢， b i は i 番目の3次元点の座標 d は距離 Lourakis, Manolis IA, and Antonis A. Argyros. "SBA: A software package for generic sparse bundle adjustment." ACM Transactions on Mathematical Softwae (TOMS) 36.1 (2009): 2.
11. Q(a j , b i ) に着目する
12. Jacobian をスパースにできる 3次元点 i = 1,...,4, 視点 j = 1,...,3 の場合
13. Gauss-Newton法の左辺 JTJ もスパースになる
14. 式変形
15. 右辺の書き換え (Jの左側をA，右側をBとおく)
16. 左辺の JTJ は4つに分割
17. 更新量 δ P の分割
20. Vはスパースなので容易に逆行列を求められる
21. 密なまま処理すると重い式 重い計算を，スパースなかたちに落とし込めた！ Jacobian がスパースなことを利用して，軽くできた！
22. 次に読むべき論文 この計算まだ遅くない？ → Bundle Adjustment in the Large で解決！ Agarwal, Sameer, et al. "Bundle adjustment in the large." European conference on computer vision. Springer, Berlin, Heidelberg, 2010.
23. まとめ • Sparse Bundle Adjustment は，SfMやSLAMの高速化に用いられる • Jacobian がスパースであることを利用し， Gauss-Newton法 (あるいはLM法) の計算を大幅に高速化できる • 今日の発表内容は https://ishitatakeshi.netlify.com/sba.html にあります • 3次元復元はたのしいよ！