Tweet
Tweet

Slide 1

Slide 1 text

Sparse Bundle Adjustment MANOLIS I. A. LOURAKIS and ANTONIS A. ARGYROS Foundation for Research and Technology—Hellas 石田 岳志 (@sonicair)

Slide 2

Slide 2 text

石田 岳志 (@sonicair) github.com/IshitaTakeshi 未踏 2019

Slide 3

Slide 3 text

Sparse Bundle Adjustment とは ● Bundle Adjustment を高速化する手法のひとつ ● SLAM や SfM を大幅に高速化できる

Slide 4

Slide 4 text

そもそも Bundle Adjustment とは Bundle Adjustment は E(P) を最小化する問題 a j は j 番目のカメラの姿勢， b i は i 番目の3次元点の座標，dは距離 Lourakis, Manolis IA, and Antonis A. Argyros. "SBA: A software package for generic sparse bundle adjustment." ACM Transactions on Mathematical Softwae (TOMS) 36.1 (2009): 2.

Slide 5

Slide 5 text

最適化 最適化にはGauss-Newton法やLM法が用いられる

Slide 6

Slide 6 text

問題点：遅い どこが遅い？

Slide 7

Slide 7 text

問題点：遅い どこが遅い？

Slide 8

Slide 8 text

Jacobianが非常に大きい → 逆行列計算が遅い 3次元点の数は数千〜数万になることもある

Slide 9

Slide 9 text

Sparse Bundle Adjustment Jacobianのサイズが大きい Gauss-Newton法をそのまま計算しようとすると重い → Jacobianの性質に着目し，計算量を減らす

Slide 10

Slide 10 text

Q(a j , b i ) に着目する a j は j 番目のカメラの姿勢， b i は i 番目の3次元点の座標 d は距離 Lourakis, Manolis IA, and Antonis A. Argyros. "SBA: A software package for generic sparse bundle adjustment." ACM Transactions on Mathematical Softwae (TOMS) 36.1 (2009): 2.

Slide 11

Slide 11 text

Q(a j , b i ) に着目する

Slide 12

Slide 12 text

Jacobian をスパースにできる 3次元点 i = 1,...,4, 視点 j = 1,...,3 の場合

Slide 13

Slide 13 text

Gauss-Newton法の左辺 JTJ もスパースになる

Slide 14

Slide 14 text

式変形

Slide 15

Slide 15 text

右辺の書き換え (Jの左側をA，右側をBとおく)

Slide 16

Slide 16 text

左辺の JTJ は4つに分割

Slide 17

Slide 17 text

更新量 δ P の分割

Slide 18

Slide 18 text

No content

Slide 19

Slide 19 text

No content

Slide 20

Slide 20 text

Vはスパースなので容易に逆行列を求められる

Slide 21

Slide 21 text

密なまま処理すると重い式 重い計算を，スパースなかたちに落とし込めた！ Jacobian がスパースなことを利用して，軽くできた！

Slide 22

Slide 22 text

次に読むべき論文 この計算まだ遅くない？ → Bundle Adjustment in the Large で解決！ Agarwal, Sameer, et al. "Bundle adjustment in the large." European conference on computer vision. Springer, Berlin, Heidelberg, 2010.

Slide 23

Slide 23 text

まとめ ● Sparse Bundle Adjustment は，SfMやSLAMの高速化に用いられる ● Jacobian がスパースであることを利用し， Gauss-Newton法 (あるいはLM法) の計算を大幅に高速化できる ● 今日の発表内容は https://ishitatakeshi.netlify.com/sba.html にあります ● 3次元復元はたのしいよ！