AR勉強会5章

Transcript

1. AR勉強会
   5章「較正と位置合わせ」
   Tajima Itsuro
   特に注記ない限り，引用は以下による。
   Schmalstieg, Dieter; Hollerer, Tobias. ARの教科書. 池田聖ほ
   か訳. マイナビ出版, 2018.
   

   View Slide

2. 本章の概要
   • 最終目的(ARの定義)
   • 三次元的に整合性が取れているものである(p.27)
   • そのために何をすべきか？(p.116-117)
   • トラッキング:ある実物体の位置および姿勢が連続的
   に測定されること
   • 較正:基準となるデバイスおよび較正されるデバイス
   の2つの異なるデバイス間で測定された値を比較する
   プロセス
   • 位置合わせ:仮想物体と実物体の間の座標系を一致さ
   せること
   

   View Slide

3. 本章の概要
   わかりやすいようで
   わかりにくい図
   (p.116)
   

   View Slide

4. 本章の概要
   • ざっくりと，実際は何をやっているのか？
   • UIだと人と機械の関係で済むが
   • 視覚ARだと
   • (最も重要な点のみ)
   デバイス
   測定
   データ
   表示
   実世界
   人
   トラッキング
   較正
   仮想物体
   位置合わせ
   

   View Slide

5. 較正とは
   • 人に正しい実世界の視覚情報を見せる
   • そのためには以下が正しい必要がある
   • 視覚情報 (カメラの較正)
   • 見せ方(ディスプレイの較正)
   デバイス
   測定
   データ
   表示
   人
   較正
   

   View Slide

6. 5.1 カメラの較正
   • デバイスは，カメラの映像を視界のデータとする(4章)
   その上で利用者の視界と合わせる
   • デバイスにとってカメラとは何か→ピンホールカメラ
   モデル(p.157)
   

   View Slide

7. 5.1 カメラの較正
   • デバイスにとってカメラとは何か→ピンホールカメラ
   モデル(p.157)
   • 内部パラメータや，レンズ歪みを較正し，適切にモデ
   ルを使えるようにする必要がある
   

   View Slide

8. 5.1 カメラの較正
   • 内部パラメータや，レンズ
   歪みを較正し，適切にモデ
   ルを使えるようにする必要
   がある
   • 実際に得た画像から逆算す
   る
   • チェッカーボードやパター
   ンなどから点の対応を得る
   (p.215)
   

   View Slide

9. 5.1.1 カメラの内部パラメータ
   • 内部パラメータ(焦点距離など)を較正し，適切にモデ
   ルを使えるようにする必要がある
   • カメラの透視投影行列
   • = [|]
   • が内部パラメータで，これを実際に得た画像から逆算
   する
   • Tsaiのアルゴリズム(p.215)
   • 3Dの点qと2Dの点pの関係式と，実際の二次元上の点の
   データから，M,そしてKを解く
   • (p.165のLevenberg-Marquardt法を用いる)
   

   View Slide

10. 5.1.1 カメラの内部パラメータ
    • pとqが同じ方向であることを4章では姿勢推定に使った
    が，内部パラメータの推定にも使える
    

    View Slide

11. 5.1.2 レンズの歪み
    • レンズ歪みを較正し，適切にモデルを使えるようにす
    る必要がある
    • 放射状の歪みのモデル(p.217式5.5)から，与えられた画
    像を補正可能
    • (備考)
    • ズームレンズや，手ブレ補正機能によりパラメータが
    変わる可能性がある
    • 既に較正されたものを使うのが一番(みもふたもない
    が)
    

    View Slide

12. 5.2 ディスプレイの較正
    • 視覚情報を較正したあとは
    • 目に正しく表示する必要がある→ディスプレイの較正
    • HMDの場合→正しくかぶった場合，目の位置と表示の
    位置は正しく対応しているか？
    • 人を較正に巻き込む→較正パターンを見る
    • 目は一種のカメラとみなせるので，カメラと似たよう
    な手法が用いられる
    

    View Slide

13. 5.2.1 単点能動的位置合わせ法(SPAAM)
    • 目で2D位置pを見てもらい(p.220図5.7)，3D位置qと
    の関係を見る
    • MW→Hを既知のものとし, p, qの対応からMH→Eを計算
    • DLT法(p.161)で解く
    HMD 実世界
    目
    トラッキング
    較正
    MW→H q
    p = MH→E
    

    View Slide

14. 5.2.1 単点能動的位置合わせ法(SPAAM)
    

    View Slide

15. 5.2.2 ポインティングデバイス
    • 目でマーカー付きペンpを3D位置qに配置して見てもら
    い(p.221図5.9)，その関係を見る
    • 頭を動かす必要がない上，ペンを目から同じ直線上に
    置くことで，幾何学的計算が可能→計算量削減
    HMD マーカー
    目
    トラッキング
    較正
    MW→H q, MW→M
    p = MH→E
    

    View Slide

16. 5.2.2 ポインティングデバイス
    

    View Slide

17. 5.2.3 Hands-Eye較正
    • 2つのトラッキングシステ
    ムを用いる
    • 固定されたRから頭部Hを
    見る(A)
    • 頭部カメラEから物体Tを
    見る(B)
    • →頭部から頭部カメラHま
    でのXを較正
    • ロボティクス的手法で回転
    と並進を解析可能
    

    View Slide

18. 5.3 位置合わせ
    • 実世界とデバイスをトラッキングで較正し，カメラも
    較正し，カメラと目の間も較正した
    • もう正しいオブジェクトがちゃんと表示でき，位置合
    わせなんていらないのでは？→そうは甘くない
    • 「実行時に実環境に対する仮想物体の位置合わせを維
    持するための技術」(p.224)
    

    View Slide

19. 5.3.1 幾何学的測定歪み
    • センサーはズレる
    • 例:奥行き画像センサは遠くで誤差が出る
    • カメラのように，モデルを作ることである程度較正可
    能
    

    View Slide

20. 5.3.2 誤差伝搬
    • それぞれが正しく較正されていても，小さい誤差が重
    なると増幅され，誤って配置される
    • 本章の例を見ても，カメラと目の較正それぞれで誤差
    があり，実環境が変わるにつれどうなるかわからない
    • 座標系の動的連結を避けることで対応できる
    

    View Slide

21. 5.3.3 遅延
    • 人が目で見ている間に
    • カメラ画像取得→処理→画像生成→表示
    • 目で見ているものとカメラ画像の表示の間に時間的ズ
    レがある
    • 30fpsで33mm程度の誤差(Holloway)
    

    View Slide

22. 5.3.4 フィルタリングと予測
    • 計測情報にはノイズがある→連続して値を取る場合
    フィルタをかける
    • 正規分布に基づく→カルマンフィルタ
    • 正規分布に基づかない→パーティクルフィルタ
    • 複数のセンサを用いて補正する
    • →遅延に起因する位置合わせ誤差を補正できる
    

    View Slide

23. 5.4 まとめ
    • あらゆる構成要素を較正する必要がある
    • 誤差を出さないデザインにする必要がある
    • 位置合わせには動きの予測も必要である
    

    View Slide