Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AR勉強会5章

 AR勉強会5章

Tajima Itsuro

October 02, 2018
Tweet

More Decks by Tajima Itsuro

Other Decks in Technology

Transcript

  1. AR勉強会
    5章「較正と位置合わせ」
    Tajima Itsuro
    特に注記ない限り,引用は以下による。
    Schmalstieg, Dieter; Hollerer, Tobias. ARの教科書. 池田聖ほ
    か訳. マイナビ出版, 2018.

    View Slide

  2. 本章の概要
    • 最終目的(ARの定義)
    • 三次元的に整合性が取れているものである(p.27)
    • そのために何をすべきか?(p.116-117)
    • トラッキング:ある実物体の位置および姿勢が連続的
    に測定されること
    • 較正:基準となるデバイスおよび較正されるデバイス
    の2つの異なるデバイス間で測定された値を比較する
    プロセス
    • 位置合わせ:仮想物体と実物体の間の座標系を一致さ
    せること

    View Slide

  3. 本章の概要
    わかりやすいようで
    わかりにくい図
    (p.116)

    View Slide

  4. 本章の概要
    • ざっくりと,実際は何をやっているのか?
    • UIだと人と機械の関係で済むが
    • 視覚ARだと
    • (最も重要な点のみ)
    デバイス
    測定
    データ
    表示
    実世界

    トラッキング
    較正
    仮想物体
    位置合わせ

    View Slide

  5. 較正とは
    • 人に正しい実世界の視覚情報を見せる
    • そのためには以下が正しい必要がある
    • 視覚情報 (カメラの較正)
    • 見せ方(ディスプレイの較正)
    デバイス
    測定
    データ
    表示

    較正

    View Slide

  6. 5.1 カメラの較正
    • デバイスは,カメラの映像を視界のデータとする(4章)
    その上で利用者の視界と合わせる
    • デバイスにとってカメラとは何か→ピンホールカメラ
    モデル(p.157)

    View Slide

  7. 5.1 カメラの較正
    • デバイスにとってカメラとは何か→ピンホールカメラ
    モデル(p.157)
    • 内部パラメータや,レンズ歪みを較正し,適切にモデ
    ルを使えるようにする必要がある

    View Slide

  8. 5.1 カメラの較正
    • 内部パラメータや,レンズ
    歪みを較正し,適切にモデ
    ルを使えるようにする必要
    がある
    • 実際に得た画像から逆算す

    • チェッカーボードやパター
    ンなどから点の対応を得る
    (p.215)

    View Slide

  9. 5.1.1 カメラの内部パラメータ
    • 内部パラメータ(焦点距離など)を較正し,適切にモデ
    ルを使えるようにする必要がある
    • カメラの透視投影行列
    • = [|]
    • が内部パラメータで,これを実際に得た画像から逆算
    する
    • Tsaiのアルゴリズム(p.215)
    • 3Dの点qと2Dの点pの関係式と,実際の二次元上の点の
    データから,M,そしてKを解く
    • (p.165のLevenberg-Marquardt法を用いる)

    View Slide

  10. 5.1.1 カメラの内部パラメータ
    • pとqが同じ方向であることを4章では姿勢推定に使った
    が,内部パラメータの推定にも使える

    View Slide

  11. 5.1.2 レンズの歪み
    • レンズ歪みを較正し,適切にモデルを使えるようにす
    る必要がある
    • 放射状の歪みのモデル(p.217式5.5)から,与えられた画
    像を補正可能
    • (備考)
    • ズームレンズや,手ブレ補正機能によりパラメータが
    変わる可能性がある
    • 既に較正されたものを使うのが一番(みもふたもない
    が)

    View Slide

  12. 5.2 ディスプレイの較正
    • 視覚情報を較正したあとは
    • 目に正しく表示する必要がある→ディスプレイの較正
    • HMDの場合→正しくかぶった場合,目の位置と表示の
    位置は正しく対応しているか?
    • 人を較正に巻き込む→較正パターンを見る
    • 目は一種のカメラとみなせるので,カメラと似たよう
    な手法が用いられる

    View Slide

  13. 5.2.1 単点能動的位置合わせ法(SPAAM)
    • 目で2D位置pを見てもらい(p.220図5.7),3D位置qと
    の関係を見る
    • MW→Hを既知のものとし, p, qの対応からMH→Eを計算
    • DLT法(p.161)で解く
    HMD 実世界

    トラッキング
    較正
    MW→H q
    p = MH→E

    View Slide

  14. 5.2.1 単点能動的位置合わせ法(SPAAM)

    View Slide

  15. 5.2.2 ポインティングデバイス
    • 目でマーカー付きペンpを3D位置qに配置して見てもら
    い(p.221図5.9),その関係を見る
    • 頭を動かす必要がない上,ペンを目から同じ直線上に
    置くことで,幾何学的計算が可能→計算量削減
    HMD マーカー

    トラッキング
    較正
    MW→H q, MW→M
    p = MH→E

    View Slide

  16. 5.2.2 ポインティングデバイス

    View Slide

  17. 5.2.3 Hands-Eye較正
    • 2つのトラッキングシステ
    ムを用いる
    • 固定されたRから頭部Hを
    見る(A)
    • 頭部カメラEから物体Tを
    見る(B)
    • →頭部から頭部カメラHま
    でのXを較正
    • ロボティクス的手法で回転
    と並進を解析可能

    View Slide

  18. 5.3 位置合わせ
    • 実世界とデバイスをトラッキングで較正し,カメラも
    較正し,カメラと目の間も較正した
    • もう正しいオブジェクトがちゃんと表示でき,位置合
    わせなんていらないのでは?→そうは甘くない
    • 「実行時に実環境に対する仮想物体の位置合わせを維
    持するための技術」(p.224)

    View Slide

  19. 5.3.1 幾何学的測定歪み
    • センサーはズレる
    • 例:奥行き画像センサは遠くで誤差が出る
    • カメラのように,モデルを作ることである程度較正可

    View Slide

  20. 5.3.2 誤差伝搬
    • それぞれが正しく較正されていても,小さい誤差が重
    なると増幅され,誤って配置される
    • 本章の例を見ても,カメラと目の較正それぞれで誤差
    があり,実環境が変わるにつれどうなるかわからない
    • 座標系の動的連結を避けることで対応できる

    View Slide

  21. 5.3.3 遅延
    • 人が目で見ている間に
    • カメラ画像取得→処理→画像生成→表示
    • 目で見ているものとカメラ画像の表示の間に時間的ズ
    レがある
    • 30fpsで33mm程度の誤差(Holloway)

    View Slide

  22. 5.3.4 フィルタリングと予測
    • 計測情報にはノイズがある→連続して値を取る場合
    フィルタをかける
    • 正規分布に基づく→カルマンフィルタ
    • 正規分布に基づかない→パーティクルフィルタ
    • 複数のセンサを用いて補正する
    • →遅延に起因する位置合わせ誤差を補正できる

    View Slide

  23. 5.4 まとめ
    • あらゆる構成要素を較正する必要がある
    • 誤差を出さないデザインにする必要がある
    • 位置合わせには動きの予測も必要である

    View Slide