AR勉強会5章 - Speaker Deck

Embed

Start on current slide

Slide 1

Slide 1 text

AR勉強会 5章「較正と位置合わせ」 Tajima Itsuro 特に注記ない限り，引用は以下による。 Schmalstieg, Dieter; Hollerer, Tobias. ARの教科書. 池田聖ほか訳. マイナビ出版, 2018.

Slide 2

Slide 2 text

本章の概要 • 最終目的(ARの定義) • 三次元的に整合性が取れているものである(p.27) • そのために何をすべきか？(p.116-117) • トラッキング:ある実物体の位置および姿勢が連続的に測定されること • 較正:基準となるデバイスおよび較正されるデバイスの2つの異なるデバイス間で測定された値を比較するプロセス • 位置合わせ:仮想物体と実物体の間の座標系を一致させること

Slide 3

Slide 3 text

本章の概要わかりやすいようでわかりにくい図 (p.116)

Slide 4

Slide 4 text

本章の概要 • ざっくりと，実際は何をやっているのか？ • UIだと人と機械の関係で済むが • 視覚ARだと • (最も重要な点のみ) デバイス測定データ表示実世界人トラッキング較正仮想物体位置合わせ

Slide 5

Slide 5 text

較正とは • 人に正しい実世界の視覚情報を見せる • そのためには以下が正しい必要がある • 視覚情報 (カメラの較正) • 見せ方(ディスプレイの較正) デバイス測定データ表示人較正

Slide 6

Slide 6 text

5.1 カメラの較正 • デバイスは，カメラの映像を視界のデータとする(4章) その上で利用者の視界と合わせる • デバイスにとってカメラとは何か→ピンホールカメラモデル(p.157)

Slide 7

Slide 7 text

5.1 カメラの較正 • デバイスにとってカメラとは何か→ピンホールカメラモデル(p.157) • 内部パラメータや，レンズ歪みを較正し，適切にモデルを使えるようにする必要がある

Slide 8

Slide 8 text

5.1 カメラの較正 • 内部パラメータや，レンズ歪みを較正し，適切にモデルを使えるようにする必要がある • 実際に得た画像から逆算する • チェッカーボードやパターンなどから点の対応を得る (p.215)

Slide 9

Slide 9 text

5.1.1 カメラの内部パラメータ • 内部パラメータ(焦点距離など)を較正し，適切にモデルを使えるようにする必要がある • カメラの透視投影行列 • = [|] • が内部パラメータで，これを実際に得た画像から逆算する • Tsaiのアルゴリズム(p.215) • 3Dの点qと2Dの点pの関係式と，実際の二次元上の点のデータから，M,そしてKを解く • (p.165のLevenberg-Marquardt法を用いる)

Slide 10

Slide 10 text

5.1.1 カメラの内部パラメータ • pとqが同じ方向であることを4章では姿勢推定に使ったが，内部パラメータの推定にも使える

Slide 11

Slide 11 text

5.1.2 レンズの歪み • レンズ歪みを較正し，適切にモデルを使えるようにする必要がある • 放射状の歪みのモデル(p.217式5.5)から，与えられた画像を補正可能 • (備考) • ズームレンズや，手ブレ補正機能によりパラメータが変わる可能性がある • 既に較正されたものを使うのが一番(みもふたもないが)

Slide 12

Slide 12 text

5.2 ディスプレイの較正 • 視覚情報を較正したあとは • 目に正しく表示する必要がある→ディスプレイの較正 • HMDの場合→正しくかぶった場合，目の位置と表示の位置は正しく対応しているか？ • 人を較正に巻き込む→較正パターンを見る • 目は一種のカメラとみなせるので，カメラと似たような手法が用いられる

Slide 13

Slide 13 text

5.2.1 単点能動的位置合わせ法(SPAAM) • 目で2D位置pを見てもらい(p.220図5.7)，3D位置qとの関係を見る • MW→Hを既知のものとし, p, qの対応からMH→Eを計算 • DLT法(p.161)で解く HMD 実世界目トラッキング較正 MW→H q p = MH→E

Slide 14

Slide 14 text

5.2.1 単点能動的位置合わせ法(SPAAM)

Slide 15

Slide 15 text

5.2.2 ポインティングデバイス • 目でマーカー付きペンpを3D位置qに配置して見てもらい(p.221図5.9)，その関係を見る • 頭を動かす必要がない上，ペンを目から同じ直線上に置くことで，幾何学的計算が可能→計算量削減 HMD マーカー目トラッキング較正 MW→H q, MW→M p = MH→E

Slide 16

Slide 16 text

5.2.2 ポインティングデバイス

Slide 17

Slide 17 text

5.2.3 Hands-Eye較正 • 2つのトラッキングシステムを用いる • 固定されたRから頭部Hを見る(A) • 頭部カメラEから物体Tを見る(B) • →頭部から頭部カメラHまでのXを較正 • ロボティクス的手法で回転と並進を解析可能

Slide 18

Slide 18 text

5.3 位置合わせ • 実世界とデバイスをトラッキングで較正し，カメラも較正し，カメラと目の間も較正した • もう正しいオブジェクトがちゃんと表示でき，位置合わせなんていらないのでは？→そうは甘くない • 「実行時に実環境に対する仮想物体の位置合わせを維持するための技術」(p.224)

Slide 19

Slide 19 text

5.3.1 幾何学的測定歪み • センサーはズレる • 例:奥行き画像センサは遠くで誤差が出る • カメラのように，モデルを作ることである程度較正可能

Slide 20

Slide 20 text

5.3.2 誤差伝搬 • それぞれが正しく較正されていても，小さい誤差が重なると増幅され，誤って配置される • 本章の例を見ても，カメラと目の較正それぞれで誤差があり，実環境が変わるにつれどうなるかわからない • 座標系の動的連結を避けることで対応できる

Slide 21

Slide 21 text

5.3.3 遅延 • 人が目で見ている間に • カメラ画像取得→処理→画像生成→表示 • 目で見ているものとカメラ画像の表示の間に時間的ズレがある • 30fpsで33mm程度の誤差(Holloway)

Slide 22

Slide 22 text

5.3.4 フィルタリングと予測 • 計測情報にはノイズがある→連続して値を取る場合フィルタをかける • 正規分布に基づく→カルマンフィルタ • 正規分布に基づかない→パーティクルフィルタ • 複数のセンサを用いて補正する • →遅延に起因する位置合わせ誤差を補正できる

Slide 23

Slide 23 text

5.4 まとめ • あらゆる構成要素を較正する必要がある • 誤差を出さないデザインにする必要がある • 位置合わせには動きの予測も必要である