Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AR勉強会5章
Search
Tajima Itsuro
October 02, 2018
Technology
0
850
AR勉強会5章
Tajima Itsuro
October 02, 2018
Tweet
Share
More Decks by Tajima Itsuro
See All by Tajima Itsuro
小説執筆における生成AIの利用
niryuu
0
230
研究・執筆支援ツールとしての生成AI
niryuu
0
210
ChatGPTを聞き手にしよう
niryuu
0
1.1k
大規模言語モデルに基づいた対話型AIによる研究支援に関する初歩的分析
niryuu
1
460
プログラミング活動の中の情報源としてのStack Overflow
niryuu
0
140
Stack Overflowにおける編集活動:知識の公開という観点から
niryuu
0
170
Stack Overflow研究の諸側面とワークの研究によるアプローチ
niryuu
0
91
Stack Overflowにおける「知識の総和の増加」への志向と達成
niryuu
0
190
小回りの効く WebViewの使い方
niryuu
2
1.7k
Other Decks in Technology
See All in Technology
TinyGoを使ったVSCode拡張機能実装
askua
2
140
AI機能の開発運用のリアルと今後のリアル
akiroom
0
140
リンクアンドモチベーション ソフトウェアエンジニア向け紹介資料 / Introduction to Link and Motivation for Software Engineers
lmi
4
290k
AIを駆使したゲーム開発戦略: 新設AI組織の取り組み / sge-ai-strategy
cyberagentdevelopers
PRO
1
140
Fargateを使った研修の話
takesection
0
150
小規模に始めるデータメッシュとデータガバナンスの実践
kimujun
4
630
バクラクにおける可観測性向上の取り組み
yuu26
3
440
新卒1年目が挑む!生成AI × マルチエージェントで実現する次世代オンボーディング / operation-ai-onboarding
cyberagentdevelopers
PRO
1
180
IaC運用を楽にするためにCDK Pipelinesを導入したけど、思い通りにいかなかった話
smt7174
1
130
【技術書典17】OpenFOAM(自宅で極める流体解析)2次元円柱まわりの流れ
kamakiri1225
0
250
スプリントゴールにチームの状態も設定する背景とその効果 / Team state in sprint goals why and impact
kakehashi
2
120
10分でわかるfreee エンジニア向け会社説明資料
freee
18
520k
Featured
See All Featured
Learning to Love Humans: Emotional Interface Design
aarron
272
40k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
42
9.2k
GraphQLの誤解/rethinking-graphql
sonatard
67
10k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
Why Our Code Smells
bkeepers
PRO
334
57k
4 Signs Your Business is Dying
shpigford
180
21k
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Put a Button on it: Removing Barriers to Going Fast.
kastner
59
3.5k
Fontdeck: Realign not Redesign
paulrobertlloyd
81
5.2k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Ruby is Unlike a Banana
tanoku
96
11k
Transcript
AR勉強会 5章「較正と位置合わせ」 Tajima Itsuro 特に注記ない限り,引用は以下による。 Schmalstieg, Dieter; Hollerer, Tobias. ARの教科書.
池田聖ほ か訳. マイナビ出版, 2018.
本章の概要 • 最終目的(ARの定義) • 三次元的に整合性が取れているものである(p.27) • そのために何をすべきか?(p.116-117) • トラッキング:ある実物体の位置および姿勢が連続的 に測定されること
• 較正:基準となるデバイスおよび較正されるデバイス の2つの異なるデバイス間で測定された値を比較する プロセス • 位置合わせ:仮想物体と実物体の間の座標系を一致さ せること
本章の概要 わかりやすいようで わかりにくい図 (p.116)
本章の概要 • ざっくりと,実際は何をやっているのか? • UIだと人と機械の関係で済むが • 視覚ARだと • (最も重要な点のみ) デバイス
測定 データ 表示 実世界 人 トラッキング 較正 仮想物体 位置合わせ
較正とは • 人に正しい実世界の視覚情報を見せる • そのためには以下が正しい必要がある • 視覚情報 (カメラの較正) • 見せ方(ディスプレイの較正)
デバイス 測定 データ 表示 人 較正
5.1 カメラの較正 • デバイスは,カメラの映像を視界のデータとする(4章) その上で利用者の視界と合わせる • デバイスにとってカメラとは何か→ピンホールカメラ モデル(p.157)
5.1 カメラの較正 • デバイスにとってカメラとは何か→ピンホールカメラ モデル(p.157) • 内部パラメータや,レンズ歪みを較正し,適切にモデ ルを使えるようにする必要がある
5.1 カメラの較正 • 内部パラメータや,レンズ 歪みを較正し,適切にモデ ルを使えるようにする必要 がある • 実際に得た画像から逆算す る
• チェッカーボードやパター ンなどから点の対応を得る (p.215)
5.1.1 カメラの内部パラメータ • 内部パラメータ(焦点距離など)を較正し,適切にモデ ルを使えるようにする必要がある • カメラの透視投影行列 • = [|]
• が内部パラメータで,これを実際に得た画像から逆算 する • Tsaiのアルゴリズム(p.215) • 3Dの点qと2Dの点pの関係式と,実際の二次元上の点の データから,M,そしてKを解く • (p.165のLevenberg-Marquardt法を用いる)
5.1.1 カメラの内部パラメータ • pとqが同じ方向であることを4章では姿勢推定に使った が,内部パラメータの推定にも使える
5.1.2 レンズの歪み • レンズ歪みを較正し,適切にモデルを使えるようにす る必要がある • 放射状の歪みのモデル(p.217式5.5)から,与えられた画 像を補正可能 • (備考)
• ズームレンズや,手ブレ補正機能によりパラメータが 変わる可能性がある • 既に較正されたものを使うのが一番(みもふたもない が)
5.2 ディスプレイの較正 • 視覚情報を較正したあとは • 目に正しく表示する必要がある→ディスプレイの較正 • HMDの場合→正しくかぶった場合,目の位置と表示の 位置は正しく対応しているか? •
人を較正に巻き込む→較正パターンを見る • 目は一種のカメラとみなせるので,カメラと似たよう な手法が用いられる
5.2.1 単点能動的位置合わせ法(SPAAM) • 目で2D位置pを見てもらい(p.220図5.7),3D位置qと の関係を見る • MW→Hを既知のものとし, p, qの対応からMH→Eを計算 •
DLT法(p.161)で解く HMD 実世界 目 トラッキング 較正 MW→H q p = MH→E
5.2.1 単点能動的位置合わせ法(SPAAM)
5.2.2 ポインティングデバイス • 目でマーカー付きペンpを3D位置qに配置して見てもら い(p.221図5.9),その関係を見る • 頭を動かす必要がない上,ペンを目から同じ直線上に 置くことで,幾何学的計算が可能→計算量削減 HMD マーカー
目 トラッキング 較正 MW→H q, MW→M p = MH→E
5.2.2 ポインティングデバイス
5.2.3 Hands-Eye較正 • 2つのトラッキングシステ ムを用いる • 固定されたRから頭部Hを 見る(A) • 頭部カメラEから物体Tを
見る(B) • →頭部から頭部カメラHま でのXを較正 • ロボティクス的手法で回転 と並進を解析可能
5.3 位置合わせ • 実世界とデバイスをトラッキングで較正し,カメラも 較正し,カメラと目の間も較正した • もう正しいオブジェクトがちゃんと表示でき,位置合 わせなんていらないのでは?→そうは甘くない • 「実行時に実環境に対する仮想物体の位置合わせを維
持するための技術」(p.224)
5.3.1 幾何学的測定歪み • センサーはズレる • 例:奥行き画像センサは遠くで誤差が出る • カメラのように,モデルを作ることである程度較正可 能
5.3.2 誤差伝搬 • それぞれが正しく較正されていても,小さい誤差が重 なると増幅され,誤って配置される • 本章の例を見ても,カメラと目の較正それぞれで誤差 があり,実環境が変わるにつれどうなるかわからない • 座標系の動的連結を避けることで対応できる
5.3.3 遅延 • 人が目で見ている間に • カメラ画像取得→処理→画像生成→表示 • 目で見ているものとカメラ画像の表示の間に時間的ズ レがある •
30fpsで33mm程度の誤差(Holloway)
5.3.4 フィルタリングと予測 • 計測情報にはノイズがある→連続して値を取る場合 フィルタをかける • 正規分布に基づく→カルマンフィルタ • 正規分布に基づかない→パーティクルフィルタ •
複数のセンサを用いて補正する • →遅延に起因する位置合わせ誤差を補正できる
5.4 まとめ • あらゆる構成要素を較正する必要がある • 誤差を出さないデザインにする必要がある • 位置合わせには動きの予測も必要である