モバイルAR技術の最先端 Google Tangoを活用してバーチャル道案内スタッフを実現してみた
by
GMO次世代
Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
1 1 モバイルAR技術の最先端 Google Tangoを活⽤して バーチャル案内スタッフを実現してみた GMOインターネット 次世代システム研究室
Slide 2
Slide 2 text
2 2 1. 背景&モチベーション 2. Google Tango についての紹介 3. 解決すべき課題 4. 課題解決⽅法とTangoの強みの活⽤ 5. まとめ 6. デモ案内 ⽬次
Slide 3
Slide 3 text
3 3 突然ですが、 空港で国際線の乗り継ぎ時、 道に迷った事がありますか? 背景&モチベーション
Slide 4
Slide 4 text
4 4 展⽰会、博物館で 旅館で 地下鉄、駅で ショッピングモールで
Slide 5
Slide 5 text
5 5 ⾔葉の壁 案内スタッフがいて、案内してくれても⾔葉が通じない ⼈⼿不⾜&対応が⼤変 限られた⼈間のスタッフで、すべてのお客さんに対応ができません
Slide 6
Slide 6 text
6 6 案内スタッフがいなくても モバイルAR技術の最先端 Google Tangoで バーチャル案内スタッフを作れないか?
Slide 7
Slide 7 text
7 7 Unityちゃん
Slide 8
Slide 8 text
8 8 バーチャル案内スタッフを実現してみた
Slide 9
Slide 9 text
9 9 マーカーレスAR/MRプラットフォーム 奥⾏き感知、モーショントラッキング 領域学習 3つのコア技術 屋内ナビゲーション向け トータルソリューション Google Tangoとは
Slide 10
Slide 10 text
10 10 奥⾏き感知機能 (⾚外線センサーなどを使⽤して物体までの距離/ 奥⾏きを把握することができる機能) Google Tango 3つのコア技術
Slide 11
Slide 11 text
11 11 Google Tango 3つのコア技術 モーショントラッキング機能 (Tango搭載デバイスを持って移動するとデバイス がその動線を追跡することができる機能)
Slide 12
Slide 12 text
12 12 Google Tango 3つのコア技術 領域学習機能 (Tango搭載デバイスが空間の重要な特徴を学習し、 その空間領域を認識することができる機能)
Slide 13
Slide 13 text
13 13 LENOVO PHAB 2 PRO ⾚外線(IR)カメラ IRプロジェクター RGBカメラ LED 奥⾏き感知のため モーション トラッキング センサー
Slide 14
Slide 14 text
14 14 バーチャル案内スタッフを 実現する際、解決すべき課題
Slide 15
Slide 15 text
15 15 1. バーチャル案内スタッフを地⾯に⽴たせる (現実と⾼度な融合) 2. バーチャル案内スタッフを動かす 3. バーチャル案内スタッフをしゃべらせる 解決すべき課題
Slide 16
Slide 16 text
16 16 4.奥⾏きのレンダリング問題 (xyz軸におけるz軸の課題解決) 5. デバイスの動き、位置及び向きを把握し、 バーチャル空間へ反映(同期) 6. 案内先まで空間を学習させ、道案内ができ るようにする 解決すべき課題
Slide 17
Slide 17 text
17 17 画⾯タッチでバーチャル案内スタッフが現れる バーチャル案内スタッフを地⾯に⽴たせる
Slide 18
Slide 18 text
18 18 ToF:光の到達時間で距離 を計測する⽅法 ●⾚外線(IR)カメラ ●IRプロジェクター 奥⾏き感知機能の活⽤ ポイントクラウド (x, y, z z:奥⾏き情報)
Slide 19
Slide 19 text
19 19 ポイントクラウド逆投影 最近隣補間法 タッチポジション情報 ① ② ③ 奥⾏き情報を活⽤
Slide 20
Slide 20 text
20 20 処理前 処理後 奥⾏きのレンダリング問題
Slide 21
Slide 21 text
21 21 Z2 Z1 • Z-Buffering(深度バッファリング) 2次元配列 奥⾏き(深度)情報の活⽤で問題を解決
Slide 22
Slide 22 text
22 22 デバイスの動きをバーチャル空間へ反映する
Slide 23
Slide 23 text
23 23 • ⿂眼カメラと慣性計測ユニット(IMU)からデータ を収集 ⿂眼カメラ 慣性計測ユニット モーショントラッキング(動線追跡)
Slide 24
Slide 24 text
24 24 • カメラから視覚的特徴を識別し、それに基づき画像フレーム間 の移動距離を計算(領域特徴ベーストラッキング⼿法) • Tangoサービス開始時の画像フ レームをスタートフレームとする モーショントラッキング
Slide 25
Slide 25 text
25 25 • IMUは、加速度センサー + ジャイロスコープ • デバイスがどれだけ速く加速されるか、どの⽅向に 回転するかをトラッキング モーショントラッキング
Slide 26
Slide 26 text
26 26 空間を学習させ、道案内する
Slide 27
Slide 27 text
27 27 「⼈間の空間認識」と「Tangoの領域学習」の仕組みは同じ • カメラから⾒える特徴的な物体(ランドマーク)をいくつか記憶する • ランドマークの位置情報 • ランドマークの特徴(数学的記述で記憶) • カメラの視野が広ければ広いほどランドマークの特徴を取り込みやすい • 領域記述ファイル(ADF)に保存する • 再び同じ空間に⾏くと保存されたADFを読み込み、ランドマークの特徴を 検索、マッチングし、以前の空間として認識する Tangoの領域学習
Slide 28
Slide 28 text
28 28 タッチでマーカー を追加 (マーカーの位置 と向き情報 を保存) Tangoの領域学習機能を活⽤
Slide 29
Slide 29 text
29 29 マーカーの座標に基づ きバーチャルスタッフ を動かす Tangoの領域学習機能を活⽤
Slide 30
Slide 30 text
30 30 まとめ
Slide 31
Slide 31 text
31 31 § Tangoの3つのコアテクノロジー(奥⾏き知覚、 モーショントラッキング、領域学習)を活⽤して 、バーチャル道案内スタッフを実現してみた § わかったTangoの特徴: ü 学習速度・空間認識が早い ü モーショントラッキング及び屋内ナビゲーショ ン精度が⾼い ü GPSがうまくいかない環境(地下や建物)のナ ビゲーションに役に⽴つ まとめ
Slide 32
Slide 32 text
32 32 § Tangoをサポートするコンシューマー端末はまだ 少ない(Lenovo PhabPro2) § 今後、ASUS ZenFone AR 登場予定 まとめ
Slide 33
Slide 33 text
33 33 DEMO デモの案内
Slide 34
Slide 34 text
34 34 § バーチャルスタッフの表⽰と基本動作 § 領域学習とマーカーの追加 § 保存データ(ADF)を利⽤し、道案内 デモの案内
Slide 35
Slide 35 text
35 35 ご清聴いただき ありがとうございました