モバイルAR技術の最先端 Google Tangoを活用してバーチャル道案内スタッフを実現してみた

1 1 モバイルAR技術の最先端 Google Tangoを活⽤してバーチャル案内スタッフを実現してみた GMOインターネット次世代システム研究室

2 2 1. 背景＆モチベーション 2. Google Tango についての紹介 3. 解決すべき課題
4. 課題解決⽅法とTangoの強みの活⽤ 5. まとめ 6. デモ案内⽬次

3 3 突然ですが、空港で国際線の乗り継ぎ時、道に迷った事がありますか？背景＆モチベーション

4 4 展⽰会、博物館で旅館で地下鉄、駅でショッピングモールで

5 5 ⾔葉の壁案内スタッフがいて、案内してくれても⾔葉が通じない⼈⼿不⾜＆対応が⼤変限られた⼈間のスタッフで、すべてのお客さんに対応ができません

6 6 案内スタッフがいなくてもモバイルAR技術の最先端 Google Tangoでバーチャル案内スタッフを作れないか？

7 7 Unityちゃん

8 8 バーチャル案内スタッフを実現してみた

9 9 マーカーレスAR/MRプラットフォーム奥⾏き感知、モーショントラッキング領域学習３つのコア技術屋内ナビゲーション向けトータルソリューション Google Tangoとは

10 10 奥⾏き感知機能（⾚外線センサーなどを使⽤して物体までの距離/ 奥⾏きを把握することができる機能) Google Tango 3つのコア技術

11 11 Google Tango 3つのコア技術モーショントラッキング機能（Tango搭載デバイスを持って移動するとデバイスがその動線を追跡することができる機能)

12 12 Google Tango 3つのコア技術領域学習機能（Tango搭載デバイスが空間の重要な特徴を学習し、その空間領域を認識することができる機能）

13 13 LENOVO PHAB 2 PRO ⾚外線（IR)カメラ IRプロジェクター RGBカメラ LED
奥⾏き感知のためモーショントラッキングセンサー

14 14 バーチャル案内スタッフを実現する際、解決すべき課題

15 15 1. バーチャル案内スタッフを地⾯に⽴たせる（現実と⾼度な融合） 2. バーチャル案内スタッフを動かす 3. バーチャル案内スタッフをしゃべらせる解決すべき課題

16 16 4.奥⾏きのレンダリング問題（xyz軸におけるz軸の課題解決） 5. デバイスの動き、位置及び向きを把握し、バーチャル空間へ反映（同期） 6. 案内先まで空間を学習させ、道案内ができるようにする
解決すべき課題

17 17 画⾯タッチでバーチャル案内スタッフが現れるバーチャル案内スタッフを地⾯に⽴たせる

18 18 ToF：光の到達時間で距離を計測する⽅法 •⾚外線（IR)カメラ •IRプロジェクター奥⾏き感知機能の活⽤ポイントクラウド (x, y,
z z：奥⾏き情報）

19 19 ポイントクラウド逆投影最近隣補間法タッチポジション情報 ① ② ③ 奥⾏き情報を活⽤

20 20 処理前処理後奥⾏きのレンダリング問題

21 21 Z2 Z1 • Z-Buffering（深度バッファリング）２次元配列奥⾏き（深度）情報の活⽤で問題を解決

22 22 デバイスの動きをバーチャル空間へ反映する

23 23 • ⿂眼カメラと慣性計測ユニット(IMU)からデータを収集⿂眼カメラ慣性計測ユニットモーショントラッキング（動線追跡）

24 24 • カメラから視覚的特徴を識別し、それに基づき画像フレーム間の移動距離を計算（領域特徴ベーストラッキング⼿法） • Tangoサービス開始時の画像フレームをスタートフレームとするモーショントラッキング

25 25 • IMUは、加速度センサー + ジャイロスコープ • デバイスがどれだけ速く加速されるか、どの⽅向に回転するかをトラッキングモーショントラッキング

26 26 空間を学習させ、道案内する

27 27 「⼈間の空間認識」と「Tangoの領域学習」の仕組みは同じ • カメラから⾒える特徴的な物体（ランドマーク）をいくつか記憶する • ランドマークの位置情報 • ランドマークの特徴（数学的記述で記憶） •
カメラの視野が広ければ広いほどランドマークの特徴を取り込みやすい • 領域記述ファイル(ADF)に保存する • 再び同じ空間に⾏くと保存されたADFを読み込み、ランドマークの特徴を検索、マッチングし、以前の空間として認識する Tangoの領域学習

28 28 タッチでマーカーを追加（マーカーの位置と向き情報を保存） Tangoの領域学習機能を活⽤

29 29 マーカーの座標に基づきバーチャルスタッフを動かす Tangoの領域学習機能を活⽤

30 30 まとめ

31 31 § Tangoの3つのコアテクノロジー（奥⾏き知覚、モーショントラッキング、領域学習）を活⽤して、バーチャル道案内スタッフを実現してみた § わかったTangoの特徴： ü 学習速度・空間認識が早い
ü モーショントラッキング及び屋内ナビゲーション精度が⾼い ü GPSがうまくいかない環境（地下や建物）のナビゲーションに役に⽴つまとめ

32 32 § Tangoをサポートするコンシューマー端末はまだ少ない（Lenovo PhabPro2) § 今後、ASUS ZenFone AR
登場予定まとめ

33 33 DEMO デモの案内

34 34 § バーチャルスタッフの表⽰と基本動作 § 領域学習とマーカーの追加 § 保存データ（ADF）を利⽤し、道案内デモの案内

35 35 ご清聴いただきありがとうございました

モバイルAR技術の最先端 Google Tangoを活用してバーチャル道案内スタッフを実現してみた

モバイルAR技術の最先端 Google Tangoを活用してバーチャル道案内スタッフを実現してみた

More Decks by GMO次世代

Other Decks in Technology

Featured

Transcript