モバイルAR技術の最先端 Google Tangoを活用してバーチャル道案内スタッフを実現してみた

2017年5月11日 GMOエンジニアトークにて公開

Transcript

1. 1 1 モバイルAR技術の最先端 Google Tangoを活⽤して バーチャル案内スタッフを実現してみた GMOインターネット 次世代システム研究室
2. 2 2 1. 背景＆モチベーション 2. Google Tango についての紹介 3. 解決すべき課題 4. 課題解決⽅法とTangoの強みの活⽤ 5. まとめ 6. デモ案内 ⽬次
3. 3 3 突然ですが、 空港で国際線の乗り継ぎ時、 道に迷った事がありますか？ 背景＆モチベーション
4. 4 4 展⽰会、博物館で 旅館で 地下鉄、駅で ショッピングモールで
5. 5 5 ⾔葉の壁 案内スタッフがいて、案内してくれても⾔葉が通じない ⼈⼿不⾜＆対応が⼤変 限られた⼈間のスタッフで、すべてのお客さんに対応ができません
6. 6 6 案内スタッフがいなくても モバイルAR技術の最先端 Google Tangoで バーチャル案内スタッフを作れないか？
7. 7 7 Unityちゃん
8. 8 8 バーチャル案内スタッフを実現してみた
9. 9 9 マーカーレスAR/MRプラットフォーム 奥⾏き感知、モーショントラッキング 領域学習 ３つのコア技術 屋内ナビゲーション向け トータルソリューション Google Tangoとは
10. 10 10 奥⾏き感知機能 （⾚外線センサーなどを使⽤して物体までの距離/ 奥⾏きを把握することができる機能) Google Tango 3つのコア技術
11. 11 11 Google Tango 3つのコア技術 モーショントラッキング機能 （Tango搭載デバイスを持って移動するとデバイス がその動線を追跡することができる機能)
12. 12 12 Google Tango 3つのコア技術 領域学習機能 （Tango搭載デバイスが空間の重要な特徴を学習し、 その空間領域を認識することができる機能）
13. 13 13 LENOVO PHAB 2 PRO ⾚外線（IR)カメラ IRプロジェクター RGBカメラ LED 奥⾏き感知のため モーション トラッキング センサー
14. 14 14 バーチャル案内スタッフを 実現する際、解決すべき課題
15. 15 15 1. バーチャル案内スタッフを地⾯に⽴たせる （現実と⾼度な融合） 2. バーチャル案内スタッフを動かす 3. バーチャル案内スタッフをしゃべらせる 解決すべき課題
16. 16 16 4.奥⾏きのレンダリング問題 （xyz軸におけるz軸の課題解決） 5. デバイスの動き、位置及び向きを把握し、 バーチャル空間へ反映（同期） 6. 案内先まで空間を学習させ、道案内ができ るようにする 解決すべき課題
17. 17 17 画⾯タッチでバーチャル案内スタッフが現れる バーチャル案内スタッフを地⾯に⽴たせる
18. 18 18 ToF：光の到達時間で距離 を計測する⽅法 •⾚外線（IR)カメラ •IRプロジェクター 奥⾏き感知機能の活⽤ ポイントクラウド (x, y, z z：奥⾏き情報）
19. 19 19 ポイントクラウド逆投影 最近隣補間法 タッチポジション情報 ① ② ③ 奥⾏き情報を活⽤
20. 20 20 処理前 処理後 奥⾏きのレンダリング問題
21. 21 21 Z2 Z1 • Z-Buffering（深度バッファリング） ２次元配列 奥⾏き（深度）情報の活⽤で問題を解決
22. 22 22 デバイスの動きをバーチャル空間へ反映する
23. 23 23 • ⿂眼カメラと慣性計測ユニット(IMU)からデータ を収集 ⿂眼カメラ 慣性計測ユニット モーショントラッキング（動線追跡）
24. 24 24 • カメラから視覚的特徴を識別し、それに基づき画像フレーム間 の移動距離を計算（領域特徴ベーストラッキング⼿法） • Tangoサービス開始時の画像フ レームをスタートフレームとする モーショントラッキング
25. 25 25 • IMUは、加速度センサー + ジャイロスコープ • デバイスがどれだけ速く加速されるか、どの⽅向に 回転するかをトラッキング モーショントラッキング
26. 26 26 空間を学習させ、道案内する
27. 27 27 「⼈間の空間認識」と「Tangoの領域学習」の仕組みは同じ • カメラから⾒える特徴的な物体（ランドマーク）をいくつか記憶する • ランドマークの位置情報 • ランドマークの特徴（数学的記述で記憶） • カメラの視野が広ければ広いほどランドマークの特徴を取り込みやすい • 領域記述ファイル(ADF)に保存する • 再び同じ空間に⾏くと保存されたADFを読み込み、ランドマークの特徴を 検索、マッチングし、以前の空間として認識する Tangoの領域学習
28. 28 28 タッチでマーカー を追加 （マーカーの位置 と向き情報 を保存） Tangoの領域学習機能を活⽤
29. 29 29 マーカーの座標に基づ きバーチャルスタッフ を動かす Tangoの領域学習機能を活⽤
30. 30 30 まとめ
31. 31 31 § Tangoの3つのコアテクノロジー（奥⾏き知覚、 モーショントラッキング、領域学習）を活⽤して 、バーチャル道案内スタッフを実現してみた § わかったTangoの特徴： ü 学習速度・空間認識が早い ü モーショントラッキング及び屋内ナビゲーショ ン精度が⾼い ü GPSがうまくいかない環境（地下や建物）のナ ビゲーションに役に⽴つ まとめ
32. 32 32 § Tangoをサポートするコンシューマー端末はまだ 少ない（Lenovo PhabPro2) § 今後、ASUS ZenFone AR 登場予定 まとめ
33. 33 33 DEMO デモの案内
34. 34 34 § バーチャルスタッフの表⽰と基本動作 § 領域学習とマーカーの追加 § 保存データ（ADF）を利⽤し、道案内 デモの案内
35. 35 35 ご清聴いただき ありがとうございました