Slide 1
Slide 1 text
1
1
モバイルAR技術の最先端
Google Tangoを活⽤して
バーチャル案内スタッフを実現してみた
GMOインターネット
次世代システム研究室
Slide 2
Slide 2 text
2
2
1. 背景＆モチベーション
2. Google Tango についての紹介
3. 解決すべき課題
4. 課題解決⽅法とTangoの強みの活⽤
5. まとめ
6. デモ案内
⽬次
Slide 3
Slide 3 text
3
3
突然ですが、
空港で国際線の乗り継ぎ時、
道に迷った事がありますか？
背景＆モチベーション
Slide 4
Slide 4 text
4
4
展⽰会、博物館で
旅館で
地下鉄、駅で
ショッピングモールで
Slide 5
Slide 5 text
5
5
⾔葉の壁
案内スタッフがいて、案内してくれても⾔葉が通じない
⼈⼿不⾜＆対応が⼤変
限られた⼈間のスタッフで、すべてのお客さんに対応ができません
Slide 6
Slide 6 text
6
6
案内スタッフがいなくても
モバイルAR技術の最先端
Google Tangoで
バーチャル案内スタッフを作れないか？
Slide 7
Slide 7 text
7
7
Unityちゃん
Slide 8
Slide 8 text
8
8
バーチャル案内スタッフを実現してみた
Slide 9
Slide 9 text
9
9
マーカーレスAR/MRプラットフォーム
奥⾏き感知、モーショントラッキング
領域学習 ３つのコア技術
屋内ナビゲーション向け
トータルソリューション
Google Tangoとは
Slide 10
Slide 10 text
10
10
奥⾏き感知機能
（⾚外線センサーなどを使⽤して物体までの距離/
奥⾏きを把握することができる機能)
Google Tango 3つのコア技術
Slide 11
Slide 11 text
11
11
Google Tango 3つのコア技術
モーショントラッキング機能
（Tango搭載デバイスを持って移動するとデバイス
がその動線を追跡することができる機能)
Slide 12
Slide 12 text
12
12
Google Tango 3つのコア技術
領域学習機能
（Tango搭載デバイスが空間の重要な特徴を学習し、
その空間領域を認識することができる機能）
Slide 13
Slide 13 text
13
13
LENOVO PHAB 2 PRO
⾚外線（IR)カメラ
IRプロジェクター
RGBカメラ
LED
奥⾏き感知のため
モーション
トラッキング
センサー
Slide 14
Slide 14 text
14
14
バーチャル案内スタッフを
実現する際、解決すべき課題
Slide 15
Slide 15 text
15
15
1. バーチャル案内スタッフを地⾯に⽴たせる
（現実と⾼度な融合）
2. バーチャル案内スタッフを動かす
3. バーチャル案内スタッフをしゃべらせる
解決すべき課題
Slide 16
Slide 16 text
16
16
4.奥⾏きのレンダリング問題
（xyz軸におけるz軸の課題解決）
5. デバイスの動き、位置及び向きを把握し、
バーチャル空間へ反映（同期）
6. 案内先まで空間を学習させ、道案内ができ
るようにする
解決すべき課題
Slide 17
Slide 17 text
17
17
画⾯タッチでバーチャル案内スタッフが現れる
バーチャル案内スタッフを地⾯に⽴たせる
Slide 18
Slide 18 text
18
18
ToF：光の到達時間で距離
を計測する⽅法
●⾚外線（IR)カメラ
●IRプロジェクター
奥⾏き感知機能の活⽤
ポイントクラウド
(x, y, z z：奥⾏き情報）
Slide 19
Slide 19 text
19
19
ポイントクラウド逆投影
最近隣補間法
タッチポジション情報 ①
② ③
奥⾏き情報を活⽤
Slide 20
Slide 20 text
20
20
処理前 処理後
奥⾏きのレンダリング問題
Slide 21
Slide 21 text
21
21
Z2
Z1
• Z-Buffering（深度バッファリング）
２次元配列
奥⾏き（深度）情報の活⽤で問題を解決
Slide 22
Slide 22 text
22
22
デバイスの動きをバーチャル空間へ反映する
Slide 23
Slide 23 text
23
23
• ⿂眼カメラと慣性計測ユニット(IMU)からデータ
を収集
⿂眼カメラ 慣性計測ユニット
モーショントラッキング（動線追跡）
Slide 24
Slide 24 text
24
24
• カメラから視覚的特徴を識別し、それに基づき画像フレーム間
の移動距離を計算（領域特徴ベーストラッキング⼿法）
• Tangoサービス開始時の画像フ
レームをスタートフレームとする
モーショントラッキング
Slide 25
Slide 25 text
25
25
• IMUは、加速度センサー + ジャイロスコープ
• デバイスがどれだけ速く加速されるか、どの⽅向に
回転するかをトラッキング
モーショントラッキング
Slide 26
Slide 26 text
26
26
空間を学習させ、道案内する
Slide 27
Slide 27 text
27
27
「⼈間の空間認識」と「Tangoの領域学習」の仕組みは同じ
• カメラから⾒える特徴的な物体（ランドマーク）をいくつか記憶する
• ランドマークの位置情報
• ランドマークの特徴（数学的記述で記憶）
• カメラの視野が広ければ広いほどランドマークの特徴を取り込みやすい
• 領域記述ファイル(ADF)に保存する
• 再び同じ空間に⾏くと保存されたADFを読み込み、ランドマークの特徴を
検索、マッチングし、以前の空間として認識する
Tangoの領域学習
Slide 28
Slide 28 text
28
28
タッチでマーカー
を追加
（マーカーの位置
と向き情報
を保存）
Tangoの領域学習機能を活⽤
Slide 29
Slide 29 text
29
29
マーカーの座標に基づ
きバーチャルスタッフ
を動かす
Tangoの領域学習機能を活⽤
Slide 30
Slide 30 text
30
30
まとめ
Slide 31
Slide 31 text
31
31
§ Tangoの3つのコアテクノロジー（奥⾏き知覚、
モーショントラッキング、領域学習）を活⽤して
、バーチャル道案内スタッフを実現してみた
§ わかったTangoの特徴：
ü 学習速度・空間認識が早い
ü モーショントラッキング及び屋内ナビゲーショ
ン精度が⾼い
ü GPSがうまくいかない環境（地下や建物）のナ
ビゲーションに役に⽴つ
まとめ
Slide 32
Slide 32 text
32
32
§ Tangoをサポートするコンシューマー端末はまだ
少ない（Lenovo PhabPro2)
§ 今後、ASUS ZenFone AR 登場予定
まとめ
Slide 33
Slide 33 text
33
33
DEMO
デモの案内
Slide 34
Slide 34 text
34
34
§ バーチャルスタッフの表⽰と基本動作
§ 領域学習とマーカーの追加
§ 保存データ（ADF）を利⽤し、道案内
デモの案内
Slide 35
Slide 35 text
35
35
ご清聴いただき
ありがとうございました