Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
モバイルAR技術の最先端 Google Tangoを活用してバーチャル道案内スタッフを実現してみた
Search
GMO次世代
May 16, 2017
Technology
1
1.3k
モバイルAR技術の最先端 Google Tangoを活用してバーチャル道案内スタッフを実現してみた
2017年5月11日 GMOエンジニアトークにて公開
GMO次世代
May 16, 2017
Tweet
Share
More Decks by GMO次世代
See All by GMO次世代
ソース公開を通じて分かった非中央集権型アプリケーション(DApp)とは
jisedai
0
4.2k
AppleのARkitとGoogleの最新のARプラットフォーム ARCore 可能性と応用
jisedai
2
1.3k
IoT領域でのブロックチェーン実践
jisedai
1
1.8k
深層学習は金融市場をシミュレーションすることができるか?
jisedai
1
6.4k
Unity3DとOculus Riftで VR空間にWebコンテンツを表現する
jisedai
0
1.5k
ブロックチェーンを利用したサービス開発について
jisedai
1
1.2k
Deep Learningによる株価変動の予想
jisedai
0
1.7k
Other Decks in Technology
See All in Technology
Figma Dev Mode MCP Serverを用いたUI開発
zoothezoo
0
230
Amazon SNSサブスクリプションの誤解除を防ぐ
y_sakata
3
190
【あのMCPって、どんな処理してるの?】 AWS CDKでの開発で便利なAWS MCP Servers特集
yoshimi0227
6
950
An introduction to Claude Code SDK
choplin
2
1.2k
〜『世界中の家族のこころのインフラ』を目指して”次の10年”へ〜 SREが導いたグローバルサービスの信頼性向上戦略とその舞台裏 / Towards the Next Decade: Enhancing Global Service Reliability
kohbis
3
1.5k
組織内、組織間の資産保護に必要なアイデンティティ基盤と関連技術の最新動向
fujie
0
280
CDK Vibe Coding Fes
tomoki10
1
630
united airlines ™®️ USA Contact Numbers: Complete 2025 Support Guide
flyunitedhelp
1
470
Digitization部 紹介資料
sansan33
PRO
1
4.5k
データ戦略部門 紹介資料
sansan33
PRO
1
3.3k
VS CodeとGitHub Copilotで爆速開発!アップデートの波に乗るおさらい会 / Rapid Development with VS Code and GitHub Copilot: Catch the Latest Wave
yamachu
3
460
ロールが細分化された組織でSREは何をするか?
tgidgd
1
420
Featured
See All Featured
How to Ace a Technical Interview
jacobian
278
23k
Music & Morning Musume
bryan
46
6.7k
YesSQL, Process and Tooling at Scale
rocio
173
14k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
How STYLIGHT went responsive
nonsquared
100
5.6k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
How to Think Like a Performance Engineer
csswizardry
25
1.7k
RailsConf 2023
tenderlove
30
1.1k
Faster Mobile Websites
deanohume
308
31k
A Tale of Four Properties
chriscoyier
160
23k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Practical Orchestrator
shlominoach
189
11k
Transcript
1 1 モバイルAR技術の最先端 Google Tangoを活⽤して バーチャル案内スタッフを実現してみた GMOインターネット 次世代システム研究室
2 2 1. 背景&モチベーション 2. Google Tango についての紹介 3. 解決すべき課題
4. 課題解決⽅法とTangoの強みの活⽤ 5. まとめ 6. デモ案内 ⽬次
3 3 突然ですが、 空港で国際線の乗り継ぎ時、 道に迷った事がありますか? 背景&モチベーション
4 4 展⽰会、博物館で 旅館で 地下鉄、駅で ショッピングモールで
5 5 ⾔葉の壁 案内スタッフがいて、案内してくれても⾔葉が通じない ⼈⼿不⾜&対応が⼤変 限られた⼈間のスタッフで、すべてのお客さんに対応ができません
6 6 案内スタッフがいなくても モバイルAR技術の最先端 Google Tangoで バーチャル案内スタッフを作れないか?
7 7 Unityちゃん
8 8 バーチャル案内スタッフを実現してみた
9 9 マーカーレスAR/MRプラットフォーム 奥⾏き感知、モーショントラッキング 領域学習 3つのコア技術 屋内ナビゲーション向け トータルソリューション Google Tangoとは
10 10 奥⾏き感知機能 (⾚外線センサーなどを使⽤して物体までの距離/ 奥⾏きを把握することができる機能) Google Tango 3つのコア技術
11 11 Google Tango 3つのコア技術 モーショントラッキング機能 (Tango搭載デバイスを持って移動するとデバイス がその動線を追跡することができる機能)
12 12 Google Tango 3つのコア技術 領域学習機能 (Tango搭載デバイスが空間の重要な特徴を学習し、 その空間領域を認識することができる機能)
13 13 LENOVO PHAB 2 PRO ⾚外線(IR)カメラ IRプロジェクター RGBカメラ LED
奥⾏き感知のため モーション トラッキング センサー
14 14 バーチャル案内スタッフを 実現する際、解決すべき課題
15 15 1. バーチャル案内スタッフを地⾯に⽴たせる (現実と⾼度な融合) 2. バーチャル案内スタッフを動かす 3. バーチャル案内スタッフをしゃべらせる 解決すべき課題
16 16 4.奥⾏きのレンダリング問題 (xyz軸におけるz軸の課題解決) 5. デバイスの動き、位置及び向きを把握し、 バーチャル空間へ反映(同期) 6. 案内先まで空間を学習させ、道案内ができ るようにする
解決すべき課題
17 17 画⾯タッチでバーチャル案内スタッフが現れる バーチャル案内スタッフを地⾯に⽴たせる
18 18 ToF:光の到達時間で距離 を計測する⽅法 •⾚外線(IR)カメラ •IRプロジェクター 奥⾏き感知機能の活⽤ ポイントクラウド (x, y,
z z:奥⾏き情報)
19 19 ポイントクラウド逆投影 最近隣補間法 タッチポジション情報 ① ② ③ 奥⾏き情報を活⽤
20 20 処理前 処理後 奥⾏きのレンダリング問題
21 21 Z2 Z1 • Z-Buffering(深度バッファリング) 2次元配列 奥⾏き(深度)情報の活⽤で問題を解決
22 22 デバイスの動きをバーチャル空間へ反映する
23 23 • ⿂眼カメラと慣性計測ユニット(IMU)からデータ を収集 ⿂眼カメラ 慣性計測ユニット モーショントラッキング(動線追跡)
24 24 • カメラから視覚的特徴を識別し、それに基づき画像フレーム間 の移動距離を計算(領域特徴ベーストラッキング⼿法) • Tangoサービス開始時の画像フ レームをスタートフレームとする モーショントラッキング
25 25 • IMUは、加速度センサー + ジャイロスコープ • デバイスがどれだけ速く加速されるか、どの⽅向に 回転するかをトラッキング モーショントラッキング
26 26 空間を学習させ、道案内する
27 27 「⼈間の空間認識」と「Tangoの領域学習」の仕組みは同じ • カメラから⾒える特徴的な物体(ランドマーク)をいくつか記憶する • ランドマークの位置情報 • ランドマークの特徴(数学的記述で記憶) •
カメラの視野が広ければ広いほどランドマークの特徴を取り込みやすい • 領域記述ファイル(ADF)に保存する • 再び同じ空間に⾏くと保存されたADFを読み込み、ランドマークの特徴を 検索、マッチングし、以前の空間として認識する Tangoの領域学習
28 28 タッチでマーカー を追加 (マーカーの位置 と向き情報 を保存) Tangoの領域学習機能を活⽤
29 29 マーカーの座標に基づ きバーチャルスタッフ を動かす Tangoの領域学習機能を活⽤
30 30 まとめ
31 31 § Tangoの3つのコアテクノロジー(奥⾏き知覚、 モーショントラッキング、領域学習)を活⽤して 、バーチャル道案内スタッフを実現してみた § わかったTangoの特徴: ü 学習速度・空間認識が早い
ü モーショントラッキング及び屋内ナビゲーショ ン精度が⾼い ü GPSがうまくいかない環境(地下や建物)のナ ビゲーションに役に⽴つ まとめ
32 32 § Tangoをサポートするコンシューマー端末はまだ 少ない(Lenovo PhabPro2) § 今後、ASUS ZenFone AR
登場予定 まとめ
33 33 DEMO デモの案内
34 34 § バーチャルスタッフの表⽰と基本動作 § 領域学習とマーカーの追加 § 保存データ(ADF)を利⽤し、道案内 デモの案内
35 35 ご清聴いただき ありがとうございました