Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
モバイルAR技術の最先端 Google Tangoを活用してバーチャル道案内スタッフを実現してみた
Search
GMO次世代
May 16, 2017
Technology
1
1.3k
モバイルAR技術の最先端 Google Tangoを活用してバーチャル道案内スタッフを実現してみた
2017年5月11日 GMOエンジニアトークにて公開
GMO次世代
May 16, 2017
Tweet
Share
More Decks by GMO次世代
See All by GMO次世代
ソース公開を通じて分かった非中央集権型アプリケーション(DApp)とは
jisedai
0
4.2k
AppleのARkitとGoogleの最新のARプラットフォーム ARCore 可能性と応用
jisedai
2
1.3k
IoT領域でのブロックチェーン実践
jisedai
1
1.9k
深層学習は金融市場をシミュレーションすることができるか?
jisedai
1
6.4k
Unity3DとOculus Riftで VR空間にWebコンテンツを表現する
jisedai
0
1.5k
ブロックチェーンを利用したサービス開発について
jisedai
1
1.2k
Deep Learningによる株価変動の予想
jisedai
0
1.7k
Other Decks in Technology
See All in Technology
LLMで構造化出力の成功率をグンと上げる方法
keisuketakiguchi
0
500
LIFF CLIとngrokを使ったLIFF/LINEミニアプリのお手軽実機確認
diggymo
0
230
dipにおけるSRE変革の軌跡
dip_tech
PRO
1
230
データモデリング通り #2オンライン勉強会 ~方法論の話をしよう~
datayokocho
0
110
Tableau API連携の罠!?脱スプシを夢見たはずが、逆に依存を深めた話
cuebic9bic
3
210
Google Agentspaceを実際に導入した効果と今後の展望
mixi_engineers
PRO
3
340
20250807_Kiroと私の反省会
riz3f7
0
170
いかにして命令の入れ替わりについて心配するのをやめ、メモリモデルを愛するようになったか(改)
nullpo_head
2
320
AIに目を奪われすぎて、周りの困っている人間が見えなくなっていませんか?
cap120
1
430
2025新卒研修・HTML/CSS #弁護士ドットコム
bengo4com
3
13k
Google Cloud で学ぶデータエンジニアリング入門 2025年版 #GoogleCloudNext / 20250805
kazaneya
PRO
17
3.2k
Amazon Q Developerを活用したアーキテクチャのリファクタリング
k1nakayama
2
190
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Why Our Code Smells
bkeepers
PRO
337
57k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
We Have a Design System, Now What?
morganepeng
53
7.7k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Bash Introduction
62gerente
614
210k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
The Cost Of JavaScript in 2023
addyosmani
51
8.8k
Unsuck your backbone
ammeep
671
58k
Building Applications with DynamoDB
mza
95
6.5k
Transcript
1 1 モバイルAR技術の最先端 Google Tangoを活⽤して バーチャル案内スタッフを実現してみた GMOインターネット 次世代システム研究室
2 2 1. 背景&モチベーション 2. Google Tango についての紹介 3. 解決すべき課題
4. 課題解決⽅法とTangoの強みの活⽤ 5. まとめ 6. デモ案内 ⽬次
3 3 突然ですが、 空港で国際線の乗り継ぎ時、 道に迷った事がありますか? 背景&モチベーション
4 4 展⽰会、博物館で 旅館で 地下鉄、駅で ショッピングモールで
5 5 ⾔葉の壁 案内スタッフがいて、案内してくれても⾔葉が通じない ⼈⼿不⾜&対応が⼤変 限られた⼈間のスタッフで、すべてのお客さんに対応ができません
6 6 案内スタッフがいなくても モバイルAR技術の最先端 Google Tangoで バーチャル案内スタッフを作れないか?
7 7 Unityちゃん
8 8 バーチャル案内スタッフを実現してみた
9 9 マーカーレスAR/MRプラットフォーム 奥⾏き感知、モーショントラッキング 領域学習 3つのコア技術 屋内ナビゲーション向け トータルソリューション Google Tangoとは
10 10 奥⾏き感知機能 (⾚外線センサーなどを使⽤して物体までの距離/ 奥⾏きを把握することができる機能) Google Tango 3つのコア技術
11 11 Google Tango 3つのコア技術 モーショントラッキング機能 (Tango搭載デバイスを持って移動するとデバイス がその動線を追跡することができる機能)
12 12 Google Tango 3つのコア技術 領域学習機能 (Tango搭載デバイスが空間の重要な特徴を学習し、 その空間領域を認識することができる機能)
13 13 LENOVO PHAB 2 PRO ⾚外線(IR)カメラ IRプロジェクター RGBカメラ LED
奥⾏き感知のため モーション トラッキング センサー
14 14 バーチャル案内スタッフを 実現する際、解決すべき課題
15 15 1. バーチャル案内スタッフを地⾯に⽴たせる (現実と⾼度な融合) 2. バーチャル案内スタッフを動かす 3. バーチャル案内スタッフをしゃべらせる 解決すべき課題
16 16 4.奥⾏きのレンダリング問題 (xyz軸におけるz軸の課題解決) 5. デバイスの動き、位置及び向きを把握し、 バーチャル空間へ反映(同期) 6. 案内先まで空間を学習させ、道案内ができ るようにする
解決すべき課題
17 17 画⾯タッチでバーチャル案内スタッフが現れる バーチャル案内スタッフを地⾯に⽴たせる
18 18 ToF:光の到達時間で距離 を計測する⽅法 •⾚外線(IR)カメラ •IRプロジェクター 奥⾏き感知機能の活⽤ ポイントクラウド (x, y,
z z:奥⾏き情報)
19 19 ポイントクラウド逆投影 最近隣補間法 タッチポジション情報 ① ② ③ 奥⾏き情報を活⽤
20 20 処理前 処理後 奥⾏きのレンダリング問題
21 21 Z2 Z1 • Z-Buffering(深度バッファリング) 2次元配列 奥⾏き(深度)情報の活⽤で問題を解決
22 22 デバイスの動きをバーチャル空間へ反映する
23 23 • ⿂眼カメラと慣性計測ユニット(IMU)からデータ を収集 ⿂眼カメラ 慣性計測ユニット モーショントラッキング(動線追跡)
24 24 • カメラから視覚的特徴を識別し、それに基づき画像フレーム間 の移動距離を計算(領域特徴ベーストラッキング⼿法) • Tangoサービス開始時の画像フ レームをスタートフレームとする モーショントラッキング
25 25 • IMUは、加速度センサー + ジャイロスコープ • デバイスがどれだけ速く加速されるか、どの⽅向に 回転するかをトラッキング モーショントラッキング
26 26 空間を学習させ、道案内する
27 27 「⼈間の空間認識」と「Tangoの領域学習」の仕組みは同じ • カメラから⾒える特徴的な物体(ランドマーク)をいくつか記憶する • ランドマークの位置情報 • ランドマークの特徴(数学的記述で記憶) •
カメラの視野が広ければ広いほどランドマークの特徴を取り込みやすい • 領域記述ファイル(ADF)に保存する • 再び同じ空間に⾏くと保存されたADFを読み込み、ランドマークの特徴を 検索、マッチングし、以前の空間として認識する Tangoの領域学習
28 28 タッチでマーカー を追加 (マーカーの位置 と向き情報 を保存) Tangoの領域学習機能を活⽤
29 29 マーカーの座標に基づ きバーチャルスタッフ を動かす Tangoの領域学習機能を活⽤
30 30 まとめ
31 31 § Tangoの3つのコアテクノロジー(奥⾏き知覚、 モーショントラッキング、領域学習)を活⽤して 、バーチャル道案内スタッフを実現してみた § わかったTangoの特徴: ü 学習速度・空間認識が早い
ü モーショントラッキング及び屋内ナビゲーショ ン精度が⾼い ü GPSがうまくいかない環境(地下や建物)のナ ビゲーションに役に⽴つ まとめ
32 32 § Tangoをサポートするコンシューマー端末はまだ 少ない(Lenovo PhabPro2) § 今後、ASUS ZenFone AR
登場予定 まとめ
33 33 DEMO デモの案内
34 34 § バーチャルスタッフの表⽰と基本動作 § 領域学習とマーカーの追加 § 保存データ(ADF)を利⽤し、道案内 デモの案内
35 35 ご清聴いただき ありがとうございました