Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
モバイルAR技術の最先端 Google Tangoを活用してバーチャル道案内スタッフを実現してみた
Search
GMO次世代
May 16, 2017
Technology
1
1.3k
モバイルAR技術の最先端 Google Tangoを活用してバーチャル道案内スタッフを実現してみた
2017年5月11日 GMOエンジニアトークにて公開
GMO次世代
May 16, 2017
Tweet
Share
More Decks by GMO次世代
See All by GMO次世代
ソース公開を通じて分かった非中央集権型アプリケーション(DApp)とは
jisedai
0
4.2k
AppleのARkitとGoogleの最新のARプラットフォーム ARCore 可能性と応用
jisedai
2
1.3k
IoT領域でのブロックチェーン実践
jisedai
1
1.8k
深層学習は金融市場をシミュレーションすることができるか?
jisedai
1
6.4k
Unity3DとOculus Riftで VR空間にWebコンテンツを表現する
jisedai
0
1.5k
ブロックチェーンを利用したサービス開発について
jisedai
1
1.2k
Deep Learningによる株価変動の予想
jisedai
0
1.7k
Other Decks in Technology
See All in Technology
Flutter向けPDFビューア、pdfrxのpdfium WASM対応について
espresso3389
0
120
2025-07-06 QGIS初級ハンズオン「はじめてのQGIS」
kou_kita
0
150
fukabori.fm 出張版: 売上高617億円と高稼働率を陰で支えた社内ツール開発のあれこれ話 / 20250704 Yoshimasa Iwase & Tomoo Morikawa
shift_evolve
PRO
2
6.3k
赤煉瓦倉庫勉強会「Databricksを選んだ理由と、絶賛真っ只中のデータ基盤移行体験記」
ivry_presentationmaterials
2
300
United Airlines Customer Service– Call 1-833-341-3142 Now!
airhelp
0
160
PO初心者が考えた ”POらしさ”
nb_rady
0
190
生成AI時代 文字コードを学ぶ意義を見出せるか?
hrsued
1
800
面倒な作業はAIにおまかせ。Flutter開発をスマートに効率化
ruideengineer
0
160
Witchcraft for Memory
pocke
1
750
Yamla: Rustでつくるリアルタイム性を追求した機械学習基盤 / Yamla: A Rust-Based Machine Learning Platform Pursuing Real-Time Capabilities
lycorptech_jp
PRO
4
230
SmartNewsにおける 1000+ノード規模 K8s基盤 でのコスト最適化 – Spot・Gravitonの大規模導入への挑戦
vsanna2
0
120
作曲家がボカロを使うようにPdMはAIを使え
itotaxi
0
430
Featured
See All Featured
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Six Lessons from altMBA
skipperchong
28
3.9k
Raft: Consensus for Rubyists
vanstee
140
7k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
Agile that works and the tools we love
rasmusluckow
329
21k
Producing Creativity
orderedlist
PRO
346
40k
A better future with KSS
kneath
239
17k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Why Our Code Smells
bkeepers
PRO
337
57k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Transcript
1 1 モバイルAR技術の最先端 Google Tangoを活⽤して バーチャル案内スタッフを実現してみた GMOインターネット 次世代システム研究室
2 2 1. 背景&モチベーション 2. Google Tango についての紹介 3. 解決すべき課題
4. 課題解決⽅法とTangoの強みの活⽤ 5. まとめ 6. デモ案内 ⽬次
3 3 突然ですが、 空港で国際線の乗り継ぎ時、 道に迷った事がありますか? 背景&モチベーション
4 4 展⽰会、博物館で 旅館で 地下鉄、駅で ショッピングモールで
5 5 ⾔葉の壁 案内スタッフがいて、案内してくれても⾔葉が通じない ⼈⼿不⾜&対応が⼤変 限られた⼈間のスタッフで、すべてのお客さんに対応ができません
6 6 案内スタッフがいなくても モバイルAR技術の最先端 Google Tangoで バーチャル案内スタッフを作れないか?
7 7 Unityちゃん
8 8 バーチャル案内スタッフを実現してみた
9 9 マーカーレスAR/MRプラットフォーム 奥⾏き感知、モーショントラッキング 領域学習 3つのコア技術 屋内ナビゲーション向け トータルソリューション Google Tangoとは
10 10 奥⾏き感知機能 (⾚外線センサーなどを使⽤して物体までの距離/ 奥⾏きを把握することができる機能) Google Tango 3つのコア技術
11 11 Google Tango 3つのコア技術 モーショントラッキング機能 (Tango搭載デバイスを持って移動するとデバイス がその動線を追跡することができる機能)
12 12 Google Tango 3つのコア技術 領域学習機能 (Tango搭載デバイスが空間の重要な特徴を学習し、 その空間領域を認識することができる機能)
13 13 LENOVO PHAB 2 PRO ⾚外線(IR)カメラ IRプロジェクター RGBカメラ LED
奥⾏き感知のため モーション トラッキング センサー
14 14 バーチャル案内スタッフを 実現する際、解決すべき課題
15 15 1. バーチャル案内スタッフを地⾯に⽴たせる (現実と⾼度な融合) 2. バーチャル案内スタッフを動かす 3. バーチャル案内スタッフをしゃべらせる 解決すべき課題
16 16 4.奥⾏きのレンダリング問題 (xyz軸におけるz軸の課題解決) 5. デバイスの動き、位置及び向きを把握し、 バーチャル空間へ反映(同期) 6. 案内先まで空間を学習させ、道案内ができ るようにする
解決すべき課題
17 17 画⾯タッチでバーチャル案内スタッフが現れる バーチャル案内スタッフを地⾯に⽴たせる
18 18 ToF:光の到達時間で距離 を計測する⽅法 •⾚外線(IR)カメラ •IRプロジェクター 奥⾏き感知機能の活⽤ ポイントクラウド (x, y,
z z:奥⾏き情報)
19 19 ポイントクラウド逆投影 最近隣補間法 タッチポジション情報 ① ② ③ 奥⾏き情報を活⽤
20 20 処理前 処理後 奥⾏きのレンダリング問題
21 21 Z2 Z1 • Z-Buffering(深度バッファリング) 2次元配列 奥⾏き(深度)情報の活⽤で問題を解決
22 22 デバイスの動きをバーチャル空間へ反映する
23 23 • ⿂眼カメラと慣性計測ユニット(IMU)からデータ を収集 ⿂眼カメラ 慣性計測ユニット モーショントラッキング(動線追跡)
24 24 • カメラから視覚的特徴を識別し、それに基づき画像フレーム間 の移動距離を計算(領域特徴ベーストラッキング⼿法) • Tangoサービス開始時の画像フ レームをスタートフレームとする モーショントラッキング
25 25 • IMUは、加速度センサー + ジャイロスコープ • デバイスがどれだけ速く加速されるか、どの⽅向に 回転するかをトラッキング モーショントラッキング
26 26 空間を学習させ、道案内する
27 27 「⼈間の空間認識」と「Tangoの領域学習」の仕組みは同じ • カメラから⾒える特徴的な物体(ランドマーク)をいくつか記憶する • ランドマークの位置情報 • ランドマークの特徴(数学的記述で記憶) •
カメラの視野が広ければ広いほどランドマークの特徴を取り込みやすい • 領域記述ファイル(ADF)に保存する • 再び同じ空間に⾏くと保存されたADFを読み込み、ランドマークの特徴を 検索、マッチングし、以前の空間として認識する Tangoの領域学習
28 28 タッチでマーカー を追加 (マーカーの位置 と向き情報 を保存) Tangoの領域学習機能を活⽤
29 29 マーカーの座標に基づ きバーチャルスタッフ を動かす Tangoの領域学習機能を活⽤
30 30 まとめ
31 31 § Tangoの3つのコアテクノロジー(奥⾏き知覚、 モーショントラッキング、領域学習)を活⽤して 、バーチャル道案内スタッフを実現してみた § わかったTangoの特徴: ü 学習速度・空間認識が早い
ü モーショントラッキング及び屋内ナビゲーショ ン精度が⾼い ü GPSがうまくいかない環境(地下や建物)のナ ビゲーションに役に⽴つ まとめ
32 32 § Tangoをサポートするコンシューマー端末はまだ 少ない(Lenovo PhabPro2) § 今後、ASUS ZenFone AR
登場予定 まとめ
33 33 DEMO デモの案内
34 34 § バーチャルスタッフの表⽰と基本動作 § 領域学習とマーカーの追加 § 保存データ(ADF)を利⽤し、道案内 デモの案内
35 35 ご清聴いただき ありがとうございました