Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
モバイルAR技術の最先端 Google Tangoを活用してバーチャル道案内スタッフを実現してみた
Search
GMO次世代
May 16, 2017
Technology
1
1.2k
モバイルAR技術の最先端 Google Tangoを活用してバーチャル道案内スタッフを実現してみた
2017年5月11日 GMOエンジニアトークにて公開
GMO次世代
May 16, 2017
Tweet
Share
More Decks by GMO次世代
See All by GMO次世代
ソース公開を通じて分かった非中央集権型アプリケーション(DApp)とは
jisedai
0
4k
AppleのARkitとGoogleの最新のARプラットフォーム ARCore 可能性と応用
jisedai
2
1.2k
IoT領域でのブロックチェーン実践
jisedai
1
1.7k
深層学習は金融市場をシミュレーションすることができるか?
jisedai
1
5.9k
Unity3DとOculus Riftで VR空間にWebコンテンツを表現する
jisedai
0
1.4k
ブロックチェーンを利用したサービス開発について
jisedai
1
1.1k
Deep Learningによる株価変動の予想
jisedai
0
1.6k
Other Decks in Technology
See All in Technology
それでもやっぱり ExpressRoute が好き!
skmkzyk
0
350
入門 KRR
donkomura
0
110
Develop to Survive - YAPC::Hakodate 2024 Keynote
moznion
8
2.6k
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
47k
OPENLOGI Company Profile for engineer
hr01
1
12k
エムスリー全チーム紹介資料 / Introduction of M3 All Teams
m3_engineering
1
320
Slackbot × RAG で実現する社内情報検索の最適化
howdy39
2
340
入社半年(合計1年)でGoogle Cloud 認定を全冠した秘訣🤫
risatube
1
230
Semantic Kernel の Agent 機能試してみた!
okazuki
1
160
Deno Deploy で Web Cache API を 使えるようになったので試した知見
toranoana
1
110
DenoでもViteしたい!インポートパスのエイリアスを指定してラクラクアプリ開発
bengo4com
2
2k
Oracle Database 23ai 新機能#4 Application Continuity
oracle4engineer
PRO
0
120
Featured
See All Featured
Designing for Performance
lara
604
68k
The Cult of Friendly URLs
andyhume
77
6k
Build The Right Thing And Hit Your Dates
maggiecrowley
31
2.3k
In The Pink: A Labor of Love
frogandcode
139
22k
GitHub's CSS Performance
jonrohan
1030
450k
Building an army of robots
kneath
302
42k
Ruby is Unlike a Banana
tanoku
96
11k
Robots, Beer and Maslow
schacon
PRO
157
8.2k
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
How to train your dragon (web standard)
notwaldorf
87
5.6k
BBQ
matthewcrist
85
9.2k
For a Future-Friendly Web
brad_frost
174
9.3k
Transcript
1 1 モバイルAR技術の最先端 Google Tangoを活⽤して バーチャル案内スタッフを実現してみた GMOインターネット 次世代システム研究室
2 2 1. 背景&モチベーション 2. Google Tango についての紹介 3. 解決すべき課題
4. 課題解決⽅法とTangoの強みの活⽤ 5. まとめ 6. デモ案内 ⽬次
3 3 突然ですが、 空港で国際線の乗り継ぎ時、 道に迷った事がありますか? 背景&モチベーション
4 4 展⽰会、博物館で 旅館で 地下鉄、駅で ショッピングモールで
5 5 ⾔葉の壁 案内スタッフがいて、案内してくれても⾔葉が通じない ⼈⼿不⾜&対応が⼤変 限られた⼈間のスタッフで、すべてのお客さんに対応ができません
6 6 案内スタッフがいなくても モバイルAR技術の最先端 Google Tangoで バーチャル案内スタッフを作れないか?
7 7 Unityちゃん
8 8 バーチャル案内スタッフを実現してみた
9 9 マーカーレスAR/MRプラットフォーム 奥⾏き感知、モーショントラッキング 領域学習 3つのコア技術 屋内ナビゲーション向け トータルソリューション Google Tangoとは
10 10 奥⾏き感知機能 (⾚外線センサーなどを使⽤して物体までの距離/ 奥⾏きを把握することができる機能) Google Tango 3つのコア技術
11 11 Google Tango 3つのコア技術 モーショントラッキング機能 (Tango搭載デバイスを持って移動するとデバイス がその動線を追跡することができる機能)
12 12 Google Tango 3つのコア技術 領域学習機能 (Tango搭載デバイスが空間の重要な特徴を学習し、 その空間領域を認識することができる機能)
13 13 LENOVO PHAB 2 PRO ⾚外線(IR)カメラ IRプロジェクター RGBカメラ LED
奥⾏き感知のため モーション トラッキング センサー
14 14 バーチャル案内スタッフを 実現する際、解決すべき課題
15 15 1. バーチャル案内スタッフを地⾯に⽴たせる (現実と⾼度な融合) 2. バーチャル案内スタッフを動かす 3. バーチャル案内スタッフをしゃべらせる 解決すべき課題
16 16 4.奥⾏きのレンダリング問題 (xyz軸におけるz軸の課題解決) 5. デバイスの動き、位置及び向きを把握し、 バーチャル空間へ反映(同期) 6. 案内先まで空間を学習させ、道案内ができ るようにする
解決すべき課題
17 17 画⾯タッチでバーチャル案内スタッフが現れる バーチャル案内スタッフを地⾯に⽴たせる
18 18 ToF:光の到達時間で距離 を計測する⽅法 •⾚外線(IR)カメラ •IRプロジェクター 奥⾏き感知機能の活⽤ ポイントクラウド (x, y,
z z:奥⾏き情報)
19 19 ポイントクラウド逆投影 最近隣補間法 タッチポジション情報 ① ② ③ 奥⾏き情報を活⽤
20 20 処理前 処理後 奥⾏きのレンダリング問題
21 21 Z2 Z1 • Z-Buffering(深度バッファリング) 2次元配列 奥⾏き(深度)情報の活⽤で問題を解決
22 22 デバイスの動きをバーチャル空間へ反映する
23 23 • ⿂眼カメラと慣性計測ユニット(IMU)からデータ を収集 ⿂眼カメラ 慣性計測ユニット モーショントラッキング(動線追跡)
24 24 • カメラから視覚的特徴を識別し、それに基づき画像フレーム間 の移動距離を計算(領域特徴ベーストラッキング⼿法) • Tangoサービス開始時の画像フ レームをスタートフレームとする モーショントラッキング
25 25 • IMUは、加速度センサー + ジャイロスコープ • デバイスがどれだけ速く加速されるか、どの⽅向に 回転するかをトラッキング モーショントラッキング
26 26 空間を学習させ、道案内する
27 27 「⼈間の空間認識」と「Tangoの領域学習」の仕組みは同じ • カメラから⾒える特徴的な物体(ランドマーク)をいくつか記憶する • ランドマークの位置情報 • ランドマークの特徴(数学的記述で記憶) •
カメラの視野が広ければ広いほどランドマークの特徴を取り込みやすい • 領域記述ファイル(ADF)に保存する • 再び同じ空間に⾏くと保存されたADFを読み込み、ランドマークの特徴を 検索、マッチングし、以前の空間として認識する Tangoの領域学習
28 28 タッチでマーカー を追加 (マーカーの位置 と向き情報 を保存) Tangoの領域学習機能を活⽤
29 29 マーカーの座標に基づ きバーチャルスタッフ を動かす Tangoの領域学習機能を活⽤
30 30 まとめ
31 31 § Tangoの3つのコアテクノロジー(奥⾏き知覚、 モーショントラッキング、領域学習)を活⽤して 、バーチャル道案内スタッフを実現してみた § わかったTangoの特徴: ü 学習速度・空間認識が早い
ü モーショントラッキング及び屋内ナビゲーショ ン精度が⾼い ü GPSがうまくいかない環境(地下や建物)のナ ビゲーションに役に⽴つ まとめ
32 32 § Tangoをサポートするコンシューマー端末はまだ 少ない(Lenovo PhabPro2) § 今後、ASUS ZenFone AR
登場予定 まとめ
33 33 DEMO デモの案内
34 34 § バーチャルスタッフの表⽰と基本動作 § 領域学習とマーカーの追加 § 保存データ(ADF)を利⽤し、道案内 デモの案内
35 35 ご清聴いただき ありがとうございました