S.C.L HandTrackHackチーム 成果発表

Transcript

1. 最終発表 HandTrackHack
2. 実際に作ったもの 説明UI操作⇒IoT操作⇒マニュアルAR操作
3. エッセンス：便利、出来なかったことが出来る、欲しくな る • 360度どこでもディスプレイ化できる • 魔法のようにスマートホームを動かせる
4. コンテンツ制作の背景 • MRを活かしたユーティリティ アプリを作りたい • IoT家電を使えばMR空間から 実空間への干渉が行えるのでは? human mapping オーグマー
5. コンテンツイメージ ARデバイスを普段使いする際の ウィジェットとしての機能 任意のスライドやマニュアルを視界に表 示させ、作業効率の向上や必要な情報 の提示を図る 操作するIoT家電の一覧を視界下に 表示。必要に応じて動作させる。
6. コンテンツイメージ ARデバイスを普段使いする際の ウィジェットとしての機能 任意のスライドやマニュアルを視界に表 示させ、作業効率の向上や必要な情報 の提示を図る 操作するIoT家電の一覧を視界下に 表示。必要に応じて動作させる。
7. コンテンツ概要
8. コンテンツ概要：フロントエンド • 実空間とMR空間の同期 ◦ ArUco Tracking • ハンドトラッキング ◦ ボタン操作 • ハンドジェスチャー認識 ◦ ボタン表示切り替え ＼お世話になりました／
9. コンテンツ概要：バックエンド • Webrequest ◦ IFTTT：IoT ◦ OpenWeatherMap ▪ JSONデシリアライズ • 現在地・現在時刻取得 ◦ MLLocation API • MagicLeap Mobile Appとの連動 ◦ URL入力
10. 感想やまとめ
11. 工夫した点・苦労した点など • ArUcoマーカー認識について ◦ 最新バージョンから搭載された機能ということで文献が少なく、調整に苦労を要した • ハンドトラッキングについて ◦ トラッキング精度の問題によりチャタリングが起こったので フラグ管理により対策した • MobileAppでのURL入力について ◦ 50文字以上の文字列を一気に送信するとパケットロスが起こるので URL短縮サービスを利用し対策した • ハードウェアも用いたARチーム開発 ◦ 自宅をIoT化し全国どこからでもデバッグ出来るようにした
12. チームでのS.C.L3期生プロジェクトの振り返り ▲原案 ”EyeTrackhack” ▲現在の”HandTrackHack”に ▲”ManualAR” ▲”WeatherUI” コア体験：「360°ディスプレイ化」「魔法のようにIoT家電を操作」 

13. Thank you for Listening！