Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
S.C.L HandTrackHackチーム 成果発表
Search
BlackCat
September 25, 2021
Technology
0
92
S.C.L HandTrackHackチーム 成果発表
BlackCat
September 25, 2021
Tweet
Share
More Decks by BlackCat
See All by BlackCat
スキャンソンをふり返ってみる話
myaon
0
57
みゃおんがXRを仕事にするまでの軌跡
myaon
0
84
Geospacial APIを使った聖地巡礼AR
myaon
0
150
AR釣りゲーム 活用してみませんか?
myaon
0
91
Azure Static Web Apps を用いたWebAR実装
myaon
0
190
楽器の音階をPCのキーボード入力に置き換えるシステム
myaon
0
84
第二回VR講習
myaon
0
93
ARロボコン展示から見るバーチャル活用
myaon
0
76
支援学校でVR体験会を開いた話
myaon
0
97
Other Decks in Technology
See All in Technology
visionOSでの空間表現実装とImmersive Video表示について / ai-immersive-visionos
cyberagentdevelopers
PRO
1
110
いまさらのStorybook
ikumatadokoro
0
110
生成AIと知識グラフの相互利用に基づく文書解析
koujikozaki
1
140
プロダクトチームへのSystem Risk Records導入・運用事例の紹介/Introduction and Case Studies on Implementing and Operating System Risk Records for Product Teams
taddy_919
1
170
バクラクにおける可観測性向上の取り組み
yuu26
3
420
GitHub Universe: Evaluating RAG apps in GitHub Actions
pamelafox
0
170
マネジメント視点でのre:Invent参加 ~もしCEOがre:Inventに行ったら~
kojiasai
0
470
リンクアンドモチベーション ソフトウェアエンジニア向け紹介資料 / Introduction to Link and Motivation for Software Engineers
lmi
4
290k
[JAWS-UG金沢支部×コンテナ支部合同企画]コンテナとは何か
furuton
3
250
新R25、乃木坂46 Mobileなどのファンビジネスを支えるマルチテナンシーなプラットフォームの全体像 / cam-multi-cloud
cyberagentdevelopers
PRO
1
130
新卒1年目が挑む!生成AI × マルチエージェントで実現する次世代オンボーディング / operation-ai-onboarding
cyberagentdevelopers
PRO
1
160
物価高なラスベガスでの過ごし方
zakky
0
380
Featured
See All Featured
Bash Introduction
62gerente
608
210k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
7.9k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
3
370
Code Review Best Practice
trishagee
64
17k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
What's new in Ruby 2.0
geeforr
342
31k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
43
6.6k
A Modern Web Designer's Workflow
chriscoyier
692
190k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
27
790
Ruby is Unlike a Banana
tanoku
96
11k
Transcript
最終発表 HandTrackHack
実際に作ったもの 説明UI操作⇒IoT操作⇒マニュアルAR操作
エッセンス:便利、出来なかったことが出来る、欲しくな る • 360度どこでもディスプレイ化できる • 魔法のようにスマートホームを動かせる
コンテンツ制作の背景 • MRを活かしたユーティリティ アプリを作りたい • IoT家電を使えばMR空間から 実空間への干渉が行えるのでは? human mapping オーグマー
コンテンツイメージ ARデバイスを普段使いする際の ウィジェットとしての機能 任意のスライドやマニュアルを視界に表 示させ、作業効率の向上や必要な情報 の提示を図る 操作するIoT家電の一覧を視界下に 表示。必要に応じて動作させる。
コンテンツイメージ ARデバイスを普段使いする際の ウィジェットとしての機能 任意のスライドやマニュアルを視界に表 示させ、作業効率の向上や必要な情報 の提示を図る 操作するIoT家電の一覧を視界下に 表示。必要に応じて動作させる。
コンテンツ概要
コンテンツ概要:フロントエンド • 実空間とMR空間の同期 ◦ ArUco Tracking • ハンドトラッキング ◦ ボタン操作
• ハンドジェスチャー認識 ◦ ボタン表示切り替え \お世話になりました/
コンテンツ概要:バックエンド • Webrequest ◦ IFTTT:IoT ◦ OpenWeatherMap ▪ JSONデシリアライズ •
現在地・現在時刻取得 ◦ MLLocation API • MagicLeap Mobile Appとの連動 ◦ URL入力
感想やまとめ
工夫した点・苦労した点など • ArUcoマーカー認識について ◦ 最新バージョンから搭載された機能ということで文献が少なく、調整に苦労を要した • ハンドトラッキングについて ◦ トラッキング精度の問題によりチャタリングが起こったので フラグ管理により対策した
• MobileAppでのURL入力について ◦ 50文字以上の文字列を一気に送信するとパケットロスが起こるので URL短縮サービスを利用し対策した • ハードウェアも用いたARチーム開発 ◦ 自宅をIoT化し全国どこからでもデバッグ出来るようにした
チームでのS.C.L3期生プロジェクトの振り返り ▲原案 ”EyeTrackhack” ▲現在の”HandTrackHack”に ▲”ManualAR” ▲”WeatherUI” コア体験:「360°ディスプレイ化」「魔法のようにIoT家電を操作」
Thank you for Listening!