Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
S.C.L HandTrackHackチーム 成果発表
Search
BlackCat
September 25, 2021
Technology
0
140
S.C.L HandTrackHackチーム 成果発表
BlackCat
September 25, 2021
Tweet
Share
More Decks by BlackCat
See All by BlackCat
スキャンソンをふり返ってみる話
myaon
0
89
みゃおんがXRを仕事にするまでの軌跡
myaon
0
110
Geospacial APIを使った聖地巡礼AR
myaon
0
200
AR釣りゲーム 活用してみませんか?
myaon
0
110
Azure Static Web Apps を用いたWebAR実装
myaon
0
220
楽器の音階をPCのキーボード入力に置き換えるシステム
myaon
0
120
第二回VR講習
myaon
0
120
ARロボコン展示から見るバーチャル活用
myaon
0
100
支援学校でVR体験会を開いた話
myaon
0
110
Other Decks in Technology
See All in Technology
オブザーバビリティプラットフォーム開発におけるオブザーバビリティとの向き合い / Hatena Engineer Seminar #34 オブザーバビリティの実現と運用編
arthur1
0
350
AWS re:Inforce 2025 re:Cap Update Pickup & AWS Control Tower の運用における考慮ポイント
htan
1
210
Strands Agents & Bedrock AgentCoreを1分でおさらい
minorun365
PRO
6
240
【Λ(らむだ)】最近のアプデ情報 / RPALT20250729
lambda
0
230
LIFF CLIとngrokを使ったLIFF/LINEミニアプリのお手軽実機確認
diggymo
0
230
마라톤 끝의 단거리 스퍼트: 2025년의 AI
inureyes
PRO
1
690
マルチモーダル基盤モデルに基づく動画と音の解析技術
lycorptech_jp
PRO
4
530
alecthomas/kong はいいぞ
fujiwara3
6
1.4k
Vision Language Modelと自動運転AIの最前線_20250730
yuyamaguchi
3
1.2k
AWS DDoS攻撃防御の最前線
ryutakondo
1
130
LLMで構造化出力の成功率をグンと上げる方法
keisuketakiguchi
0
480
S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか/try-to-query-s3-glacier-from-athena
emiki
0
190
Featured
See All Featured
Statistics for Hackers
jakevdp
799
220k
Building Adaptive Systems
keathley
43
2.7k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
How to train your dragon (web standard)
notwaldorf
96
6.2k
Facilitating Awesome Meetings
lara
54
6.5k
Balancing Empowerment & Direction
lara
1
530
Producing Creativity
orderedlist
PRO
346
40k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
A better future with KSS
kneath
238
17k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
1k
Transcript
最終発表 HandTrackHack
実際に作ったもの 説明UI操作⇒IoT操作⇒マニュアルAR操作
エッセンス:便利、出来なかったことが出来る、欲しくな る • 360度どこでもディスプレイ化できる • 魔法のようにスマートホームを動かせる
コンテンツ制作の背景 • MRを活かしたユーティリティ アプリを作りたい • IoT家電を使えばMR空間から 実空間への干渉が行えるのでは? human mapping オーグマー
コンテンツイメージ ARデバイスを普段使いする際の ウィジェットとしての機能 任意のスライドやマニュアルを視界に表 示させ、作業効率の向上や必要な情報 の提示を図る 操作するIoT家電の一覧を視界下に 表示。必要に応じて動作させる。
コンテンツイメージ ARデバイスを普段使いする際の ウィジェットとしての機能 任意のスライドやマニュアルを視界に表 示させ、作業効率の向上や必要な情報 の提示を図る 操作するIoT家電の一覧を視界下に 表示。必要に応じて動作させる。
コンテンツ概要
コンテンツ概要:フロントエンド • 実空間とMR空間の同期 ◦ ArUco Tracking • ハンドトラッキング ◦ ボタン操作
• ハンドジェスチャー認識 ◦ ボタン表示切り替え \お世話になりました/
コンテンツ概要:バックエンド • Webrequest ◦ IFTTT:IoT ◦ OpenWeatherMap ▪ JSONデシリアライズ •
現在地・現在時刻取得 ◦ MLLocation API • MagicLeap Mobile Appとの連動 ◦ URL入力
感想やまとめ
工夫した点・苦労した点など • ArUcoマーカー認識について ◦ 最新バージョンから搭載された機能ということで文献が少なく、調整に苦労を要した • ハンドトラッキングについて ◦ トラッキング精度の問題によりチャタリングが起こったので フラグ管理により対策した
• MobileAppでのURL入力について ◦ 50文字以上の文字列を一気に送信するとパケットロスが起こるので URL短縮サービスを利用し対策した • ハードウェアも用いたARチーム開発 ◦ 自宅をIoT化し全国どこからでもデバッグ出来るようにした
チームでのS.C.L3期生プロジェクトの振り返り ▲原案 ”EyeTrackhack” ▲現在の”HandTrackHack”に ▲”ManualAR” ▲”WeatherUI” コア体験:「360°ディスプレイ化」「魔法のようにIoT家電を操作」
Thank you for Listening!