Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
S.C.L HandTrackHackチーム 成果発表
Search
BlackCat
September 25, 2021
Technology
0
140
S.C.L HandTrackHackチーム 成果発表
BlackCat
September 25, 2021
Tweet
Share
More Decks by BlackCat
See All by BlackCat
スキャンソンをふり返ってみる話
myaon
0
91
みゃおんがXRを仕事にするまでの軌跡
myaon
0
110
Geospacial APIを使った聖地巡礼AR
myaon
0
200
AR釣りゲーム 活用してみませんか?
myaon
0
110
Azure Static Web Apps を用いたWebAR実装
myaon
0
220
楽器の音階をPCのキーボード入力に置き換えるシステム
myaon
0
120
第二回VR講習
myaon
0
120
ARロボコン展示から見るバーチャル活用
myaon
0
110
支援学校でVR体験会を開いた話
myaon
0
120
Other Decks in Technology
See All in Technology
イオン店舗一覧ページのパフォーマンスチューニング事例 / Performance tuning example for AEON store list page
aeonpeople
2
290
Evolution on AI Agent and Beyond - AGI への道のりと、シンギュラリティの3つのシナリオ
masayamoriofficial
0
180
[CV勉強会@関東 CVPR2025 読み会] MegaSaM: Accurate, Fast, and Robust Structure and Motion from Casual Dynamic Videos (Li+, CVPR2025)
abemii
0
190
AIとTDDによるNext.js「隙間ツール」開発の実践
makotot
6
690
我々は雰囲気で仕事をしている / How can we do vibe coding as well
naospon
2
220
あなたの知らない OneDrive
murachiakira
0
240
GitHub Copilot coding agent を推したい / AIDD Nagoya #1
tnir
3
4.6k
コスト削減の基本の「キ」~ コスト消費3大リソースへの対策 ~
smt7174
2
130
VPC Latticeのサービスエンドポイント機能を使用した複数VPCアクセス
duelist2020jp
0
240
Yahoo!ニュースにおけるソフトウェア開発
lycorptech_jp
PRO
0
360
小さなチーム 大きな仕事 - 個人開発でAIをフル活用する
himaratsu
0
120
LLMエージェント時代に適応した開発フロー
hiragram
1
410
Featured
See All Featured
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
4 Signs Your Business is Dying
shpigford
184
22k
It's Worth the Effort
3n
187
28k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
The Pragmatic Product Professional
lauravandoore
36
6.8k
Imperfection Machines: The Place of Print at Facebook
scottboms
268
13k
Automating Front-end Workflow
addyosmani
1370
200k
Scaling GitHub
holman
462
140k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Transcript
最終発表 HandTrackHack
実際に作ったもの 説明UI操作⇒IoT操作⇒マニュアルAR操作
エッセンス:便利、出来なかったことが出来る、欲しくな る • 360度どこでもディスプレイ化できる • 魔法のようにスマートホームを動かせる
コンテンツ制作の背景 • MRを活かしたユーティリティ アプリを作りたい • IoT家電を使えばMR空間から 実空間への干渉が行えるのでは? human mapping オーグマー
コンテンツイメージ ARデバイスを普段使いする際の ウィジェットとしての機能 任意のスライドやマニュアルを視界に表 示させ、作業効率の向上や必要な情報 の提示を図る 操作するIoT家電の一覧を視界下に 表示。必要に応じて動作させる。
コンテンツイメージ ARデバイスを普段使いする際の ウィジェットとしての機能 任意のスライドやマニュアルを視界に表 示させ、作業効率の向上や必要な情報 の提示を図る 操作するIoT家電の一覧を視界下に 表示。必要に応じて動作させる。
コンテンツ概要
コンテンツ概要:フロントエンド • 実空間とMR空間の同期 ◦ ArUco Tracking • ハンドトラッキング ◦ ボタン操作
• ハンドジェスチャー認識 ◦ ボタン表示切り替え \お世話になりました/
コンテンツ概要:バックエンド • Webrequest ◦ IFTTT:IoT ◦ OpenWeatherMap ▪ JSONデシリアライズ •
現在地・現在時刻取得 ◦ MLLocation API • MagicLeap Mobile Appとの連動 ◦ URL入力
感想やまとめ
工夫した点・苦労した点など • ArUcoマーカー認識について ◦ 最新バージョンから搭載された機能ということで文献が少なく、調整に苦労を要した • ハンドトラッキングについて ◦ トラッキング精度の問題によりチャタリングが起こったので フラグ管理により対策した
• MobileAppでのURL入力について ◦ 50文字以上の文字列を一気に送信するとパケットロスが起こるので URL短縮サービスを利用し対策した • ハードウェアも用いたARチーム開発 ◦ 自宅をIoT化し全国どこからでもデバッグ出来るようにした
チームでのS.C.L3期生プロジェクトの振り返り ▲原案 ”EyeTrackhack” ▲現在の”HandTrackHack”に ▲”ManualAR” ▲”WeatherUI” コア体験:「360°ディスプレイ化」「魔法のようにIoT家電を操作」
Thank you for Listening!