Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
XR Interaction toolkit & XRHands & Passthrough...
Search
donabe
June 01, 2023
Technology
310
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
XR Interaction toolkit & XRHands & Passthrough API で MR 開発
donabe
June 01, 2023
Transcript
27 slides
XR Interaction toolkit & XRHands & Passthrough API で MR
開発 土鍋 2023/06/01 Unity/VR開発 ◯◯はいいぞ選手権
自己紹介 名前: 土鍋 (渡辺雄大) 学年: 会津大学4年 所属: A-PxL元代表、Zli、Iwaken Lab、UT-virtual 興味:
XR、Unity、ゲーム、CG、映像 趣味: ゲーム、アニメ、鉄道旅行、Vtuber Twitter: @donadonadonabe Blog: https://donabenabe.hatenablog.com 近況: 院試の勉強に追われてる。現地行きたかったなあ。 2
今までの作品 3
「自宅でも遭難がしたい!」全国の新聞に載ったよ! 福島、青森、秋田、山形、東京、長野、愛知、岐阜、沖縄 4
今回やること クロスプラットフォームな MRアプリ開発をするための 環境構築の手法の提案 5
目次 2. 自己紹介 6. 目次 7. 今回の構成の解説 12. XR Handsの機能拡張
18. パススルーを使えるようにする 26. まとめ 6
OpenXRとは OpenXRにAppleくんが参画してないのが不穏 7
UnityでOpenXRを使ったクロスプラットフォームMR構成 OpenXR XR Interaction Toolkit XR Hands Meta Quest2 Meta
Quest Pro VIVE XR Elite Passthrough API Pico4 XR基本機能 ハンドトラッキング パススルー パススルー以外はこの構成で開発できる 8
UnityでOpenXRを使ったクロスプラットフォームMR構成 OpenXR XR Interaction Toolkit XR Hands Meta Quest2 Meta
Quest Pro VIVE XR Elite WAVE SDK Passthrough API PICO Unity XR SDK Pico4 その他、HololensなどのMRデバイスなどもやろうと思えば対応できる 各デバイス向け開発用SDKを使わざるをえない→ 9
UnityでOpenXRを使ったクロスプラットフォームMR構成 OpenXR XR Interaction Toolkit XR Hands Meta Quest2 Meta
Quest Pro VIVE XR Elite WAVE SDK Passthrough API PICO Unity XR SDK Pico4 Unityさんお願いします… 10
本題に戻ります 11
XR Hands 今年1月にプレ版公開、3月に正式リリースされたXR Interaction Toolkitの ハンドトラッキング用ライブラリ。 現時点で手のトラッキングとその描画はできる。 ただ現状のXR Handsには手のポーズを簡単に取得するものがない →自作しました
12
とりあえずサンプルを見る 結構いい感じ ただ、拡張性がない。 物を持てていますが、これは Meta(Quest)の独自のものなので クロスプラットフォームではない 13
指の関節データの取得 手のデータにアクセスする XRHandSubsystemを取得 左右どちらの手か 手のどの関節のデータを取るか 14
指の関節のID 15
指の開き具合の取得 やってることは単純 指の根元と先の距離から 指が開いてるか閉じてる か判断する。 16
手のポーズの推定 どの指が開いているかで 手のポーズを推定している 17
パススルーできるようにする PassthroughAPIはOculus Integrationを導入することで使える 18
余談 Oculus IntegrationはXR Interaction toolkitと立ち位置的には同じ なので干渉が起きてビルドがうまくいかなくなりがちっぽい 土鍋は1/3でビルドが通らなくて、1/10くらいでPCが落ちた 開発しててめっちゃ萎えるので、ここらへんうまい解決ないのかな… 19
もろもろ対応(細かい作業なので割愛) カメラにパススルーレイヤーの反映設定 導入時のエラーの解消 描画方式設定変更 AndroidManifestの修正 Questに対してパススルーを使うためのadbコマンド実行 20
21
LT用にコンテンツ作らなきゃな 22
23 !
フォースを使えるようにする 手をオブジェクトにかざすと、 空中に浮かぶようにしたい UniRxで非同期に手のポーズが変わ ると処理するようにした 手と距離を一定に保ちながら浮かぶ 24
完成したもの 1. 手を開いた状態でオブジェクトに 向ける 2. オブジェクト空中浮遊させる 3. 拳を握りしめると手につかむ ※パススルー映像の録画がうまくいか なかったので、HMDのレンズに直接ス
マホをつけて撮影→ 25
まとめ 今回作ったものはパススルーである必要ないので、平面認識や3Dスキャ ンなどと組み合わせることでよりMRアプリらしくなる。 本来想定されていない組み合わせのため、少しでも設定ミスるとビルド に失敗する。 今後、対応が進めばクロスプラットフォームなMRアプリの開発がよりし やすくなると思われますが、現状はデバイスごとの開発のほうが現実的 26
ご清聴ありがとうございました 27
More Decks by donabe
See All by donabe
Unityがマルチプラット フォームビルドできる理由は? よく聞くIL2CPPって? 調べてみました!
donabe3
0
48
ハッカソン請負人の 開発ルーティンを紹介!
donabe3
0
95
AndroidXR 開発ツールごとの できることできないこと
donabe3
0
390
OutOfRange 【プロトスプリントリーグ】
donabe3
0
130
Unityで都市開発シミュレーションゲーム開発をしてみよう
donabe3
0
600
現実 VS バーチャルのマルチプレイゲームを作ろう
donabe3
0
230
Speech to Textureで 思い通りに世界を改変しよう
donabe3
0
49
院試までなにやったか
donabe3
0
57
XRの魅力を語りたい
donabe3
0
79
Other Decks in Technology
See All in Technology
Go初心者のクラウドエンジニアが、デプロイを通して旨味を知っていく話
ryudai
1
230
小さなエージェントから始めてみよう!実践コンテキストエンジニアリング
iwamot
PRO
0
130
並列度を下げたら速くなった — go build の重複コンパイルを実測で見る
tomoaki25
2
1.3k
Quick Automate | 目指せ Quick マスター 12
inariku
PRO
1
120
おうち環境でも「なるべく止めたくない!」 ― おうち環境の機器冗長化の理想と現実
yuutosi
1
490
「任されビリティ」で引き受けて「よしなりてぃ」に頼らず任せる / Accept tasks with "makasarebility" and hand them over without relying on "yoshinarily"
pauli
1
720
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
17
120k
サーバーラックは作る時代! 3Dプリンターで作る10インチラックのススメ
jacopen
1
380
Steering と Hook (チームの決まりを守らせる) | 目指せ Kiro マスター 06
inariku
PRO
2
140
業務の傍らで進める改善ループエンジニアリング
bengo4com
0
120
E2E Test というハーネス — AI時代の自動テスト民主化
daishukojima
8
4.2k
SREのためのFinOps入門
muziyoshiz
3
1.6k
Featured
See All Featured
Become a Pro
speakerdeck
PRO
31
6.4k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
7.1k
Designing Powerful Visuals for Engaging Learning
tmiket
1
660
The Curious Case for Waylosing
cassininazir
1
610
AI Search: Where Are We & What Can We Do About It?
aleyda
0
8.2k
Marketing to machines
jonoalderson
1
6k
The Invisible Side of Design
smashingmag
301
52k
VelocityConf: Rendering Performance Case Studies
addyosmani
331
25k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
141
35k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
659
62k
Testing 201, or: Great Expectations
jmmastey
46
8.4k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3.6k