XR Interaction toolkit & XRHands & Passthrough API で MR 開発

XR Interaction toolkit & XRHands & Passthrough API で MR
開発土鍋 2023/06/01 Unity/VR開発 ◯◯はいいぞ選手権

自己紹介名前: 土鍋 (渡辺雄大) 学年: 会津大学4年所属: A-PxL元代表、Zli、Iwaken Lab、UT-virtual 興味:
XR、Unity、ゲーム、CG、映像趣味: ゲーム、アニメ、鉄道旅行、Vtuber Twitter: @donadonadonabe Blog: https://donabenabe.hatenablog.com 近況: 院試の勉強に追われてる。現地行きたかったなあ。 2

今までの作品 3

「自宅でも遭難がしたい！」全国の新聞に載ったよ！福島、青森、秋田、山形、東京、長野、愛知、岐阜、沖縄 4

今回やることクロスプラットフォームな MRアプリ開発をするための環境構築の手法の提案 5

目次 2. 自己紹介 6. 目次 7. 今回の構成の解説 12. XR Handsの機能拡張
18. パススルーを使えるようにする 26. まとめ 6

OpenXRとは OpenXRにAppleくんが参画してないのが不穏 7

UnityでOpenXRを使ったクロスプラットフォームMR構成 OpenXR XR Interaction Toolkit XR Hands Meta Quest2 Meta
Quest Pro VIVE XR Elite Passthrough API Pico4 XR基本機能ハンドトラッキングパススルーパススルー以外はこの構成で開発できる 8

Quest Pro VIVE XR Elite WAVE SDK Passthrough API PICO Unity XR SDK Pico4 その他、HololensなどのMRデバイスなどもやろうと思えば対応できる各デバイス向け開発用SDKを使わざるをえない→ 9

Quest Pro VIVE XR Elite WAVE SDK Passthrough API PICO Unity XR SDK Pico4 Unityさんお願いします… 10

本題に戻ります 11

XR Hands 今年1月にプレ版公開、3月に正式リリースされたXR Interaction Toolkitのハンドトラッキング用ライブラリ。現時点で手のトラッキングとその描画はできる。ただ現状のXR Handsには手のポーズを簡単に取得するものがない →自作しました
12

とりあえずサンプルを見る結構いい感じただ、拡張性がない。物を持てていますが、これは Meta(Quest)の独自のものなのでクロスプラットフォームではない 13

指の関節データの取得手のデータにアクセスする XRHandSubsystemを取得左右どちらの手か手のどの関節のデータを取るか 14

指の関節のID 15

指の開き具合の取得やってることは単純指の根元と先の距離から指が開いてるか閉じてるか判断する。 16

手のポーズの推定どの指が開いているかで手のポーズを推定している 17

パススルーできるようにする PassthroughAPIはOculus Integrationを導入することで使える 18

余談 Oculus IntegrationはXR Interaction toolkitと立ち位置的には同じなので干渉が起きてビルドがうまくいかなくなりがちっぽい土鍋は1/3でビルドが通らなくて、1/10くらいでPCが落ちた開発しててめっちゃ萎えるので、ここらへんうまい解決ないのかな… 19

もろもろ対応(細かい作業なので割愛) カメラにパススルーレイヤーの反映設定導入時のエラーの解消描画方式設定変更 AndroidManifestの修正 Questに対してパススルーを使うためのadbコマンド実行 20

LT用にコンテンツ作らなきゃな 22

23 ！

フォースを使えるようにする手をオブジェクトにかざすと、空中に浮かぶようにしたい UniRxで非同期に手のポーズが変わると処理するようにした手と距離を一定に保ちながら浮かぶ 24

完成したもの 1. 手を開いた状態でオブジェクトに向ける 2. オブジェクト空中浮遊させる 3. 拳を握りしめると手につかむ ※パススルー映像の録画がうまくいかなかったので、HMDのレンズに直接ス
マホをつけて撮影→ 25

まとめ今回作ったものはパススルーである必要ないので、平面認識や3Dスキャンなどと組み合わせることでよりMRアプリらしくなる。本来想定されていない組み合わせのため、少しでも設定ミスるとビルドに失敗する。今後、対応が進めばクロスプラットフォームなMRアプリの開発がよりしやすくなると思われますが、現状はデバイスごとの開発のほうが現実的 26

ご清聴ありがとうございました 27

XR Interaction toolkit & XRHands & Passthrough...

XR Interaction toolkit & XRHands & Passthrough API で MR 開発

donabe

More Decks by donabe

Other Decks in Technology

Featured

Transcript