Meta XR Core SDKを使ったPseudo-hapticsの実装

Meta XR Core SDKを使ってPseudo-hapticsを簡単に実装します。

Transcript

1. Meta XR Core SDKを使った Pseudo-hapticsの実装 エンジニア飲み集会LT会 2024/04/26 faruco10032
2. 動いてる動画
3. 見かけの手 本物の手
4. 見かけの手 本物の手 なんとなく重い？
5. Pseudo-hapticsとは • 映像（視覚刺激）から触覚を感じる錯覚 • visual haptics、クロスモーダルとも • VR環境でやるとコントローラーの位置ズレ • 見かけの手と本当の手のズレる比率（C/D比）を制御することで強さが制御できる • 特に今回はハンドトラッキング時の位置ズレを実装してPseudo-hapticsを起こさせる Background-based Pseudo-Haptics Demo - YouTube https://www.youtube.com/watch?v=MVJ- TPrRp8w&ab_channel=HapticsandSocialWellbeingNTT Y. Ban and Y. Ujitoko, "Hit-Stop in VR: Combination of Pseudo-haptics and Vibration Enhances Impact Sensation," 2021 IEEE World Haptics Conference (WHC), Montreal, QC, Canada, 2021, pp. 991-996,
6. Pseudo-hapticsとは • 映像（視覚刺激）から触覚を感じる錯覚 • visual haptics、クロスモーダルとも • VR環境でやるとコントローラーの位置ズレ • 見かけの手と本当の手のズレる比率（C/D比）を制御することで強さが制御できる • 特に今回はハンドトラッキング時の位置ズレを実装してPseudo-hapticsを起こさせる xdisplay xcontrol xdisplay xcontrol 思ったより動かない… →重い/硬い？
7. Meta XR Core SDKとは • Metaが提供してるXR開発用のSDK（Unity） • 2023年10月ごろからOculus Integrationは非推奨に • 個別の機能をシーンに取り込んで実装する • Camera Rig、Hand Tracking、Passthroughなど • 今回はMeta XR Core SDKの中身をいじらずにPoke Interactionを使って Pseudo-hapticsを実装する
8. Poke Interaction • バーチャルオブジェクトとバーチャルハンドとの接触、把持などを実装できる機能 • こういった人-オブジェクトのやりとりをInteractionという • 見かけの手（synthetic hand）の位置をオブジェクトとのインタラクションに応じ て制御する • Pokeable Itemをシーンに入れることでPoke Interactorが自動的に導入される • Poke Interactor：最も近いPoke Interactableを探索してInteractableの状態を把握する
9. Poke Interactable • Poke Interactionを実装するオブジェクトにアタッチするコンポーネント Surface Interactor Hover Select
10. Pseudo-hapticsの実装 • surfaceをhandの座標に応じて移動させる • surfaceが行き止まりの指標になっており、surfaceの座標をスクリプトからいじって あげるだけで実装可能 • SDKの中身をいじらずに位置の制御ができる Surface Interactor Hover Select
11. handの座標 • 本物の手：HandindexFingertip • Hand joint：手の関節の取得ができる 見かけの手：任意の手の座標
12. Pseudo-hapticsの実装 Vector3 newPos = first_surface_pos; float move_distance; move_distance = (max_distance - distance) / cd_ratio; if(move_distance>max_distance){ isClick = true; }else{ isClick = false; } move_distance = Mathf.Clamp(move_distance, 0, max_distance); newPos.z += move_distance; // ローカル座標系でsurfaceオブジェクトの位置を更新 surface.transform.localPosition = newPos; max_dist Surface
13. Pseudo-hapticsの実装 C/D ratio ＝ 1 C/D ratio ＝ 5 C/D ratio ＝ 2 • C/D比を変えることで感じられる重さが変わる • 触覚デバイスを使わずに触覚的インタラクションが作れる！ • みんなもPseudo-hapticsやろう！！
14. 参考文献 • ダイレクトタッチ(ポーク)を実現する Poke Interaction の概説 【Oculus Interaction SDK】 - デニッキ！ https://xrdnk.hateblo.jp/entry/interaction_sdk_poke • Poke Interactionの概要が図解付きでわかりやすくまとまっている • 入力データの概要 | Oculus開発者 https://developer.oculus.com/documentation/unity/unity-isdk- input-processing/#synthetic-hand-modifier/ • handのデータ構造などを確認できる • Meta Quest開発 -Interaction SDKの使い方- | ドクセル https://www.docswell.com/s/Ovjang/5DLERK-Quest • p85以降にPoke Interactionの実装手順が細かく書かれている • フレームシンセシス VR開発メモ https://tech.framesynthesis.co.jp/ • い つ も の