Tweet
Tweet

Slide 1

Slide 1 text

QuestProで遊ぼう！
 ~カラーパススルー & アイトラッキング~ 


Slide 2

Slide 2 text

自己紹介
 41h0(シホ)
 
 VtuberとXRとゲームとお酒を愛する
 XRエンジニア
 
 UnityやUnrealEngineを使って
 VR/ARアプリ開発、ゲーム開発、
 VRSNSワールド制作などをしています
 
 前回のぷちコンでhakuさんと一緒に VRロッククライミングゲーム　　　　 → 「RYUNOS」を作りました

Slide 3

Slide 3 text

目次
 1. Meta Quest Proについて
 
 2. UE5によるMetaQuestProをつかったカラーパススルー実装方法
 
 3. UE5によるMetaQuestProをつかったアイトラッキング実装方法
 
 4. ちょっとした宣伝


Slide 4

Slide 4 text

Meta Quest Proについて(1/2)
 Meta社が開発したハイエンドなオールインワンMR/VRヘッドセット
 
 パンケーキレンズを活用した薄型フォーム、
 MR用の高解像度カメラ、フェイストラッキングとアイトラッキングの機能が実装され、モー ショントラッキングを内蔵した新型コントローラーが付属している。
 
 価格 226,800円　→　159,500円
 
 


Slide 5

Slide 5 text

Meta Quest Proについて(2/2)
 
 パススルー
 アイ
 トラッキング
 フェイス
 トラッキング
 Quest Pro
 〇
 〇
 〇
 Quest 2
 △※2
 ×
 ×
 Quest 3※1
 〇
 ×
 ×
 ※1 発売前のMeta Quest 3については現状公表されている情報を参考 
 
 ※2 Meta Quest2は白黒パススルーは可能だがカラーパススルーは不可 


Slide 6

Slide 6 text

UnrealEngine5と
 QuestProを使って
 パススルーを実装してみよう！
 
 大きく機能改修がなければQuest3でも同じ方法でいけ るはず...


Slide 7

Slide 7 text

パススルー実装(1/10)
 Oculus GitHubリポジトリ からエンジンソースをダウンロードし、 
 UE5.slnをVisualStudioで開いてビルドする 
 
 
 
 
 詳細はこちら https://developer.oculus.com/docu mentation/unreal/unreal-building-u e4-from-source/?locale=ja_JP 
 
 
 2023/7/23時点 最新は5.1ver

Slide 8

Slide 8 text

パススルー実装(2/10)
 ビルドしたUEでVRTemplateプロジェクトを新規作成 


Slide 9

Slide 9 text

パススルー実装(3/10)
 最初から有効になっているはずだが念のためMeta XR Pluginが有効になっていることを確認 


Slide 10

Slide 10 text

パススルー実装(4/10)
 プロジェクト設定>レンダリングの設定を変更
 ポストプロセスでのアルファチャン ネルのサポートを有効化します(実 験的機能)。 
 → Allow Through tonemapper


Slide 11

Slide 11 text

パススルー実装(5/10)
 プロジェクト設定>プラグイン>MetaXRの設定を変更 
 Color Space 
 → Quest1
 Passthrough Enabled
 → True 
 Support Experimental Features → True 


Slide 12

Slide 12 text

パススルー実装(6/10)
 VRPawnにOculusXRPassthroughLayerを追加する 


Slide 13

Slide 13 text

パススルー実装(7/10)
 OculusXRPassthroughLayerComponentの設定を変更 
 Stereo Layer Shape
 → Reconstructed Passthrouch Layer
 Layer Placement
 → Underlay
 Enable Color Map
 → True 
 ※Color Map TypeはNoneのままでよい


Slide 14

Slide 14 text

パススルー実装(8/10)
 マップからパススルー確認に邪魔なアクタを削除 (Skysphereや壁や天井になっているCubeなど) 


Slide 15

Slide 15 text

パススルー実装(9/10)
 Oculus Linkで動作確認 する場合はOculus Link経由でのパススルーを有効にしておく 


Slide 16

Slide 16 text

パススルー実装(10/10)
 実際に
 動作させると
 こんな感じ


Slide 17

Slide 17 text

UnrealEngine5と
 QuestProを使って
 アイトラッキングを実装してみよう！
 


Slide 18

Slide 18 text

アイトラッキング実装(1/7)
 エンジンビルド~VRTemplateプロジェクト作成~プラグイン確認までは一緒 
 パススルー実装で作ったプロジェクトをそのまま作ってもよい 


Slide 19

Slide 19 text

アイトラッキング実装(2/7)
 プロジェクト設定>プラグイン>MetaXRの設定を変更 
 Eye Tracking Enabled
 → True 


Slide 20

Slide 20 text

アイトラッキング実装(3/7)
 VRPawnにOculusXREyeTrackingを追加する 


Slide 21

Slide 21 text

アイトラッキング実装(4/7)
 BPでアイトラッキング権限確認、権限付与を行う 
 EYE TRACKER


Slide 22

Slide 22 text

アイトラッキング実装(5/7)
 BPで視線情報取得し、GazeOrizinとGazeDirectionを元にLine Traceを行い衝突判定をする 


Slide 23

Slide 23 text

アイトラッキング実装(6/7)
 Oculus Linkで動作確認 する場合はOculus Link経由での アイトラッキングを有効にしておく


Slide 24

Slide 24 text

アイトラッキング実装(7/7)
 実際に
 動作させると
 こんな感じ
 


Slide 25

Slide 25 text

まとめ
 QuestProを使うと現実空間で目からビームが撃 てるゲームが作れそう


Slide 26

Slide 26 text

宣伝
 明日ベルサール秋葉原で開催されるバーチャルマーケット2023リアルinアキバに 
 Gorilla Gridのメンバーとして参加します！ 
 パラリアルクリエイター 
 エリアA8にいます