Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
QuestProで遊ぼう!~カラーパススルー & アイトラッキング~
Search
41 h0 -シホ- (41h0)
July 28, 2023
Programming
0
1.1k
QuestProで遊ぼう!~カラーパススルー & アイトラッキング~
41 h0 -シホ- (41h0)
July 28, 2023
Tweet
Share
More Decks by 41 h0 -シホ- (41h0)
See All by 41 h0 -シホ- (41h0)
MetaQuest3と MetaXRAll-in-One SDKで MRアプリを作ってみた
41h0_shiho
0
690
RYUNOS解説
41h0_shiho
0
1.1k
はじめてのちゃっとじーぴーてぃーげーむせいさく
41h0_shiho
0
1.3k
UEでPLATEAU触ってみた
41h0_shiho
1
1.2k
都市ARの作り方 PLATEAU ✖︎ Geospatial API
41h0_shiho
2
2.9k
Other Decks in Programming
See All in Programming
ある日突然あなたが管理しているサーバーにDDoSが来たらどうなるでしょう?知ってるようで何も知らなかったDDoS攻撃と対策 #phpcon.2024
akase244
2
7.8k
「とりあえず動く」コードはよい、「読みやすい」コードはもっとよい / Code that 'just works' is good, but code that is 'readable' is even better.
mkmk884
6
1.4k
Amazon Nova Reelの可能性
hideg
0
230
毎日13時間もかかるバッチ処理をたった3日で60%短縮するためにやったこと
sho_ssk_
1
560
Оптимизируем производительность блока Казначейство
lamodatech
0
970
Vue.jsでiOSアプリを作る方法
hal_spidernight
0
100
PHPとAPI Platformで作る本格的なWeb APIアプリケーション(入門編) / phpcon 2024 Intro to API Platform
ttskch
0
400
ESLintプラグインを使用してCDKのセオリーを適用する
yamanashi_ren01
2
260
EC2からECSへ 念願のコンテナ移行と巨大レガシーPHPアプリケーションの再構築
sumiyae
3
610
ISUCON14感想戦で85万点まで頑張ってみた
ponyo877
1
750
watsonx.ai Dojo #6 継続的なAIアプリ開発と展開
oniak3ibm
PRO
0
190
php-conference-japan-2024
tasuku43
0
440
Featured
See All Featured
Being A Developer After 40
akosma
89
590k
The Pragmatic Product Professional
lauravandoore
32
6.4k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
580
Rails Girls Zürich Keynote
gr2m
94
13k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Mobile First: as difficult as doing things right
swwweet
222
9k
VelocityConf: Rendering Performance Case Studies
addyosmani
327
24k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.7k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Faster Mobile Websites
deanohume
305
30k
Thoughts on Productivity
jonyablonski
68
4.4k
Practical Orchestrator
shlominoach
186
10k
Transcript
QuestProで遊ぼう! ~カラーパススルー & アイトラッキング~
自己紹介 41h0(シホ) VtuberとXRとゲームとお酒を愛する XRエンジニア UnityやUnrealEngineを使って VR/ARアプリ開発、ゲーム開発、 VRSNSワールド制作などをしています
前回のぷちコンでhakuさんと一緒に VRロッククライミングゲーム → 「RYUNOS」を作りました
目次 1. Meta Quest Proについて 2. UE5によるMetaQuestProをつかったカラーパススルー実装方法 3.
UE5によるMetaQuestProをつかったアイトラッキング実装方法 4. ちょっとした宣伝
Meta Quest Proについて(1/2) Meta社が開発したハイエンドなオールインワンMR/VRヘッドセット パンケーキレンズを活用した薄型フォーム、 MR用の高解像度カメラ、フェイストラッキングとアイトラッキングの機能が実装され、モー ショントラッキングを内蔵した新型コントローラーが付属している。 価格
226,800円 → 159,500円
Meta Quest Proについて(2/2) パススルー アイ トラッキング フェイス トラッキング Quest
Pro 〇 〇 〇 Quest 2 △※2 × × Quest 3※1 〇 × × ※1 発売前のMeta Quest 3については現状公表されている情報を参考 ※2 Meta Quest2は白黒パススルーは可能だがカラーパススルーは不可
UnrealEngine5と QuestProを使って パススルーを実装してみよう! 大きく機能改修がなければQuest3でも同じ方法でいけ るはず...
パススルー実装(1/10) Oculus GitHubリポジトリ からエンジンソースをダウンロードし、 UE5.slnをVisualStudioで開いてビルドする
詳細はこちら https://developer.oculus.com/docu mentation/unreal/unreal-building-u e4-from-source/?locale=ja_JP 2023/7/23時点 最新は5.1ver
パススルー実装(2/10) ビルドしたUEでVRTemplateプロジェクトを新規作成
パススルー実装(3/10) 最初から有効になっているはずだが念のためMeta XR Pluginが有効になっていることを確認
パススルー実装(4/10) プロジェクト設定>レンダリングの設定を変更 ポストプロセスでのアルファチャン ネルのサポートを有効化します(実 験的機能)。 → Allow Through tonemapper
パススルー実装(5/10) プロジェクト設定>プラグイン>MetaXRの設定を変更 Color Space → Quest1 Passthrough Enabled
→ True Support Experimental Features → True
パススルー実装(6/10) VRPawnにOculusXRPassthroughLayerを追加する
パススルー実装(7/10) OculusXRPassthroughLayerComponentの設定を変更 Stereo Layer Shape → Reconstructed Passthrouch Layer
Layer Placement → Underlay Enable Color Map → True ※Color Map TypeはNoneのままでよい
パススルー実装(8/10) マップからパススルー確認に邪魔なアクタを削除 (Skysphereや壁や天井になっているCubeなど)
パススルー実装(9/10) Oculus Linkで動作確認 する場合はOculus Link経由でのパススルーを有効にしておく
パススルー実装(10/10) 実際に 動作させると こんな感じ
UnrealEngine5と QuestProを使って アイトラッキングを実装してみよう!
アイトラッキング実装(1/7) エンジンビルド~VRTemplateプロジェクト作成~プラグイン確認までは一緒 パススルー実装で作ったプロジェクトをそのまま作ってもよい
アイトラッキング実装(2/7) プロジェクト設定>プラグイン>MetaXRの設定を変更 Eye Tracking Enabled → True
アイトラッキング実装(3/7) VRPawnにOculusXREyeTrackingを追加する
アイトラッキング実装(4/7) BPでアイトラッキング権限確認、権限付与を行う EYE TRACKER
アイトラッキング実装(5/7) BPで視線情報取得し、GazeOrizinとGazeDirectionを元にLine Traceを行い衝突判定をする
アイトラッキング実装(6/7) Oculus Linkで動作確認 する場合はOculus Link経由での アイトラッキングを有効にしておく
アイトラッキング実装(7/7) 実際に 動作させると こんな感じ
まとめ QuestProを使うと現実空間で目からビームが撃 てるゲームが作れそう
宣伝 明日ベルサール秋葉原で開催されるバーチャルマーケット2023リアルinアキバに Gorilla Gridのメンバーとして参加します! パラリアルクリエイター エリアA8にいます