Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
QuestProで遊ぼう!~カラーパススルー & アイトラッキング~
Search
41 h0 -シホ- (41h0)
July 28, 2023
Programming
0
1.4k
QuestProで遊ぼう!~カラーパススルー & アイトラッキング~
41 h0 -シホ- (41h0)
July 28, 2023
Tweet
Share
More Decks by 41 h0 -シホ- (41h0)
See All by 41 h0 -シホ- (41h0)
Unityでレベルデザイン用AIモデリングツールを作ってみたかった
41h0_shiho
0
99
MetaQuest3と MetaXRAll-in-One SDKで MRアプリを作ってみた
41h0_shiho
0
820
RYUNOS解説
41h0_shiho
0
1.2k
はじめてのちゃっとじーぴーてぃーげーむせいさく
41h0_shiho
0
1.5k
UEでPLATEAU触ってみた
41h0_shiho
1
1.3k
都市ARの作り方 PLATEAU ✖︎ Geospatial API
41h0_shiho
2
3.1k
Other Decks in Programming
See All in Programming
複雑化したリポジトリをなんとかした話 pipenvからuvによるモノレポ構成への移行
satoshi256kbyte
1
760
Catch Up: Go Style Guide Update
andpad
0
170
なぜGoのジェネリクスはこの形なのか? Featherweight Goが明かす設計の核心
ryotaros
7
1k
高度なUI/UXこそHotwireで作ろう Kaigi on Rails 2025
naofumi
4
3.4k
CSC305 Lecture 01
javiergs
PRO
1
400
ソフトウェア設計の実践的な考え方
masuda220
PRO
3
470
Railsだからできる 例外業務に禍根を残さない 設定設計パターン
ei_ei_eiichi
0
220
詳しくない分野でのVibe Codingで困ったことと学び/vibe-coding-in-unfamiliar-area
shibayu36
3
4.4k
iOS 17で追加されたSubscriptionStoreView を利用して5分でサブスク実装チャレンジ
natmark
0
580
GitHub Actions × AWS OIDC連携の仕組みと経緯を理解する
ota1022
0
240
GraphQL×Railsアプリのデータベース負荷分散 - 月間3,000万人利用サービスを無停止で
koxya
1
1.1k
Django Ninja による API 開発効率化とリプレースの実践
kashewnuts
0
920
Featured
See All Featured
Visualization
eitanlees
148
16k
jQuery: Nuts, Bolts and Bling
dougneiner
64
7.9k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
It's Worth the Effort
3n
187
28k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
YesSQL, Process and Tooling at Scale
rocio
173
14k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Being A Developer After 40
akosma
91
590k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Building Better People: How to give real-time feedback that sticks.
wjessup
368
20k
Making Projects Easy
brettharned
119
6.4k
Transcript
QuestProで遊ぼう! ~カラーパススルー & アイトラッキング~
自己紹介 41h0(シホ) VtuberとXRとゲームとお酒を愛する XRエンジニア UnityやUnrealEngineを使って VR/ARアプリ開発、ゲーム開発、 VRSNSワールド制作などをしています
前回のぷちコンでhakuさんと一緒に VRロッククライミングゲーム → 「RYUNOS」を作りました
目次 1. Meta Quest Proについて 2. UE5によるMetaQuestProをつかったカラーパススルー実装方法 3.
UE5によるMetaQuestProをつかったアイトラッキング実装方法 4. ちょっとした宣伝
Meta Quest Proについて(1/2) Meta社が開発したハイエンドなオールインワンMR/VRヘッドセット パンケーキレンズを活用した薄型フォーム、 MR用の高解像度カメラ、フェイストラッキングとアイトラッキングの機能が実装され、モー ショントラッキングを内蔵した新型コントローラーが付属している。 価格
226,800円 → 159,500円
Meta Quest Proについて(2/2) パススルー アイ トラッキング フェイス トラッキング Quest
Pro 〇 〇 〇 Quest 2 △※2 × × Quest 3※1 〇 × × ※1 発売前のMeta Quest 3については現状公表されている情報を参考 ※2 Meta Quest2は白黒パススルーは可能だがカラーパススルーは不可
UnrealEngine5と QuestProを使って パススルーを実装してみよう! 大きく機能改修がなければQuest3でも同じ方法でいけ るはず...
パススルー実装(1/10) Oculus GitHubリポジトリ からエンジンソースをダウンロードし、 UE5.slnをVisualStudioで開いてビルドする
詳細はこちら https://developer.oculus.com/docu mentation/unreal/unreal-building-u e4-from-source/?locale=ja_JP 2023/7/23時点 最新は5.1ver
パススルー実装(2/10) ビルドしたUEでVRTemplateプロジェクトを新規作成
パススルー実装(3/10) 最初から有効になっているはずだが念のためMeta XR Pluginが有効になっていることを確認
パススルー実装(4/10) プロジェクト設定>レンダリングの設定を変更 ポストプロセスでのアルファチャン ネルのサポートを有効化します(実 験的機能)。 → Allow Through tonemapper
パススルー実装(5/10) プロジェクト設定>プラグイン>MetaXRの設定を変更 Color Space → Quest1 Passthrough Enabled
→ True Support Experimental Features → True
パススルー実装(6/10) VRPawnにOculusXRPassthroughLayerを追加する
パススルー実装(7/10) OculusXRPassthroughLayerComponentの設定を変更 Stereo Layer Shape → Reconstructed Passthrouch Layer
Layer Placement → Underlay Enable Color Map → True ※Color Map TypeはNoneのままでよい
パススルー実装(8/10) マップからパススルー確認に邪魔なアクタを削除 (Skysphereや壁や天井になっているCubeなど)
パススルー実装(9/10) Oculus Linkで動作確認 する場合はOculus Link経由でのパススルーを有効にしておく
パススルー実装(10/10) 実際に 動作させると こんな感じ
UnrealEngine5と QuestProを使って アイトラッキングを実装してみよう!
アイトラッキング実装(1/7) エンジンビルド~VRTemplateプロジェクト作成~プラグイン確認までは一緒 パススルー実装で作ったプロジェクトをそのまま作ってもよい
アイトラッキング実装(2/7) プロジェクト設定>プラグイン>MetaXRの設定を変更 Eye Tracking Enabled → True
アイトラッキング実装(3/7) VRPawnにOculusXREyeTrackingを追加する
アイトラッキング実装(4/7) BPでアイトラッキング権限確認、権限付与を行う EYE TRACKER
アイトラッキング実装(5/7) BPで視線情報取得し、GazeOrizinとGazeDirectionを元にLine Traceを行い衝突判定をする
アイトラッキング実装(6/7) Oculus Linkで動作確認 する場合はOculus Link経由での アイトラッキングを有効にしておく
アイトラッキング実装(7/7) 実際に 動作させると こんな感じ
まとめ QuestProを使うと現実空間で目からビームが撃 てるゲームが作れそう
宣伝 明日ベルサール秋葉原で開催されるバーチャルマーケット2023リアルinアキバに Gorilla Gridのメンバーとして参加します! パラリアルクリエイター エリアA8にいます