Upgrade to Pro — share decks privately, control downloads, hide ads and more …

QuestProで遊ぼう!~カラーパススルー & アイトラッキング~

QuestProで遊ぼう!~カラーパススルー & アイトラッキング~

More Decks by 41 h0 -シホ- (‪41h0‬)

Other Decks in Programming

Transcript

  1. QuestProで遊ぼう!

    ~カラーパススルー & アイトラッキング~

    View full-size slide

  2. 自己紹介

    41h0(シホ)


    VtuberとXRとゲームとお酒を愛する

    XRエンジニア


    UnityやUnrealEngineを使って

    VR/ARアプリ開発、ゲーム開発、

    VRSNSワールド制作などをしています


    前回のぷちコンでhakuさんと一緒に
    VRロッククライミングゲーム     →
    「RYUNOS」を作りました

    View full-size slide

  3. 目次

    1. Meta Quest Proについて


    2. UE5によるMetaQuestProをつかったカラーパススルー実装方法


    3. UE5によるMetaQuestProをつかったアイトラッキング実装方法


    4. ちょっとした宣伝


    View full-size slide

  4. Meta Quest Proについて(1/2)

    Meta社が開発したハイエンドなオールインワンMR/VRヘッドセット


    パンケーキレンズを活用した薄型フォーム、

    MR用の高解像度カメラ、フェイストラッキングとアイトラッキングの機能が実装され、モー
    ショントラッキングを内蔵した新型コントローラーが付属している。


    価格 226,800円 → 159,500円



    View full-size slide

  5. Meta Quest Proについて(2/2)


    パススルー

    アイ

    トラッキング

    フェイス

    トラッキング

    Quest Pro
 〇
 〇
 〇

    Quest 2
 △※2
 ×
 ×

    Quest 3※1
 〇
 ×
 ×

    ※1 発売前のMeta Quest 3については現状公表されている情報を参考


    ※2 Meta Quest2は白黒パススルーは可能だがカラーパススルーは不可

    View full-size slide

  6. UnrealEngine5と

    QuestProを使って

    パススルーを実装してみよう!


    大きく機能改修がなければQuest3でも同じ方法でいけ
    るはず...


    View full-size slide

  7. パススルー実装(1/10)

    Oculus GitHubリポジトリ からエンジンソースをダウンロードし、 

    UE5.slnをVisualStudioで開いてビルドする 





    詳細はこちら
    https://developer.oculus.com/docu
    mentation/unreal/unreal-building-u
    e4-from-source/?locale=ja_JP 



    2023/7/23時点
    最新は5.1ver

    View full-size slide

  8. パススルー実装(2/10)

    ビルドしたUEでVRTemplateプロジェクトを新規作成 


    View full-size slide

  9. パススルー実装(3/10)

    最初から有効になっているはずだが念のためMeta XR Pluginが有効になっていることを確認 


    View full-size slide

  10. パススルー実装(4/10)

    プロジェクト設定>レンダリングの設定を変更

    ポストプロセスでのアルファチャン
    ネルのサポートを有効化します(実
    験的機能)。 

    → Allow Through
    tonemapper


    View full-size slide

  11. パススルー実装(5/10)

    プロジェクト設定>プラグイン>MetaXRの設定を変更 

    Color Space 

    → Quest1

    Passthrough Enabled

    → True 

    Support Experimental Features →
    True 


    View full-size slide

  12. パススルー実装(6/10)

    VRPawnにOculusXRPassthroughLayerを追加する 


    View full-size slide

  13. パススルー実装(7/10)

    OculusXRPassthroughLayerComponentの設定を変更 

    Stereo Layer Shape

    → Reconstructed Passthrouch Layer

    Layer Placement

    → Underlay

    Enable Color Map

    → True 

    ※Color Map TypeはNoneのままでよい


    View full-size slide

  14. パススルー実装(8/10)

    マップからパススルー確認に邪魔なアクタを削除 (Skysphereや壁や天井になっているCubeなど) 


    View full-size slide

  15. パススルー実装(9/10)

    Oculus Linkで動作確認 する場合はOculus Link経由でのパススルーを有効にしておく 


    View full-size slide

  16. パススルー実装(10/10)

    実際に

    動作させると

    こんな感じ


    View full-size slide

  17. UnrealEngine5と

    QuestProを使って

    アイトラッキングを実装してみよう!


    View full-size slide

  18. アイトラッキング実装(1/7)

    エンジンビルド~VRTemplateプロジェクト作成~プラグイン確認までは一緒 

    パススルー実装で作ったプロジェクトをそのまま作ってもよい 


    View full-size slide

  19. アイトラッキング実装(2/7)

    プロジェクト設定>プラグイン>MetaXRの設定を変更 

    Eye Tracking Enabled

    → True 


    View full-size slide

  20. アイトラッキング実装(3/7)

    VRPawnにOculusXREyeTrackingを追加する 


    View full-size slide

  21. アイトラッキング実装(4/7)

    BPでアイトラッキング権限確認、権限付与を行う 

    EYE TRACKER


    View full-size slide

  22. アイトラッキング実装(5/7)

    BPで視線情報取得し、GazeOrizinとGazeDirectionを元にLine Traceを行い衝突判定をする 


    View full-size slide

  23. アイトラッキング実装(6/7)

    Oculus Linkで動作確認 する場合はOculus Link経由での アイトラッキングを有効にしておく


    View full-size slide

  24. アイトラッキング実装(7/7)

    実際に

    動作させると

    こんな感じ


    View full-size slide

  25. まとめ

    QuestProを使うと現実空間で目からビームが撃
    てるゲームが作れそう


    View full-size slide

  26. 宣伝

    明日ベルサール秋葉原で開催されるバーチャルマーケット2023リアルinアキバに 

    Gorilla Gridのメンバーとして参加します! 

    パラリアルクリエイター 

    エリアA8にいます

    View full-size slide