現実 VS バーチャルのマルチプレイゲームを作ろう

Slide 1

Slide 1 text

現実 VS バーチャルのマルチプレイゲームを作ろう土鍋 2024/5/11 UNTIL. LT #0x04

Slide 2

Slide 2 text

自己紹介名前: 土鍋学年: 理工情報生命学術院システム情報工学研究群知能機能システム学位P M1 研究室: 画像情報研究室北原格教授大学: 会津大学コンピュータ理工学部 (A-PxL, Zli) その他所属: Iwaken Lab, UT-Virtual 興味: XR(VR,AR,MR), Unity, デジタルツイン, コンピュータビジョン X: @donadonadonabe

Slide 3

Slide 3 text

過去作品卒論「ハンドトラッキングと音声認識と生成AIを用いた直感的な空間テクスチャの生成」 IVRC2022 審査委員会特別賞「自宅でも遭難がしたい！」 https://youtu.be/O2wQF7NvoAk?si=L8AkYxTLaJ OxNgM3

Slide 4

Slide 4 text

過去作品第14回withARハッカソン最優秀賞「Journey Mapping」 https://www.youtube.com/watch?v=z9J7b2srL2Y 技育CAMPハッカソン2024vol.4 最優秀賞「Xpolis」 https://youtu.be/xOAqv1B8KbU

Slide 5

Slide 5 text

その他の作品

Slide 6

Slide 6 text

今回話す話題「Scramble Battle」 https://youtu.be/F_ozFm0uVDM AR vs VRで戦うマルチプレイゲーム現実の部屋の天井がバーチャル世界に繋がり攻めてくる巨人と戦う制作期間は実質二週間くらい

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

技術構成 AR VR 部屋のメッシュ位置・モーション・HP Meta XR All-in-One SDK Meta XR All-in-One SDK Mesh API ワールドは共有ネットワーク

Slide 9

Slide 9 text

天井をバーチャルにする

Slide 10

Slide 10 text

部屋のメッシュデータを取る MetaのSDKに含まれるMesh APIを利用する部屋を歩き回ってスキャンすると、右の図のように部屋の壁や天井を自動で認識してくれる。

Slide 11

Slide 11 text

壁のマテリアルを変更する壁のマテリアルを「InvisibleOccluder」に変更する実際の部屋のパススルーのみを映し、バーチャル側のものは遮蔽されて見えなくなる。厳密に言うと、このマテリアルはRenderQueueが1998なので、デフォルト2000の多くのオブジェクトより先に描画されるようになる

Slide 12

Slide 12 text

天井をバーチャルにする InvisiblePlane PrefabというMeshが無くSceneAnchorのみがある板を天井に設定してあげる(つまり見た目がないけど位置情報を保持する) → バーチャル側を見ることができるように InvisiblePlane PrefabをOVR Scene ManagerのPrefab Overrides にセットします。今回は天井をバーチャル空間にしたいので"CEILING"を指定します。

Slide 13

Slide 13 text

天井をバーチャルにするここまでで、このようにバーチャル側の物体が天井に描画されるようになります。が、バーチャル側の空が見えません。

Slide 14

Slide 14 text

疑似Skyboxを作る巨大なSkyBoxを用意してその中に空のTextureを描画するお借りしたアセット Skybox Kit Rev.01 - 我楽多屋 Wizdom - BOOTH

Slide 15

Slide 15 text

天井がバーチャル世界に繋がった！

Slide 16

Slide 16 text

マルチプレイにする

Slide 17

Slide 17 text

マルチプレイにするマルチプレイはPhoton Fusionというサービスを利用する。今回マルチプレイするにあたって同期が必要な情報 ● 位置情報 ● 手と頭のトラッキングデータ ● HP Fusion公式のマルチプレイVRのサンプルを改造していった https://doc.photonengine.com/ja-jp/fusion/v1/technical-samples/fusion- vr-shared

Slide 18

Slide 18 text

VRとARでプレイヤー設定を切り替える巨人側か人間側か OVR Passthrough Layer(現実世界を見るか) OVR Scene Manager(部屋の認識をするか) ここらへんを切り替えることで、大部分をVR同士のマルチプレイと共通化あとは接続処理とかをこねこねすれば・・・

Slide 19

Slide 19 text

AR vs VR マルチプレイバトルゲームの完成！ ARとVRでほぼ違うモノが見えてるけど、実際の処理的には差がない HPの同期処理とかは普通のFPSと変わらないので割愛現実世界バーチャルな銃バーチャル世界

Slide 20

Slide 20 text

まとめ今回はUnity知ってる人少ないと思うので細かいことは省いて喋った。これでみんなも部屋がバーチャルに繋がっちゃうね☆ 今回話した内容の一部はブログに書いた【Meta Quest3】パススルーの部屋の天井の先にバーチャル空間を表示する【URP対応】 - 土鍋で雑多煮

Slide 21

Slide 21 text

雑談筑波大の開発系コミュニティってあります？会津大のときはあったけど、筑波で見かけないので… (UNTILのDiscord参加したいです) 院から筑波で、知り合い少ないので仲良くしてくれると嬉しいです Twitter(X)→

Slide 22

Slide 22 text

ご清聴ありがとうございました。