『ALTDEUS: Beyond Chronos』で物語に没入できる操作感を実現するマルチプラットフォーム対応の道のり / The path to multi-platform support for immersive storytelling in ALTDEUS: Beyond Chronos

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

©MyDearest, Inc. All Rights Reserved. 自己紹介 3 Unity/VRエンジニア Nakaji Kohki / なかじ略歴: CyberAgent(AbemaTV VR)→メルカリR4D XR→現在 MyDearest株式会社には2020年1月にジョイン →インタラクション全般やCI整備を担当 ● 日本VR学会認定上級VR技術者 ● Podcast『xR.fm』のパーソナリティ ● エンジニア系勉強会のオーガナイザー Twitter: @nkjzm

Slide 4

Slide 4 text

©MyDearest, Inc. All Rights Reserved. エンジニアチームの紹介 4 放浪エンジニア増谷海人 2017年にMyDearestへ入社し、『東京クロノス』『アルトデウス：BC』のプログラマーとして活躍。リードボードゲーマー下嶋健司リードプログラマーのふりをして会社の棚を私物ボドゲで埋めたり、会社でボドゲを普及する活動を日々行っているエンジニア大川大輝『東京クロノス』『アルトデウス：BC』のプログラマーとしてキャラなどのアニメーション制御回りを担当。

Slide 5

Slide 5 text

©MyDearest, Inc. All Rights Reserved. 免責事項① 5 本発表中には下記の製品に関する話題が出てきますが、公知である内容を超えた製品独自の具体的な開発情報については言及しません。 - PlayStation®VR（『PSVR』の呼称を併用する） - PlayStation®Move - DUALSHOCK®4（一般的な呼称である『ゲームパッド』を併用する）画像引用元: https://www.playstation.com

Slide 6

Slide 6 text

©MyDearest, Inc. All Rights Reserved. 免責事項② 6 本発表中はXRKaigi 2021の発表内容を一部追加して再構成した形になります > 『ALTDEUS: Beyond Chronos』におけるマルチプラットフォーム向けコントローラーの対応そのため人によっては共通する内容が含まれているので、ご了承ください！（省略する内容もあるので、興味がある方は後ほどスライドをご覧ください！）

Slide 7

Slide 7 text

©MyDearest, Inc. All Rights Reserved. 背景 7 VRゲーム市場ではマルチプラットフォーム戦略をとる場合が多い ● ターゲットユーザー層の拡大や売り上げアップが目的 ● ゲームエンジンや規格化による共通化は進んでいるが、少なくとも現状ではタイトル毎の対応がほぼ必須 ● プラットフォームによってはコントローラーによる差異も問題に →多くのVRゲーム開発者が対応に苦労している画像引用元: https://www.playstation.com https://www.oculus.com タイトルによって状況や選択肢は様々だが、本セッションでは弊社VRタイトル『ALTDEUS: Beyond Chronos』におけるプラクティスを紹介する

Slide 8

Slide 8 text

Slide 9

Slide 9 text

©MyDearest, Inc. All Rights Reserved. “ALTDEUS: Beyond Chronos”（アルトデウスBC） 9 VRインタラクティブストーリーアクション ● VRインタラクションと物語体験を両立した作品 ● 対応プラットフォーム ○ 2020/12/04: Oculus Quest（Android） ○ 2020/12/04: Oculus Rift（PC） ○ 2021/02/19: SteamVR（PC） ○ 2021/04/15: PlayStation®VR（コンソール） 🏅ファミ通電撃ゲームアワード2020 アドベンチャー部門最優秀賞 🏅Oculusストア内ユーザー評価世界No.1 (Road to VR調べ)

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

©MyDearest, Inc. All Rights Reserved. アルトデウスBCの対応デバイス比較 12 プラットフォーム Oculus Quest Oculus Rift SteamVR PlayStation®VR タイプモバイル PC PC コンソールデバイス 9種類/4カテゴリ [キーワード] ・SDK ・処理スペック・解像度 Oculus Quest Oculus Quest 2 Oculus Rift Oculus Rift S VIVE VIVE Pro Valve Index PlayStation®VR コントローラー 5種類 [キーワード] ・キーコンフィグ・ゲームパッド画像引用元: https://www.playstation.com https://www.oculus.com https://amzn.to/3CVTYaS https://amzn.to/3qgTHvW https://www.gizmodo.jp/2021/08/oculus-quest-2-128gb.html https://www.ask-corp.jp/products/htc/vr-device/vive-pro.html https://www.ark-pc.co.jp/i/34999759/ https://www.gizmodo.jp/2019/12/valve-index.html ※ 厳密にはOculusRift / Oculus Rift Sも動作する

Slide 13

Slide 13 text

Slide 14

Slide 14 text

©MyDearest, Inc. All Rights Reserved. プラットフォームSDKの共通化 (1/2) 14 プラットフォーム毎に固有機能がある ● 頭や手のトラッキング座標 ● コントローラーのボタン入力 ● コントローラーの振動制御 ● ポジションリセット ● アチーブメント解放 → 各プラットフォームのSDKを通じて取得/操作する必要がある → 実装時に各プラットフォームの固有機能を把握するのは大変（作業量が倍増）プラットフォームを意識せず実装できるように共通化を図る例：Oculus IntegrationのOVRCameraRigプレハブ

Slide 15

Slide 15 text

©MyDearest, Inc. All Rights Reserved. プラットフォームSDKの共通化 (2/2) 15 基底クラス：BaseVRPlatform VRPlatformOculus Game Code VRPlatformOpenVR VRPlatformPlaystation Oculus Integration SteamVR Plugin 画像引用元: https://www.playstation.com https://amzn.to/3CVTYaS https://www.ask-corp.jp/products/htc/vr-device/vive-pro.html https://www.ark-pc.co.jp/i/34999759/ https://www.gizmodo.jp/2021/08/oculus-quest-2-128gb.html VRPlatformNone VR機器を接続せずに実行できるデバッグ機能

Slide 16

Slide 16 text

©MyDearest, Inc. All Rights Reserved. BaseVRPlatformの構成について 16 BaseVRPlatform は MonoBehaviour（Unityのオブジェクトクラス）を継承 →派生クラスは各プラットフォームで用意されているプレハブにアタッチ可能 ● 固有機能はプレハブとして提供されることが多いので、シンプルな修正に留められる ● コンポーネントを参照しやすい ● SDKの更新にも対応しやすい OVRCameraRigから派生したVRPlatformOculusプレハブ（Unityのプレハブバリアント機能を使用）

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

©MyDearest, Inc. All Rights Reserved. プラットフォーム Oculus Quest Oculus Rift SteamVR PlayStation®VR デバイス Oculus Quest Oculus Quest 2 Oculus Rift Oculus Rift S VIVE VIVE Pro Valve Index PlayStation®VR コントローラー決定/テキスト送り A / X / トリガートリガー A / トリガー ○ / PS / トリガー ○ / L1 / L2 / R1 / R2 メニューの開閉 B / Y / スタートメニューボタン B △ / □ △ / □ カーソル移動スティックトラックパッドスティック - 方向キーつかむトリガー / グリップトリガー / グリップトリガー / グリップトリガー ○ / L1 / L2 / R1 / R2 アルトデウスBCのキーコンフィグ（一部） 19 画像引用元: https://www.playstation.com https://www.oculus.com https://amzn.to/3qgTHvW https://www.gizmodo.jp/2019/12/valve-index.html

Slide 20

Slide 20 text

©MyDearest, Inc. All Rights Reserved. プラットフォーム Oculus Quest Oculus Rift SteamVR PlayStation®VR デバイス Oculus Quest Oculus Quest 2 Oculus Rift Oculus Rift S VIVE VIVE Pro Valve Index PlayStation®VR コントローラー決定/テキスト送り A / X / トリガートリガー A / トリガー ○ / PS / トリガー ○ / L1 / L2 / R1 / R2 メニューの開閉 B / Y メニューボタン B △ / □ △ / □ カーソル移動スティックトラックパッドスティック - 方向キーつかむトリガー / グリップトリガー / グリップトリガー / グリップトリガー ○ / L1 / L2 / R1 / R2 アルトデウスBCのキーコンフィグ（一部） 20 3種類 1種類 2種類 3種類 5種類画像引用元: https://www.playstation.com https://www.oculus.com https://amzn.to/3qgTHvW https://www.gizmodo.jp/2019/12/valve-index.html アクションとボタンの種類が「一対多」の関係になっている一般的なゲームのキーコンフィグは「一対一」なので、少し特殊 ※コントローラーによっては左右で同じ位置のボタンに対して同様の割り当てを行っているため、種類の数の表記は正確ではない

Slide 21

Slide 21 text

©MyDearest, Inc. All Rights Reserved. 入力モジュールの共通化 (1/3) 21 やりたいこと ● コントローラー毎に「一対多」の対応関係を定義したい ● 同時に、ゲーム機能の実装時にはプラットフォームを意識したくない → 2段階に分けて「コントローラー入力」を「アクション」に変換 1. BaseVRPlatformで共通化：各コントローラー入力→ 共通Buttons定義 2. ゲーム側のキーコンフィグ：共通Buttons定義 → アクションボタンとアクションの対応を柔軟に記述できる

Slide 22

Slide 22 text

©MyDearest, Inc. All Rights Reserved. BaseVRPlatform VRPlatformOculus VRPlatformOpenVR 入力モジュールの共通化 (2/3) 22 MainAction SubAction Menu Buttons Oculus ボタントリガーグリップ A / X B / Y スタートアクションメニューの開閉決定/テキスト送りつかむ（右手）つかむ（左手） Primary Right Left Both Right Left OpenVR ボタントリガーグリップメニュー撃つ（右手） HandType 撃つ（左手）

Slide 23

Slide 23 text

©MyDearest, Inc. All Rights Reserved. BaseVRPlatform VRPlatformOculus VRPlatformOpenVR 入力モジュールの共通化 (3/3) 23 MainAction SubAction Menu Buttons Oculus ボタントリガーグリップ A / X B / Y スタートアクションメニューの開閉決定/テキスト送りつかむ（右手）つかむ（左手） Primary Right Left Both Right Left OpenVR ボタントリガーグリップメニュー撃つ（右手） HandType 撃つ（左手）ゲーム側でも柔軟なキーコンフィグが可能

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

©MyDearest, Inc. All Rights Reserved. アルトデウスBCのパフォーマンス最適化 (2/2) 26 『Oculus Quest 1』をベンチマークにしてパフォーマンスチューニング ● 対応デバイスの中で最も処理スペックが低いため ● 処理負荷の最適化も行ったが、基本的にはグラフィック側がネックだった ● 計測開始時点ではFPSが2程度しか出ないシーンもあったゲーム中のデバッグ機能最低FPS, 現在のFPS, 最高FPS FPSの測定グラフ（右端が最新）

Slide 27

Slide 27 text

©MyDearest, Inc. All Rights Reserved. プラットフォーム別グラフィック切り替え機能 27 処理スペックに余裕があるプラットフォームではグラフィックをリッチにしている → UnityのAddressableを用いてリソースを切り替える仕組みを作成 ● 通常版/リッチ版のリソースを別々のGroupに同名パスで登録 ● ビルド時にプラットフォームに応じて使用するGroupを切り替え (BundledAssetGroupSchemaのIncludeInBuild) ビルド時に自動的にGroup単位で切り替えるので、実装側での対応が不要！

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

©MyDearest, Inc. All Rights Reserved. デバイス別ハンドモーション実装 35 ● 特殊な3デバイス ○ Oculusコントローラー: ボタンやトリガーに接触センサーが入っている ○ Indexコントローラー: センサーで5本の指の位置が取得可能 ■ → SteamVRのスケルトン機能を利用して個別実装 ○ ゲームパッド型：後述画像引用元: https://www.playstation.com https://www.oculus.com https://amzn.to/3CVTYaS https://amzn.to/3qgTHvW https://www.gizmodo.jp/2021/08/oculus-quest-2-128gb.html https://www.ask-corp.jp/products/htc/vr-device/vive-pro.html https://www.ark-pc.co.jp/i/34999759/ https://www.gizmodo.jp/2019/12/valve-index.html

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

©MyDearest, Inc. All Rights Reserved. ゲームパッド対応の背景 38 アルトデウスBCのPSVR版では多くの人に遊んでもらうためハンドコントローラー(Move)に加えゲームパッド(Dualshock®4)にも対応 → PSVRにはハンドコントローラーが同梱されておらず、所持していないユーザーが一定数いるためしかし、アルトデウスBCでは元々手を使ったインタラクション要素を推してる… ゲームパッド版でも手を使ったインタラクションを実現したい！手による没入感はゲームの重要な体験に深く影響する

Slide 39

Slide 39 text

Slide 40

Slide 40 text

©MyDearest, Inc. All Rights Reserved. ゲームパッドで手の感覚を生み出す方法を考える 40 『身体所有感』の考え方からヒントを得る ● あるモノが自分の身体の一部だと感じる感覚のこと ● 自分の身体以外のモノにも生起することが知られている ○ 例：マウスカーソル、ラバーハンド錯覚、VRアバター ● 体性感覚（指を動かす、など）と視覚が連続的に同期していることが条件 ○ 位置や方向に対応関係がある ○ 動きの対応が直観的に理解できる → ゲームパッドでも自分の手の感覚を生み出せるかも？

Slide 41

Slide 41 text

©MyDearest, Inc. All Rights Reserved. 手の感覚を生み出せる操作方法を考える (1/3) 41 手の感覚を生み出すためには、左手と右手それぞれを別々に動かす必要がありそう → 左手用のキーと右手用のキーが必要 →左右対称になっているキーを使って手を動かしてみる画像出典元: Tokyoship, Wikimedia Commons, CC 表示 3.0, https://commons.wikimedia.org/w/index.php?curid=24802891 https://commons.wikimedia.org/w/index.php?curid=24820899 候補①: トリガー候補②: スティック

Slide 42

Slide 42 text

©MyDearest, Inc. All Rights Reserved. 手の感覚を生み出せる操作方法を考える (2/3) 42 ● 取得できる値：ﬂoat[0-1] ○ 通常は0, 押し込み具合に応じて1まで変化 ● 動かし方 ○ 押し込み具合に応じて手を前に移動させる [やってみて感じたこと] ● 「トリガーを引く動き」と「手を前に出す動き」が逆向きで直感に反する ● 前後のみの単調な動きになりやすい候補①: トリガーの検証画像出典元: Tokyoship, Wikimedia Commons, CC 表示 3.0, https://commons.wikimedia.org/w/index.php?curid=24820899

Slide 43

Slide 43 text

©MyDearest, Inc. All Rights Reserved. 手の感覚を生み出せる操作方法を考える (3/3) 43 ● 取得できる値：Vector2（二次元ベクトル） ○ 通常は(0,0)で倒した方向の単位ベクトルを返す ● 動かし方 ○ 倒した方向に手を動かす（奥に倒すと前に移動） [やってみて感じたこと] ● 「スティックを奥に倒す動き」と「手を前に出す動き」が直観的 ● 左右方向にも動かせるので自由に動かしている感覚が強い候補②: スティックの検証画像出典元: Tokyoship, Wikimedia Commons, CC 表示 3.0, https://commons.wikimedia.org/w/index.php?curid=24802891

Slide 44

Slide 44 text

©MyDearest, Inc. All Rights Reserved. 手の感覚を生み出せる操作方法を考える (3/3) 44 ● 取得できる値：Vector2（二次元ベクトル） ○ 通常は(0,0)で倒した方向の単位ベクトルを返す ● 動かし方 ○ 倒した方向に手を動かす（奥に倒すと前に移動） [やってみて感じたこと] ● 「スティックを奥に倒す動き」と「手を前に出す動き」が直観的 ● 左右方向にも動かせるので自由に動かしている感覚が強い候補②: スティックの検証採用画像出典元: Tokyoship, Wikimedia Commons, CC 表示 3.0, https://commons.wikimedia.org/w/index.php?curid=24802891

Slide 45

Slide 45 text

©MyDearest, Inc. All Rights Reserved. 手の感覚を生み出せる座標移動を考える (1/3) 45 ハンドコントローラーでは「現実の手の座標」と「VR空間の手の座標」が同期 →ゲームパッドでは「スティックの小さな動き」で「VR空間の手の座標」を制御移動方法の候補① 画像出典元: Tokyoship, Wikimedia Commons, CC 表示 3.0, https://commons.wikimedia.org/w/index.php?curid=24802891 VR空間の手の座標にどうやって反映させるかが操作感に大きく影響スティックを倒している間だけ手がその方向に移動 while(傾けている）{ 手の座標 += スティックのベクトル } 移動方法の候補② スティックを倒している角度と手の相対座標が常に同期手の座標 = 基準座標 + スティックのベクトル実際はスティックを離したら元に戻る処理もある

Slide 46

Slide 46 text

©MyDearest, Inc. All Rights Reserved. 手の感覚を生み出せる座標移動を考える (2/3) 46 画像出典元: Tokyoship, Wikimedia Commons, CC 表示 3.0, https://commons.wikimedia.org/w/index.php?curid=24802891 [やってみて感じたこと] ● 良かったこと ○ ゆっくり倒すとゆっくり進み、早く倒すと早く進むので、自然な動きになりやすい ● 課題に感じたこと ○ スティックと手の位置が一致しないように感じる（ラジコン操作している感覚）移動方法の候補① スティックを倒している間だけ手がその方向に移動 while(傾けている）{ 手の座標 += スティックのベクトル } 実際はスティックを離したら元に戻る処理もある

Slide 47

Slide 47 text

©MyDearest, Inc. All Rights Reserved. 移動方法の候補② 手の感覚を生み出せる座標移動を考える (3/3) 47 画像出典元: Tokyoship, Wikimedia Commons, CC 表示 3.0, https://commons.wikimedia.org/w/index.php?curid=24802891 [やってみて感じたこと] ● 良かったこと ○ 対応関係が明らかで直感的 ○ 瞬時に手を伸ばすことができる ● 課題に感じたこと ○ 操作がピーキーで手の動きが早すぎる ■ イージングである程度は改善した ■ 操作していると意外とすぐに適応できたスティックを倒している角度と手の相対座標が常に同期手の座標 = 基準座標 + スティックのベクトル

Slide 48

Slide 48 text

©MyDearest, Inc. All Rights Reserved. 移動方法の候補② 手の感覚を生み出せる座標移動を考える (3/3) 48 画像出典元: Tokyoship, Wikimedia Commons, CC 表示 3.0, https://commons.wikimedia.org/w/index.php?curid=24802891 [やってみて感じたこと] ● 良かったこと ○ 対応関係が明らかで直感的 ○ 瞬時に手を伸ばすことができる ● 課題に感じたこと ○ 操作がピーキーで手の動きが早すぎる ■ イージングである程度は改善した ■ 操作していると意外とすぐに適応できたスティックを倒している角度と手の相対座標が常に同期手の座標 = 基準座標 + スティックのベクトル採用

Slide 49

Slide 49 text

©MyDearest, Inc. All Rights Reserved. [検証結果に基づいた実際の動かし方] ● スティックのy座標 (0→1) ○ 初期位置とターゲット位置の間を移動 ○ yの値に応じて位置と角度の補完を行う ● スティックのx座標 (-1↔1) ○ 左右方向の遊び ● この動かし方のメリット ○ 角度の補完ができるので動きが自然になる ○ 状況によってターゲット位置を変更できる汎用的な手の動きを実装する 49 初期位置ターゲット位置

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

©MyDearest, Inc. All Rights Reserved. 本セッションのまとめ [基礎編] 54 1. プラットフォーム毎の対応デバイス比較 ○ デバイス毎やコントローラー毎に色々な差異が存在 2. プラットフォームSDKの共通化 ○ 抽象クラスでプラットフォームを意識せず実装できるように共通化した 3. コントローラーの共通化 ○ アクションとボタンが「一対多」の関係になっていることに注目 ○ 入力の変換を2段階に分け、対応関係を柔軟に記述できるように 4. パフォーマンスの最適化 ○ グラフィック表現の方針を立て、Oculus Quest 1を基準にチューニング

Slide 55

Slide 55 text

©MyDearest, Inc. All Rights Reserved. 本セッションのまとめ [応用編] 55 5. 自然なハンドモーションの実装 ○ ゲームに最適化したキーマッピングを体験しながら追求した 6. PSVR向けのゲームパッド対応 ○ ゲームパッドの対応と手を使った体験を両立させる必要があった ○ 身体所有感が生起する条件から操作方法の仮説検証を行った ○ 汎用的に使うため「ターゲット位置」に補完して移動する仕組みを実装 →ハンドコントローラーと同様の手の感覚を生み出すことができた