VR/AR/MRの融合：高実在感コンテンツの未来

2018/08/24 CEDEC 2018

Transcript

1. 1/69
2. 2/69
3. 本講演の目的 VR/AR/MRがそれぞれ異なる文脈で語られている現状に疑問は感じませんで しょうか。 特にエンターテインメントに関わる我々としては三つの"R"の間に立ちはだかる 壁をなんとかして取り除きたいと考えるはずです。 そこで本講演ではハイパフォーマンスなVR機器を利用しつつ、MRと同様な 「実在感あふれる体験」をユーザーに提供する為にはどうすれば良いか、その 開発手法と知見を弊社で制作した体験型コンテンツである『VR四騎士』での事 例を交えながら皆さんと共有して行きます。 特にハイエンドゲームコンテンツのクオリティを支える最先端の技術がどのよ うにユーザー体験を引き上げるかについて詳しく解説します。 3/69
4. 最高のXR体験 4/69
5. 最高のXR体験を提供するにはどうすればよいか？ • リアルだけ頑張ってもダメ – リアル脱出ゲームの系譜 – 現実の身体能力に依存しすぎる – キャストの存在が没入感を妨げる • バーチャルだけ頑張ってもダメ – HMD装着型VRアトラクションの系譜 – HMDを外した時の虚無感が凄い – 体験中の姿を人に見られるのが恥ずかしい ⇒リアルとバーチャルをシームレスに繋ぐ技術が必要 5/69
6. ユーザーは何を求めるのか 日常の中の非日常では無く 永遠に続く非日常ではないのか ⇓ しかし「電脳コイル」の様な未来は暫く来ない ⇓ では何をもって「永遠」とするのか ⇓ ユーザーが「体験」を「反芻」し続ける限り それは永遠と言えるのではないか 6/69
7. 「反芻」する程の「XR体験」に必要な条件 圧倒的な「没入感」 圧倒的な「実在感」 この二つを両立しなければいけない 7/69
8. 「没入感」と「実在感」の両立への挑戦 Cygames Researchでは長期的なミッションとして 「高実在感XR」について研究開発を行っています。 CEDEC2017ではHoloLensを使用したMRコンテンツについて 講演を行いました。 「本当にリアルなMixed Realityコンテンツを実現するための技術開発」 https://speakerdeck.com/cygames/ben-dang-niriarunamixed- realitykontentuwoshi-xian-surutamefalseji-shu-kai-fa 8/69
9. 「没入感」と「実在感」の両立への更なる挑戦 仮説： Cygames Research内に蓄積したXR技術と弊社人気コンテンツ 「グランブルーファンタジー」の世界観を融合することで 圧倒的な「没入感」と圧倒的な「実在感」を兼ね備えた 最高のXR体験をユーザーに提供することが出来るのではないか？ 幾多の困難を乗り越え「VR四騎士」でそれを成し遂げました 9/69
10. VR四騎士の紹介 10/69
11. VR四騎士とは 2017年末に幕張メッセで行われた「グラ ブルフェス」で初公開されたHTC Viveを 使用したユーザー体験型“MR”アトラク ションです 2018年夏には仙台・福岡・大阪で開催し た「サマフェス」にも出展し総来場者数約 5万人を突破しましたが、体験できたのは ごく一部のユーザーだけです 11/69
12. VR四騎士概要 フェス会場内に再現されたお城の一室で「グランブルーファンタジー」の 人気キャラクターである「四騎士」が騎空団団長（ユーザー）を おもてなししてくれます。 12/69
13. VR四騎士概要 • ユーザーは静かな個室で憧れの騎士と二人きりのゆったりとした時間を 過ごすことが出来ます • 各騎士ごとにコンテンツの内容はまったく違い、それぞれの個性を存分 に反映した内容となっています • 四騎士としては初の3D化ですがハイエンドPCの性能を使い切るほどの 高クオリティを実現しています • もちろん音声は担当声優さんによる新規収録の一点ものです 13/69
14. アトラクションの外観 14/69
15. ユーザーに何を体験して貰いたかったのか • ゲーム中にしか存在しないはずの四騎士と「同じ空間にいる」と 信じて貰いたい ⇒「実在感」の追求 • この体験が「永遠に続けば良い」と願って貰いたい ⇒「没入感」の追求 15/69
16. 何故MRなのにHTC Viveなのか Q.MRと言えばHoloLensの様なオプティカルシースルーデバイスが必要 ではないか？ A.現在調達可能なオプティカルシースルーデバイスには許容できない問題 がある • 視野角が狭い • 十分なパフォーマンスを得られない ⇓ 没入感とハイクオリティを担保するにはVR HMD以外選択肢が無い • HTC Viveは多方面での稼働実績が豊富 • 今ならスタンドアロンHMDも候補に入るかもしれない 16/69
17. 何故HTC ViveなのにMRなのか • アウトカメラの映像を使用している訳では無い • ユーザーが見ている映像には周辺環境は一切影響していない ※映像的には完全なVRです ではどこがMRなのか？ ⇒映像では無く「ユーザー体験をMixする」方法を考案しました 17/69
18. 「ユーザー体験をMixする」とは HMDを装着する前後でユーザーに同じ「世界」を提供し続ける ⇓ その為には現実空間と「寸分違わない環境」を VR空間に「高精度に再現」するしかない ⇓ どんな手段を使っても！ 18/69
19. 現実空間とは 今回は以下の様な個室を現実に作成しました • 3.6m四方の閉じた空間である • 生活感はないが家具が何点かある洋風の部屋である • ある程度人が動き回れる導線がある • ただしユーザーは歩き回らない 19/69
20. 現実の部屋の360度画像 20/69
21. でも現実の部屋は常設できない 常に設置しておくスペースが確 保できない！ テスト仮組 ⇓ 本番用仮組 ⇓ 大本番 組みばらしが必要だったので効 率的な作業が求められました 21/69
22. 現実空間を再現するために必要な要素 • 正確なスケーリング ⇒レーザーレンジスキャナによる「空間センシング」を行う • 正確なマテリアル ⇒フォトグラメトリーによる「空間モデリング」を行う 22/69
23. レーザーレンジスキャナによる 「空間センシング」 23/69
24. 部屋のスケーリングをどうやって正確に反映するか 本来なら施工用の図面などからメッシュを起こすだろう ⇓ しかし家具などには図面もなく手元に現物も無い ⇓ 施工時の都合で図面と変わってしまった部分も反映しなければならない ⇓ じゃあ現物のスナップショットを正確に記録するしかない！ 24/69
25. 部屋のスナップショットをどうやって記録するか 工業用のレーザーレンジスキャナを投入しました （精度の高さは別プロジェクトで実証済み） FARO 3Dレーザースキャナー X330 HDR 25/69
26. レーザーレンジスキャナとは • レーザーの反射を利用して遮蔽 物までの距離を正確に測定可能 • 高速に回転するミラーで屈折さ せることにより360度の測定が 可能 • レーザーの密度を調整すれば肉 眼では見逃してしまう凹凸も記 録可能 26/69
27. どんなデータが得られるのか 計測結果は「点群」と呼ばれる3次元座標の集合で表現されます 頑張ればここから直接メッシュ化も可能ですが 今回はスケールと形状が分かれば良いので点群のまま扱いました 27/69
28. レーザーレンジスキャナの注意点 • スキャナを中心とした同心円上にレーザーが飛ぶので必ず死角がでます • 特にスキャナの足元は測定不能なので互いに補うように複数の測定位置 を決めましょう • ガラスや鏡は正確に測定できないのでパネルで塞いでしまいましょう • ユーザーから見えない部分はスキャンしなくても問題ありません • 意外な隙間からレーザーが抜け出す場合があるので点群を綺麗にする作 業は必要です 28/69
29. 29/69
30. 30/69
31. 31/69
32. フォトグラメトリーによる 「空間モデリング」 32/69
33. フォトグラメトリーとは • 対象物をあらゆる方向から写真撮影することにより3次元形状を推測す る技術 • 写真からの復元なのでマテリアルの再現性は完璧 • 頑張れば写真だけでもメッシュの作成は可能 • エンターテインメント業界ではもはや必須 33/69
34. 何故フォトグラメトリーだけではダメだったのか • 全て人力による撮影なので適切な撮影量の目安が分からない • 撮影結果のプレビューが現場で行えない （日程的に再撮影が不可能でした） • レーザーレンジスキャナの性能を把握できていた フォトグラメトリーだけでメッシュ化したものもあります • 食器や書籍などの小物にレーザーレンジスキャナは非効率 34/69
35. どんなデータが得られるのか 結局「点群」になります しかしメッシュ化する際にはフォトクオリティのマテリアルが得られます 35/69
36. レーザーレンジスキャナとフォトグラメトリーの融合 1. レーザーレンジスキャナで測定した「密な点群」を標本とする 2. 「密な点群」に対して撮影した写真を重ね合わせ撮影位置を推測する （ビジュアルオドメトリ） 3. 全ての撮影位置が推測出来たらメッシュ化とUVラップを行う 今回は「RealityCapture」を使用しました 36/69
37. 37/69
38. 38/69
39. 39/69
40. 40/69
41. ちなみに 41/69
42. Cygamesでは社内にフォトグラスタジオがあります！ • 総カメラ数 209台 • 総画素数 50億画素 • 総データサイズ 6GB 42/69
43. フォトグラスタジオありますが 今回は使用出来ませんでした 残念！ 全て手作業で流し撮りしました 43/69
44. フォトグラスタジオを使用しなかった訳 • そもそも部屋丸ごとは大きすぎて入らない 一辺が3.6mもあるので壁をばらしても搬入出来ない • 部屋の内壁をスキャンするような用途には向かない カメラが全て内向きに配置されているので外向きの撮影は出来ない でも人物などを撮影するには最適です！ 44/69
45. せっかくなので撮影してみました 45/69
46. 46/69
47. 47/69
48. 結局現実空間は再現できたのか 48/69
49. どうやって確認するか スキャン時に使用した部屋はばらしてしまった ⇓ 次に組み立てるのは本番前日 ⇓ 現物を見た人の記憶に頼るしかない！ ⇓ つまり本番まで確認をすることは出来なかった 49/69
50. 本番環境での確認はどうだったか 〇 スケールに関しては100%の再現性だった 〇 マテリアルの再現性も問題無かった × ライティングがスキャン時と違う物だった為色味が変わってしまった × いくつかの小物が発注と違っていた でもまあ許容範囲です 50/69
51. 現実空間とVR空間の重ね合わせをどうやったか HMDを被る前後で家具の位置がずれてしまっては全てが台無しです 極限まで詰める必要があります 今回はSteamVRのRoomSetupを繰り返して 人力で合わせました！ ※もちろんおススメはできません※ キーボードで調整できるような仕組みを入れましょう 51/69
52. リアルを裏付ける為の 空間オーディオ 52/69
53. 空間オーディオとは • 3次元座標上に音源を配置し（3Dオーディオ） • 音源とユーザーの間に遮蔽物があると変化させ（オクルージョン） • 音源とユーザーの間で壁による反射も考慮する（リバーブ） 上記の計算をリアルタイムで行う為にはVR空間上のオブジェクトにパラ メータを埋め込んでいく必要があります。 今回は「SteamAudio」を使いました 53/69
54. もっとリアルな音を求めて 登場するキャラクターは全て複雑な鎧を着ている ⇓ ちょっと動いただけでも色んな場所から色んな音がするはず ⇓ それらをリアルに再現できないか ⇓ 音の収録を「フォーリー」で行おう！ 54/69
55. フォーリー収録とは 実際の映像に合わせてその瞬間 の音をワンメイクで作る手法で す 鉄板を擦り合わせたりドアを閉 めたりして本物の音を収録して いきます ハリウッドでは良く使われてい る手法で、最近ではAAAゲー ムでの採用例もあります 55/69
56. 56/69
57. 57/69
58. 58/69
59. 59/69
60. やってみてどうだったのか 最高です！ 今回は音源とユーザーの位置が非常に近いので大きな効果が得られました 60/69
61. ここが最高！ • 部屋の中を歩いている時の足音が机に遮られると変化する！ • 引き出しや食器棚を開ける時の音が生々しい！ • 鎧のビジュアル的情報量にサウンド的情報量が負けてない！ • キャラクターの顔の向きによって声の質感が変化する！ などなどなど 61/69
62. 実際にユーザーに体験して貰って どうだったか 62/69
63. ユーザーの反応を直に確認する事は出来ない ユーザーはHMDを被ることによって目隠しされているのと同じ状態なの でプライバシーには非常に気を遣います 安全対策の為だとしても室内にカメラなどを置くことは出来ません アテンドとしてメイドさんを一人置くのが精一杯でしたがそれでもユー ザーにとってはリラックスできない材料になります 63/69
64. 間接的な反応 • メイドさんによるとほぼ全てのユーザーに喜んで頂けた • ネットのレポートを見ても非常に好評でした • 概ね体験前の期待を上回ることが出来たようです 我々の努力は報われたと自信をもって言えます 64/69
65. 最高のXR体験を提供するためにやったこと • VRコンテンツでもMR的な体験は可能です – 映像だけではなくユーザー体験を高めましょう • 現実空間をVR空間に再現する際は徹底的にやる – 実物があれば必ずスキャンしましょう • 空間サウンドはとても効果的です – 音と映像のシンクロ率が高まればユーザー体験も高まります • アプリケーション開始前後のケアも重要です – HMDを装着する前から世界観は始まっています ⇒すべては最高のユーザー体験のためです 65/69
66. これからのXRについて 66/69
67. デバイスの制約から逃れられるか VRはMirageSoloやViveFocusなどスタンドアロン型HMDが メインになると考えられます ARとMRは技術的融合が進んでモバイルで活用されていくでしょう 先ずはPCレス化が進み、スタンドアロン型HMDが普及するかもしれませ んが、最終的にはスマホの画面こそがXRの入り口になりそうです。 67/69
68. もっとプライベートな空間に展開できないか 大型アトラクションやロケーション型ではなく自分の部屋の中だけで完結 するXRコンテンツが増えても良いのではないでしょうか 「他人とシェアしたくない」「独り占めしたい」と思える体験を求めてい るユーザーも多いはずです ⇓ 「オーダーメイドXR」の需要は今後増えていくはず 68/69
69. ありがとうございました 69/69