Tweet
Tweet

Slide 1

Slide 1 text

1/69

Slide 2

Slide 2 text

2/69

Slide 3

Slide 3 text

本講演の目的 VR/AR/MRがそれぞれ異なる文脈で語られている現状に疑問は感じませんで しょうか。 特にエンターテインメントに関わる我々としては三つの"R"の間に立ちはだかる 壁をなんとかして取り除きたいと考えるはずです。 そこで本講演ではハイパフォーマンスなVR機器を利用しつつ、MRと同様な 「実在感あふれる体験」をユーザーに提供する為にはどうすれば良いか、その 開発手法と知見を弊社で制作した体験型コンテンツである『VR四騎士』での事 例を交えながら皆さんと共有して行きます。 特にハイエンドゲームコンテンツのクオリティを支える最先端の技術がどのよ うにユーザー体験を引き上げるかについて詳しく解説します。 3/69

Slide 4

Slide 4 text

最高のXR体験 4/69

Slide 5

Slide 5 text

最高のXR体験を提供するにはどうすればよいか？ • リアルだけ頑張ってもダメ – リアル脱出ゲームの系譜 – 現実の身体能力に依存しすぎる – キャストの存在が没入感を妨げる • バーチャルだけ頑張ってもダメ – HMD装着型VRアトラクションの系譜 – HMDを外した時の虚無感が凄い – 体験中の姿を人に見られるのが恥ずかしい ⇒リアルとバーチャルをシームレスに繋ぐ技術が必要 5/69

Slide 6

Slide 6 text

ユーザーは何を求めるのか 日常の中の非日常では無く 永遠に続く非日常ではないのか ⇓ しかし「電脳コイル」の様な未来は暫く来ない ⇓ では何をもって「永遠」とするのか ⇓ ユーザーが「体験」を「反芻」し続ける限り それは永遠と言えるのではないか 6/69

Slide 7

Slide 7 text

「反芻」する程の「XR体験」に必要な条件 圧倒的な「没入感」 圧倒的な「実在感」 この二つを両立しなければいけない 7/69

Slide 8

Slide 8 text

「没入感」と「実在感」の両立への挑戦 Cygames Researchでは長期的なミッションとして 「高実在感XR」について研究開発を行っています。 CEDEC2017ではHoloLensを使用したMRコンテンツについて 講演を行いました。 「本当にリアルなMixed Realityコンテンツを実現するための技術開発」 https://speakerdeck.com/cygames/ben-dang-niriarunamixed- realitykontentuwoshi-xian-surutamefalseji-shu-kai-fa 8/69

Slide 9

Slide 9 text

「没入感」と「実在感」の両立への更なる挑戦 仮説： Cygames Research内に蓄積したXR技術と弊社人気コンテンツ 「グランブルーファンタジー」の世界観を融合することで 圧倒的な「没入感」と圧倒的な「実在感」を兼ね備えた 最高のXR体験をユーザーに提供することが出来るのではないか？ 幾多の困難を乗り越え「VR四騎士」でそれを成し遂げました 9/69

Slide 10

Slide 10 text

VR四騎士の紹介 10/69

Slide 11

Slide 11 text

VR四騎士とは 2017年末に幕張メッセで行われた「グラ ブルフェス」で初公開されたHTC Viveを 使用したユーザー体験型“MR”アトラク ションです 2018年夏には仙台・福岡・大阪で開催し た「サマフェス」にも出展し総来場者数約 5万人を突破しましたが、体験できたのは ごく一部のユーザーだけです 11/69

Slide 12

Slide 12 text

VR四騎士概要 フェス会場内に再現されたお城の一室で「グランブルーファンタジー」の 人気キャラクターである「四騎士」が騎空団団長（ユーザー）を おもてなししてくれます。 12/69

Slide 13

Slide 13 text

VR四騎士概要 • ユーザーは静かな個室で憧れの騎士と二人きりのゆったりとした時間を 過ごすことが出来ます • 各騎士ごとにコンテンツの内容はまったく違い、それぞれの個性を存分 に反映した内容となっています • 四騎士としては初の3D化ですがハイエンドPCの性能を使い切るほどの 高クオリティを実現しています • もちろん音声は担当声優さんによる新規収録の一点ものです 13/69

Slide 14

Slide 14 text

アトラクションの外観 14/69

Slide 15

Slide 15 text

ユーザーに何を体験して貰いたかったのか • ゲーム中にしか存在しないはずの四騎士と「同じ空間にいる」と 信じて貰いたい ⇒「実在感」の追求 • この体験が「永遠に続けば良い」と願って貰いたい ⇒「没入感」の追求 15/69

Slide 16

Slide 16 text

何故MRなのにHTC Viveなのか Q.MRと言えばHoloLensの様なオプティカルシースルーデバイスが必要 ではないか？ A.現在調達可能なオプティカルシースルーデバイスには許容できない問題 がある • 視野角が狭い • 十分なパフォーマンスを得られない ⇓ 没入感とハイクオリティを担保するにはVR HMD以外選択肢が無い • HTC Viveは多方面での稼働実績が豊富 • 今ならスタンドアロンHMDも候補に入るかもしれない 16/69

Slide 17

Slide 17 text

何故HTC ViveなのにMRなのか • アウトカメラの映像を使用している訳では無い • ユーザーが見ている映像には周辺環境は一切影響していない ※映像的には完全なVRです ではどこがMRなのか？ ⇒映像では無く「ユーザー体験をMixする」方法を考案しました 17/69

Slide 18

Slide 18 text

「ユーザー体験をMixする」とは HMDを装着する前後でユーザーに同じ「世界」を提供し続ける ⇓ その為には現実空間と「寸分違わない環境」を VR空間に「高精度に再現」するしかない ⇓ どんな手段を使っても！ 18/69

Slide 19

Slide 19 text

現実空間とは 今回は以下の様な個室を現実に作成しました • 3.6m四方の閉じた空間である • 生活感はないが家具が何点かある洋風の部屋である • ある程度人が動き回れる導線がある • ただしユーザーは歩き回らない 19/69

Slide 20

Slide 20 text

現実の部屋の360度画像 20/69

Slide 21

Slide 21 text

でも現実の部屋は常設できない 常に設置しておくスペースが確 保できない！ テスト仮組 ⇓ 本番用仮組 ⇓ 大本番 組みばらしが必要だったので効 率的な作業が求められました 21/69

Slide 22

Slide 22 text

現実空間を再現するために必要な要素 • 正確なスケーリング ⇒レーザーレンジスキャナによる「空間センシング」を行う • 正確なマテリアル ⇒フォトグラメトリーによる「空間モデリング」を行う 22/69

Slide 23

Slide 23 text

レーザーレンジスキャナによる 「空間センシング」 23/69

Slide 24

Slide 24 text

部屋のスケーリングをどうやって正確に反映するか 本来なら施工用の図面などからメッシュを起こすだろう ⇓ しかし家具などには図面もなく手元に現物も無い ⇓ 施工時の都合で図面と変わってしまった部分も反映しなければならない ⇓ じゃあ現物のスナップショットを正確に記録するしかない！ 24/69

Slide 25

Slide 25 text

部屋のスナップショットをどうやって記録するか 工業用のレーザーレンジスキャナを投入しました （精度の高さは別プロジェクトで実証済み） FARO 3Dレーザースキャナー X330 HDR 25/69

Slide 26

Slide 26 text

レーザーレンジスキャナとは • レーザーの反射を利用して遮蔽 物までの距離を正確に測定可能 • 高速に回転するミラーで屈折さ せることにより360度の測定が 可能 • レーザーの密度を調整すれば肉 眼では見逃してしまう凹凸も記 録可能 26/69

Slide 27

Slide 27 text

どんなデータが得られるのか 計測結果は「点群」と呼ばれる3次元座標の集合で表現されます 頑張ればここから直接メッシュ化も可能ですが 今回はスケールと形状が分かれば良いので点群のまま扱いました 27/69

Slide 28

Slide 28 text

レーザーレンジスキャナの注意点 • スキャナを中心とした同心円上にレーザーが飛ぶので必ず死角がでます • 特にスキャナの足元は測定不能なので互いに補うように複数の測定位置 を決めましょう • ガラスや鏡は正確に測定できないのでパネルで塞いでしまいましょう • ユーザーから見えない部分はスキャンしなくても問題ありません • 意外な隙間からレーザーが抜け出す場合があるので点群を綺麗にする作 業は必要です 28/69

Slide 29

Slide 29 text

29/69

Slide 30

Slide 30 text

30/69

Slide 31

Slide 31 text

31/69

Slide 32

Slide 32 text

フォトグラメトリーによる 「空間モデリング」 32/69

Slide 33

Slide 33 text

フォトグラメトリーとは • 対象物をあらゆる方向から写真撮影することにより3次元形状を推測す る技術 • 写真からの復元なのでマテリアルの再現性は完璧 • 頑張れば写真だけでもメッシュの作成は可能 • エンターテインメント業界ではもはや必須 33/69

Slide 34

Slide 34 text

何故フォトグラメトリーだけではダメだったのか • 全て人力による撮影なので適切な撮影量の目安が分からない • 撮影結果のプレビューが現場で行えない （日程的に再撮影が不可能でした） • レーザーレンジスキャナの性能を把握できていた フォトグラメトリーだけでメッシュ化したものもあります • 食器や書籍などの小物にレーザーレンジスキャナは非効率 34/69

Slide 35

Slide 35 text

どんなデータが得られるのか 結局「点群」になります しかしメッシュ化する際にはフォトクオリティのマテリアルが得られます 35/69

Slide 36

Slide 36 text

レーザーレンジスキャナとフォトグラメトリーの融合 1. レーザーレンジスキャナで測定した「密な点群」を標本とする 2. 「密な点群」に対して撮影した写真を重ね合わせ撮影位置を推測する （ビジュアルオドメトリ） 3. 全ての撮影位置が推測出来たらメッシュ化とUVラップを行う 今回は「RealityCapture」を使用しました 36/69

Slide 37

Slide 37 text

37/69

Slide 38

Slide 38 text

38/69

Slide 39

Slide 39 text

39/69

Slide 40

Slide 40 text

40/69

Slide 41

Slide 41 text

ちなみに 41/69

Slide 42

Slide 42 text

Cygamesでは社内にフォトグラスタジオがあります！ • 総カメラ数 209台 • 総画素数 50億画素 • 総データサイズ 6GB 42/69

Slide 43

Slide 43 text

フォトグラスタジオありますが 今回は使用出来ませんでした 残念！ 全て手作業で流し撮りしました 43/69

Slide 44

Slide 44 text

フォトグラスタジオを使用しなかった訳 • そもそも部屋丸ごとは大きすぎて入らない 一辺が3.6mもあるので壁をばらしても搬入出来ない • 部屋の内壁をスキャンするような用途には向かない カメラが全て内向きに配置されているので外向きの撮影は出来ない でも人物などを撮影するには最適です！ 44/69

Slide 45

Slide 45 text

せっかくなので撮影してみました 45/69

Slide 46

Slide 46 text

46/69

Slide 47

Slide 47 text

47/69

Slide 48

Slide 48 text

結局現実空間は再現できたのか 48/69

Slide 49

Slide 49 text

どうやって確認するか スキャン時に使用した部屋はばらしてしまった ⇓ 次に組み立てるのは本番前日 ⇓ 現物を見た人の記憶に頼るしかない！ ⇓ つまり本番まで確認をすることは出来なかった 49/69

Slide 50

Slide 50 text

本番環境での確認はどうだったか 〇 スケールに関しては100%の再現性だった 〇 マテリアルの再現性も問題無かった × ライティングがスキャン時と違う物だった為色味が変わってしまった × いくつかの小物が発注と違っていた でもまあ許容範囲です 50/69

Slide 51

Slide 51 text

現実空間とVR空間の重ね合わせをどうやったか HMDを被る前後で家具の位置がずれてしまっては全てが台無しです 極限まで詰める必要があります 今回はSteamVRのRoomSetupを繰り返して 人力で合わせました！ ※もちろんおススメはできません※ キーボードで調整できるような仕組みを入れましょう 51/69

Slide 52

Slide 52 text

リアルを裏付ける為の 空間オーディオ 52/69

Slide 53

Slide 53 text

空間オーディオとは • 3次元座標上に音源を配置し（3Dオーディオ） • 音源とユーザーの間に遮蔽物があると変化させ（オクルージョン） • 音源とユーザーの間で壁による反射も考慮する（リバーブ） 上記の計算をリアルタイムで行う為にはVR空間上のオブジェクトにパラ メータを埋め込んでいく必要があります。 今回は「SteamAudio」を使いました 53/69

Slide 54

Slide 54 text

もっとリアルな音を求めて 登場するキャラクターは全て複雑な鎧を着ている ⇓ ちょっと動いただけでも色んな場所から色んな音がするはず ⇓ それらをリアルに再現できないか ⇓ 音の収録を「フォーリー」で行おう！ 54/69

Slide 55

Slide 55 text

フォーリー収録とは 実際の映像に合わせてその瞬間 の音をワンメイクで作る手法で す 鉄板を擦り合わせたりドアを閉 めたりして本物の音を収録して いきます ハリウッドでは良く使われてい る手法で、最近ではAAAゲー ムでの採用例もあります 55/69

Slide 56

Slide 56 text

56/69

Slide 57

Slide 57 text

57/69

Slide 58

Slide 58 text

58/69

Slide 59

Slide 59 text

59/69

Slide 60

Slide 60 text

やってみてどうだったのか 最高です！ 今回は音源とユーザーの位置が非常に近いので大きな効果が得られました 60/69

Slide 61

Slide 61 text

ここが最高！ • 部屋の中を歩いている時の足音が机に遮られると変化する！ • 引き出しや食器棚を開ける時の音が生々しい！ • 鎧のビジュアル的情報量にサウンド的情報量が負けてない！ • キャラクターの顔の向きによって声の質感が変化する！ などなどなど 61/69

Slide 62

Slide 62 text

実際にユーザーに体験して貰って どうだったか 62/69

Slide 63

Slide 63 text

ユーザーの反応を直に確認する事は出来ない ユーザーはHMDを被ることによって目隠しされているのと同じ状態なの でプライバシーには非常に気を遣います 安全対策の為だとしても室内にカメラなどを置くことは出来ません アテンドとしてメイドさんを一人置くのが精一杯でしたがそれでもユー ザーにとってはリラックスできない材料になります 63/69

Slide 64

Slide 64 text

間接的な反応 • メイドさんによるとほぼ全てのユーザーに喜んで頂けた • ネットのレポートを見ても非常に好評でした • 概ね体験前の期待を上回ることが出来たようです 我々の努力は報われたと自信をもって言えます 64/69

Slide 65

Slide 65 text

最高のXR体験を提供するためにやったこと • VRコンテンツでもMR的な体験は可能です – 映像だけではなくユーザー体験を高めましょう • 現実空間をVR空間に再現する際は徹底的にやる – 実物があれば必ずスキャンしましょう • 空間サウンドはとても効果的です – 音と映像のシンクロ率が高まればユーザー体験も高まります • アプリケーション開始前後のケアも重要です – HMDを装着する前から世界観は始まっています ⇒すべては最高のユーザー体験のためです 65/69

Slide 66

Slide 66 text

これからのXRについて 66/69

Slide 67

Slide 67 text

デバイスの制約から逃れられるか VRはMirageSoloやViveFocusなどスタンドアロン型HMDが メインになると考えられます ARとMRは技術的融合が進んでモバイルで活用されていくでしょう 先ずはPCレス化が進み、スタンドアロン型HMDが普及するかもしれませ んが、最終的にはスマホの画面こそがXRの入り口になりそうです。 67/69

Slide 68

Slide 68 text

もっとプライベートな空間に展開できないか 大型アトラクションやロケーション型ではなく自分の部屋の中だけで完結 するXRコンテンツが増えても良いのではないでしょうか 「他人とシェアしたくない」「独り占めしたい」と思える体験を求めてい るユーザーも多いはずです ⇓ 「オーダーメイドXR」の需要は今後増えていくはず 68/69

Slide 69

Slide 69 text

ありがとうございました 69/69