レイトレ時代のゲームグラフィックス Vol.2 - ハイエンドタイトル制作向けゲーム実行環境とつながる制作環境の取り組み紹介

CEDEC2023の講演資料です。

講演タイトル：レイトレ時代のゲームグラフィックス Vol.2 - ハイエンドタイトル制作向けゲーム実行環境とつながる制作環境の取り組み紹介
講演者：森重　伸也

セッションの内容：
本セッションでは、次世代のハイエンドゲーム制作を見据えて開発しているレイトレベースのゲーム実行環境と制作環境の取り組みを紹介します。

前回の講演、CEDEC 2020年 レイトレ時代のゲームグラフィックスVol. 1 でNVIDIA Falcor を使ったリファレンス環境構築を紹介しました。
今回は、リファレンス環境からゲーム実行環境の構築に進みました。その過程をご紹介します。
簡単な技術デモも予定しています。
具体的には、下記2点について説明します。

1. ゲーム実行環境
NVIDIA Falcor からレイトレベースのゲーム実行環境へ
リアルタイムレイトレの利点と課題
ReSTIR ベースの綺麗な光と影を生み出すリアルタイム大域照明

2. つながる制作環境
USD ベースのつながるゲーム制作環境
NVIDIA Omniverse を活用したグラフィックスデザインとレベルデザインの並行開発

Transcript

1. レイトレ時代のゲームグラフィックス Vol.2 - ハイエンドタイトル制作向けゲーム実行環境とつながる制作環境の取り組み紹介 -
2. 資料は後日CEDiL公開 基本的には 撮影 OK、SNS 投稿OK 左側のアイコンがあるスライドは 撮影 NG SNS 投稿NG
3. 講演者紹介 • 森重 伸也 / SHINYA MORISHIGE • 2019年バンダイナムコスタジオ入社。主にゲームエンジンのリアルタイム ライティング、リアルタイムレイトレーシングを担当。 • 最近はハイエンドグラフィックスデモ制作、グラフィックスでAI 活用の社 内推進に協力。ファミリーベーシックでプログラミングに触れ、パターン 認識を専攻し、60fps 必須な家庭用ゲーム制作等を経て現職。最近パリと南 仏に行き、 Pont du Gard など、現実の古くて新しい美を体験して、ゲーム ではまだやることがあると実感 MORISHIGE 2023 https://cedil.cesa.or.jp/cedil_sessions/view/2509 最近の社外向けアウトプット NVIDIA RTX 5000 Ada GPU プロモーション リアルタイムパストレを使ったTEKKEN 8 画像提供 最近の講演 CEDEC 2021 レイトレ時代のゲームグラフィックス、地に足をつけて備えよう - NVIDIA Falcor で次世代品質のリアルタイム物理ベース照明を手軽に素早く検証する - MORISHIGE 2023
4. • • – – • – – 講演内容
5. 技術デモ1 – The Secret Garden in Tokyo
9. ゲーム実行環境 “M” 高速化版（in-game 環境）
10. ゲーム実行環境 “M” 高速化版（in-game 環境）
11. 技術デモ2 – Morocco
14. これらの技術デモをどのように構築したかを説明します。 １．つながる制作環境 ２．ゲーム実行環境
15. 制作環境 feat. Omniverse コンセプト デザイン ゲーム実行環境 社内 Omniverse ove.bns.jp USD で蓄積 デザイナとアーティストは USD Composer 、エディタ で編集とリファレンス確認 ゲーム実行環境 内製ゲーム実行環境 “M” 商用ゲームエンジンランタイム デザイン制作環境 各種エディタ
16. 開発環境 項目 デスクトップPC ノートPC Omniverse サーバPC CPU Xeon, 8 cores Core-i 9, 14 cores Xeon, 8 cores GPU RTX 3090 RTX 5000 Ada RTX 3080 Ti RTX 5000 Ada RTX A6000 VRAM 24 GB 16 GB 32 GB RAM 32 GB 64 GB 32 GB SSD 1 TB 2 TB 1 TB OS Windows 11 Enterprise 22H1 Windows 11 Enterprise 22H1 Ubuntu 20.04.6 LTS Linux DirectX 12.1 12.1 - DXR 1.1 1.1 -
17. • • • • USD – Universal Scene Description 出典：Developing Northlight: OpenUSD content workflows - Remedy (remedygames.com) 出典：Pixar 社のUSD パイプライン https://indyzone.co.jp/archives/1715
18. • • • • NVIDIA Omniverse 出典：NVIDIA Omniverse™を利用したルミナス・エンジンのリモート開発環境 出典：https://www.nvidia.com/ja-jp/events/siggraph/ リアルタイム ライブの 生成 AI: Text2Material
19. • • • • レイトレ - リアルタイム・レイトレーシング 出典：https://blogs.nvidia.com/blog/2023/03/22/cyberpunk-2077-path-traced-visuals-gdc/
20. • – • – • • • • – • – – 動機 ファラデーケージ https://en.wikipedia.org/wiki/Faraday_cage
21. 今回の制作環境 – 一貫性のある並行開発 社内 Omniverse ove.bns.jp ゲーム実行環境 内製ゲーム実行環境 “M” デザイン制作環境 各種エディタ ・USD でデータの一貫性を確保 ・レイトレで見た目の一貫性を確保しながらリファレンスとゲームのイテレーションを高速に回す
22. 並行開発 - グラフィックスとゲームレベル 従来 グラフィックスデザイン 並行 レベルデザイン グラフィックスデザイン レベルデザイン レベルデザイン グラフィックスデザイン Files Files Files File
23. • • – • – • • デザインとエンジニアリングの因数分解 社内 Omniverse ゲーム実行環境 内製ゲーム実行環境 “M” デザイン制作環境 各種エディタ
24. １. つながるゲーム制作環境
25. USD ベースのワークフロー • • • • • • • 出典：Pixar 社のUSD パイプライン https://indyzone.co.jp/archives/1715
26. • – – – – • • • – – NVIDIA Omniverse 活用
27. デザインの流れ
28. グラフィックスデザイン – 背景 リファレンス 写真 フォトグラメトリ 3Dメッシュ マテリアル インスタンス ライト
29. レベルデザイン ゲームレベル グレイボックス ダミー ギミック Gray-box test コリジョン
30. 並行開発ワークフロー feat. Omniverse 社内 Omniverse ove.bns.jp USD で蓄積 アーティストは USD Composer で 編集とリファレンス 確認 M リファレンス
31. USD Layer で並行開発、非破壊ワークフロー • – –
32. • レイヤーを使った非破壊ワークフロー レベルデザイン作業の時間軸 グラフィックスデザイン作業の時間軸 Game Level .usd Shell_B .usd Shell_A .usd
33. • – – ファイル管理
34. • – まとめ
35. ２. ゲーム実行環境
36. リファレンス環境 = Viewer
37. ゲーム実行環境 • • • •
38. • • – – • – • – – • – コンセプトを決める MORISHIGE 2023 MORISHIGE 2023 MORISHIGE 2023
39. コンセプト – モノコト指向 • MORISHIGE 2023 MORISHIGE 2023 MORISHIGE 2023 MORISHIGE 2023
40. システムの考え方 - メインループ １．たくさんのモノがゲーム物理法則に従い、いろいろなコトが起きる ２．そのモノコトにプレイヤーがインタラクションできて遊びが生まれる ３．その世界に居続けたくなるほどの圧倒的で美しい景観と自然環境 ゲームのメインループは1秒間に60回(120回) 実行している → 映画は24回、最近はそれ以上 モノコトのデータは、メモリ上にある Input Render Update | 0 | 1 | 2 | 3 | 4 | ……… 1,000 …… | 10,000 | …… | 10^6 |… メモリ たくさんのモノの位置や状態について、 CPU とGPU が高速に読み書き出来るデータ構造が必要 メモリは有限なので、データストリーミングが必要 たくさんのコトをうまく調停できる仕組みが必要 風が吹けば桶屋だけでなく、酒屋も儲かる 60回ループ/秒
41. システムの考え方 - たくさんのモノを動かす たくさんのモノの位置や状態について、 CPU とGPU が高速に読み書き出来るデータ構造が必要 例：世界にある100体のモノの位置を更新したい → 位置データがあるメモリを読み取って、必要なら書き換える → メモリの読み書きは、連続した場所にデータがまとまっていると高速にできる 位置を読み取る 描画判定 位置を書き換える | 0 | 1 | 2 | 3 | 4 | ……… 1,000 …… | 10,000 | …… | 10^6 |… メモリ 100回ループ Input Render Update 60回ループ/ 秒 16.66.. ms/ループ 1体の読み書き 0.1 ms 60 x 100 x 0.1 = 600 ms → 間に合わない 1体の読み書き 0.001 ms 60 x 100 x 0.001 = 6 ms → OK, 6 < 16.66.. → 何事も余裕が必要 → なるべく短縮したい
42. たくさんのモノを動かす - データ指向設計 CPU とGPU が高速に読み書き出来るデータ構造が必要 メモリの読み書きは、連続した場所にデータがまとまっていると高速にできる → 位置だけを読み書きしたいのに、他のデータにもアクセスすることになり、無駄が生じている まずは、データ指向設計でメモリ読み書きに適したデータ構造に変えよう ・名前 ・位置 ・速度 ・メッシュ ・マテリアル メモリ（従来） ゲームオブジェクト [0] 名前 位置 速度 メッシュ マテリアル … [1] 名前 位置 速度 メッシュ マテリアル [99] 名前 位置 速度 メッシュ マテリアル [50] 名前 位置 速度 メッシュ マテリアル … メモリ（データ指向） 位置を読み取る 描画判定 位置を書き換える [0] 位置 [1] 位置 … [50] 位置 100回ループ … [99] 位置 [0] メッシュ [1] メッシュ … [50] メッシュ … [99] メッシュ
43. たくさんのコトが起きる – ジョブ指向設計 たくさんのコトをうまく調停できる仕組みが必要 風が吹けば桶屋だけでなく、酒屋も儲かる ジョブ（Job）指向でジョブ同士をつなげて実現する ジョブとは、１つの仕事（処理）を実行する最小単位（Thread : Job = 1 : N) コンピューター上では、同期、非同期で実行できる Input Render Update 60回ループ/秒 Job コントローラ入 力 Job AI 入力 位置の更新 モノ カメラなど 環境の更新 草木、岩 骨の更 新 物理シ ム AI Navi 描画準備 レイトレ メッシュ 描画 ポストプロセ ス、HDR エフェクト 描画 テクスチャ ストリーミン グ 地形や草木 ストリーミン グ
44. 要件 • – – – • – • – – • –
45. • • • • • 設計
46. • • • • ゲーム実行環境 M RHI Renderer World Core Physics Animation Graphics VFX Sound Game AI Module Framework Omniverse Plugin Test World Graph Application
47. • データ構造 - USD と BVH の対応付け 項目 USD ゲーム実行環境 Mesh UsdGeomMesh 1 BLAS Sub Mesh UsdGeomSubset 1 VB, BLAS Instance Instance Point Instancer (Prototype) 1 BLAS Instance Material UsdShade Material / MDL Skeleton UsdSkel Node Graph Physics Collision Physics Rigidbody UsdCollision UsdRigidbody JoltPhysics CollisionShape JoltPhysics Rigidbody
48. • • info:mdl:sourceAsset:subIdentifier で判定 • TraceRay で実装。Inline Ray Tracing はShader Table が使えないので マテリアル、シェーダー 項目 USD ゲーム実行環 境 Material UsdShadeMaterial class Material PreviewSurface UsdShader class Shader OmniSurface aiStandardSurface UsdShader Class OmniSurface OmniPBR UsdShader Class OmniPBR
49. • • • • 実装の進め方 - テスト駆動 やりたいこと・機能の案出し 動作確認・仕様を固めていく テスト実装、機能実装 土台 機能 アプリ
50. • • • • – – – • – 開発環境
51. • • • • • • テスト駆動
52. リアルタイムレイトレの利点と課題
53. • – • • • – • 利点と課題
54. ReSTIR ベースの綺麗な光と影を生み出すリアルタイム大域照明
55. これまでは、 大量の光源を ”一部だけ” リアルタイムに扱えたけど、陰影ができなかった 従来： 面光源の影をレイトレースすることができない 影とAmbient Occlusion について、複数の手法を組み合わせて対処 → アーティストが調整するのがとっても時間がかかる ReSTIR： 最大数百万個のダイナミックなライトをリアルタイムで表示 １つの手法で、ゲーム内のあらゆるオブジェクトが発光し、ダイ ナミックな影とAmbient Occlusion を落とすことができる 出典: https://developer.nvidia.com/rtxdi ReSTIR – Spatiotemporal reservoir resampling 出典: Spatiotemporal reservoir resampling for real-time ray tracing with dynamic direct lighting | ACM Transactions on Graphics
56. ReSTIR GI – Global Illumination 出典：https://benedikt-bitterli.me/resources/ 出典：https://research.nvidia.com/publication/2021-06_restir-gi-path-resampling-real-time-path-tracing OFF (BRDF Sample) ReSTIR GI ON 間接照明に対して良質なライトサンプル生成 一次反射のBRDF で見つかった全ての物体表面をライトサンプルとして生成
57. • • – – – – • 利点と課題 出典：Part 1: Rendering Games With Millions of Ray Traced Lights https://www.youtube.com/watch?v=QWsfohf0Bqk 緑枠で囲んだ低周波の領域 完全に照明されている広い領域 完全に影になっている広い領域 共通ではない、個別の例は、 赤枠で囲んだ高周波の可視性による影
58. • 光源が太陽と空の場合
59. • 光源が太陽と空の場合 OFF ReSTIR GI ON
60. • 光源が太陽と空の場合 Reference ReSTIR GI ON + Denoise
61. • 光源が太陽と空の場合 OFF ReSTIR GI ON
62. • – – デノイザは、シグナル増幅器
63. • • • • 影無しでも効果を得たい 出典：https://developer.nvidia.com/ray-tracing-gems-ii
64. • – ReSTIR の改善 – カスケード化
65. まとめ
66. 1. USD ベースワークフロー／レイトレ実行環境の良い点悪い点 2. わかったこと 3. 今後の課題と取り組み まとめ
67. 良い点 1. USD レイヤーで担当ごとに非破壊の作業ができること 2. デザイナは、Maya、Omniverse のUSD Composer（エディタ）で確認、エンジニアはゲーム実行環 境で再現の並行作業ができること 3. USD はグラフィックスアセットだけでなく、物理、サウンド、AI、ゲームロジックなどいろいろな ものを入れることができる 悪い点 1. 開発中のため、マテリアル対応は検証が必要（e.g., Arnold Standard Surface 互換は今回は自作） 2. USD を取り扱うには、基礎概念の理解が必要で、アーティスト（デザイナ）向けの布教が必須 まとめ – USD ベースワークフローの良い点と悪い点
68. 1. アーティスト（デザイナ）はリアルタイムレイトレでリファレンスとゲームアセットの絵作りに集 中でき、ゲーム実行環境のエンジニアは、青写真も兼ねたUSD アセットをリアルタイムで実現する エンジニアリングの問題に集中でき、関係者同士で具体的な説明ができ、デバッグが容易になり、 制作が円滑に進んだ 2. ゲーム実行環境のレイトレ対応は、VRAM 消費の対応が必須 まとめ – わかったこと
69. 1. USD マテリアルグラフ、アクションなど各種グラフをゲーム実行環境で円滑に動かす 2. ゲーム実行環境の充実 アニメーション、物理、AI、サウンドなど ゲーム実行環境でレイトレをさらに高速化（ReSTIR GI 改善） 3. USD について、社内でのアーティスト、デザイナ向け説明会を開催して、導入を促す まとめ – 今後の取り組み
70. ご清聴ありがとうございました
71. 謝辞
72. 質疑応答