『GRANBLUE FANTASY: Relink』続・最高の「没入感」を実現するカットシーン制作手法とそれを支える技術

Slide 1

Slide 1 text

1/89 『GRANBLUE FANTASY: Relink』株式会社Cygames コンシューマーシニアエンジニア / 中村大吾最高の「没入感」を実現するカットシーン制作手法とそれを支える技術

Slide 2

Slide 2 text

2/89 はじめに本講演は写真撮影およびSNS投稿可能です

Slide 3

Slide 3 text

3/89 2020年にCygamesへ合流アニメーションパート、サウンドパートのエンジニア統括を担当しながらシネマティクスの全体統括を兼任カットシーンツールの設計から全体進行まで幅広く携わる自己紹介コンシューマー / シニアエンジニア中村大吾

Slide 4

Slide 4 text

4/89 用語についてカットシーン会話シーンシネマティクスプレイアブルユーザーが操作できるユーザーが操作できないゲームの操作シーン

Slide 5

Slide 5 text

5/89  シネマティクスが抱える問題  シネマティクスを支える大切なこと  没入感を実現した3つの技術  映像美を支えたワークフロー  映像美を産み出す絵作りアジェンダ

Slide 6

Slide 6 text

6/89 シネマティクスが抱える問題

Slide 7

Slide 7 text

7/89 ユーザーが映像を見るだけにシネマティクスが抱える問題操作ができないユーザー今はゲームで遊びたいからここはスキップするぜストーリーを伝える事を重視してしまうあまり長い演出になりがち

Slide 8

Slide 8 text

8/89 • ストーリーを盛り上げる要素 • バトルへのモチベーションを最大限に引き上げる演出シネマティクスが抱える問題なぜスキップしてしまうのか課題かみ合わないと一切見られない可能性も  シネマティクスは… だが…

Slide 9

Slide 9 text

9/89 シネマティクスを支える大切なこと

Slide 10

Slide 10 text

10/89 シネマティクスを支える大切なことテーマ没入感映像美

Slide 11

Slide 11 text

11/89 シネマティクスを支える大切なこと没入感を損なう要素とは課題 • 急な映像への切り替え • 遊んでいるキャラクターの振る舞いが急に別人のようになるプレイアブルとシネマティクスが乖離 • フェードアウトによる暗転区切り感が出てしまう

Slide 12

Slide 12 text

12/89 • イテレーションを回すスピード • ツールの利便性 • 作業の効率化 • 盛り込まれた要素を表現しきれるパフォーマンスシネマティクスを支える大切なこと映像美を生み出す項目課題映像のすごさはアーティストがどれだけこだわれる時間を作り出すか

Slide 13

Slide 13 text

13/89 没入感を実現した3つの技術

Slide 14

Slide 14 text

14/89 没入感を実現した3つの技術 ① リアルタイムレンダリング ② セカンダリフィードバック ③ シームレス遷移

Slide 15

Slide 15 text

15/89 ①リアルタイムレンダリング

Slide 16

Slide 16 text

16/89 リアルタイムレンダリング本作では全てのシネマティクスをリアルタイムレンダリングで実現動画との違いは？疑問動画よりもシネマティクスの没入感◎ 実は…

Slide 17

Slide 17 text

17/89 リアルタイムレンダリング高フレームレート対応高解像度への対応武器の反映プレイアブル中は120fps、シネマティクスでも同一のフレームレートを利用で違和感が少ないプレイアブル中と全く変わらない解像度◎ （※動画では非常に難しい）本作では様々な武器を装備し、見た目が変わるプレイアブル中の武器がそのままカットシーンで利用可能に

Slide 18

Slide 18 text

18/89 リアルタイムレンダリングいくつかプレイアブル中には可能だったパフォーマンス用の施策は行わない形で取り組むことに実現にあたっての前提条件課題シネマティクス中では映像に特化して表現する必要

Slide 19

Slide 19 text

19/89 リアルタイムレンダリング制限 Dynamic Resolution 高低高

Slide 20

Slide 20 text

20/89 リアルタイムレンダリング制限 Model / Texture Streaming 高低中

Slide 21

Slide 21 text

21/89 リアルタイムレンダリング Dynamic Resolutionによる解像度の低下は行わないポッピング(LOD、Texture Streaming)が目視できないようにシネマティクス中の制限として

Slide 22

Slide 22 text

22/89 リアルタイムレンダリングその上で実現した方法について解説オクルージョンカリングの最大限活用 LODの事前リクエスト可変フレーム対応最適化のチェック体制

Slide 23

Slide 23 text

23/89 リアルタイムレンダリング • シネマティクスはカメラが固定化されている • 最適化のポイント：無駄な表示を省く特にパフォーマンスを出すことが困難な場所で多用している方法として… オクルージョンカリング方法① シネマティクス専用オクルーダーの配置

Slide 24

Slide 24 text

24/89 リアルタイムレンダリングオクルーダーの配置例方法① 黄色い部分にカットシーン専用で配置場面に応じて個別に対応

Slide 25

Slide 25 text

25/89 リアルタイムレンダリング before after リアルタイムレンダリングを実現するうえでは必須の対応オクルーダーの配置例方法①

Slide 26

Slide 26 text

26/89 リアルタイムレンダリングポッピングへの対応方法② • カメラが一瞬で切り替わるためポッピングへの対応は不可避 • LODの変化やTexture Streamは、表示次第ロードが始まり高いLODを表示するため切り替わった瞬間が見えてしまう先行リクエストオフラインでリクエストリストを作成タイムラインを全て検索

Slide 27

Slide 27 text

27/89 リアルタイムレンダリング • オフラインで表示リストを作成 • 登場する2秒前にモデルのロードをリクエスト • どうしても間に合わない場合は個別調整 LODモデル、Textureリクエスト方法② 2秒前にリクエスト

Slide 28

Slide 28 text

28/89 リアルタイムレンダリング本作ではPS4とPS5、Steamと異なるプラットフォームへ対応それぞれパフォーマンスは違うためリアルタイムレンダリングをする上で可変フレームへの対応も必須可変フレームへの対応方法③ 同じ尺のカットシーンとサウンド常に音と映像の同期

Slide 29

Slide 29 text

29/89 リアルタイムレンダリングサウンドとの同期方法③ カットシーン同期同期同期同期同期サウンド

Slide 30

Slide 30 text

30/89 リアルタイムレンダリング最後にご紹介するのは、シネマティクスのパフォーマンス計測環境ですリアルタイムレンダリングを実現するには最適化は必須の項目であり計測環境を充実化させるのは非常に重要であると言えますパフォーマンスチェック体制方法④

Slide 31

Slide 31 text

31/89 リアルタイム計測例リアルタイムレンダリング • 各シーンの計測一覧 • 最適化すべき場所を把握 • どのセクションと相談の必要があるかを可視化

Slide 32

Slide 32 text

32/89 VFX 背景その他ライトポストエフェクトその他背景ケースによってネックになっている場所は千差万別効果の薄い最適化は避ける必要があるリアルタイムレンダリングボトルネックを明確化方法④ 差を可視化することで問題を的確に調査最適化ボトルネック要因の違い

Slide 33

Slide 33 text

33/89 リアルタイムレンダリング 毎日オートプレイを走らせ、全てのシーンでパフォーマンスを計測しWeb上で遷移を可視化方法④ オートプレイでの自動計測

Slide 34

Slide 34 text

34/89 デイリーで全てのシーンを自動再生何か異常があればすぐに気付ける体制にリアルタイムレンダリングである事はシネマティクス以外の環境変化による影響も受けやすい・背景の仕様が意図せず変わった・異常のあるオブジェクトが紛れているなどリアルタイムレンダリング方法④ オートプレイチェック計測・チェック体制は必要不可欠

Slide 35

Slide 35 text

35/89 リアルタイムレンダリングシネマティクスへの没入感を高める事に成功リアルタイムレンダリングはこの後の項目すべてに関係要素としては非常に重要な項目となりますこうして… リアルタイムレンダリングを実現全てのシーンで制限をクリアプレイアブル中と同じ状態

Slide 36

Slide 36 text

36/89 ②セカンダリフィードバック

Slide 37

Slide 37 text

37/89 セカンダリフィードバック本講演では… セカンダリプライマリボディアニメーションのみ揺れものなどのシミュレーションで動きもついたアニメーション

Slide 38

Slide 38 text

38/89 セカンダリフィードバックポイントアニメーション作成ワークフローキャラクターモデルは、プレイアブル中と同じものを利用通常衣服などの揺れもののアニメーションはDCCツールなどでカットシーン専用として作成されることが多いが… • 本作ではプライマリのみを再生 • シミュレーションさせてからエクスポート • 「セカンダリ」アニメーションとして再度入れ込む本作のワークフロー

Slide 39

Slide 39 text

39/89 セカンダリフィードバックフローイメージ制作のみを再生した実機シミュレーションセカンダリモーションアニメーションをプライマリセカンダリセカンダリ DCCツール実機作業 DCCツールプライマリにエクスポート

Slide 40

Slide 40 text

40/89 セカンダリフィードバックプライマリのみでカットシーンを流しシミュレーション込みでジョイント情報のエクスポートを行うツールショット ① Export Tool セカンダリデータショット ② ショット ③ shot単位、キャラ単位で個別に出力されセカンダリだけではなくIK情報や自動Lipsyncを行ったアニメーションも出力する設計がされています

Slide 41

Slide 41 text

41/89 セカンダリフィードバック映像として気に入ったシミュレーションになるまでショット単位で何度も繰り返し風や向きを微調整しながらの繰り返しを可能にデータとしてはプライマリも含んだトータルのジョイント情報を出力高速なイテレーション

Slide 42

Slide 42 text

42/89 セカンダリフィードバック最終データ過去のセカンダリデータ新しいプライマリデータ Merge Tool プライマリのアニメーションと出力したセカンダリデータをマージするツールプライマリに変更があっても過去のセカンダリをマージできる

Slide 43

Slide 43 text

43/89 セカンダリフィードバック本作で選択した手法は • セカンダリのジョイントとプライマリのジョイントを明確に分け • セカンダリジョイントの上のプライマリジョイントの動きのみをセカンダリと再連結するこのマージは実機を介さずモーションデータのみでできるため変更後も高速に確認が可能髪の毛は頭のジョイントに再追従させるだけでOK 手法について

Slide 44

Slide 44 text

44/89 セカンダリフィードバック・特徴的な衣装・衣装の揺れにもキャラクターの個性ゲーム内で独自のシミュレーション作成その1 特徴的なキャラクター性プレイアブル中と同じ印象を持たせる揺れ方もカットシーンで再現する必要

Slide 45

Slide 45 text

45/89

Slide 46

Slide 46 text

46/89 セカンダリフィードバック • ボディアニメーションのみでシミュレーションシーンの概要が分かる • 変更にも強い設計 • アニメーションのみを見ても大幅に工数が削減こちらは大きくワークフローにも関連、後ほどの項目で詳しく紹介工数が多く時間もかかりがちプライマリ・セカンダリの完成が急務その2 工数の削減シネマティクスでは…

Slide 47

Slide 47 text

47/89 ③シームレス遷移

Slide 48

Slide 48 text

48/89 シームレス遷移シームレス遷移フェードアウトの廃止シームレス遷移とはカットシーンプレイアブル

Slide 49

Slide 49 text

49/89 • 作業者は専任 • ほぼ全ての要素が専用の物基本的にはプレイアブルの環境を利用 • 追加ライト • 専用のポストエフェクトなどが調整されているシームレス遷移全てのパフォーマンスを映像に特化カットシーン

Slide 50

Slide 50 text

50/89 シームレス遷移 • プレイアブル中のアセットを利用 • 専用モーション • ライトやポストエフェクトはプレイアブル準拠シームレス遷移カットシーンの画のままプレイアブルに

Slide 51

Slide 51 text

51/89 シームレス遷移

Slide 52

Slide 52 text

52/89

Slide 53

Slide 53 text

53/89 シームレス遷移シームレス遷移カットシーンプレイアブル

Slide 54

Slide 54 text

54/89 シームレス遷移リソースや作業者は別になっていても制作ツールとしてはカットシーンもシームレス遷移中も同じものを利用しデータ構成やロードの仕組みの共通化を行っていますカットシーンシームレス遷移どちらも同じツールで作成

Slide 55

Slide 55 text

55/89 ただ連続再生するだけなら… 簡単そうに思えますがしかし、実際は考慮しなければいけない事例がいくつかありますシームレス遷移

Slide 56

Slide 56 text

56/89 LODのポッピング対策代表的な項目ですが、当然次の演出のデータのリクエストをしておく必要があります ロードの設計長尺にわたる演出データを一度にロードする事はメモリの圧迫とロード時間増加を生むためある程度細かなショットごとにロードをすることができるようにし連続再生される後続のシーンも一連の流れで読めるようにしています 削除遅延対策当然の項目ですが実は一番時間がかかった部分でした直前のカットシーンでは多用されているポストエフェクトやライトをシームレス遷移画面になった瞬間では1フレの遅延もさせず切る必要がありますシームレス遷移

Slide 57

Slide 57 text

57/89 本作における会話シーンは専用で作るカットシーンとは大きく違いある程度プレイアブル中の要素のまま演技をするシネマティクスですただしカメラの画角や被写界深度の調整キャラクターのための追加ライトなどいくつか専用で調整は行われていますシームレス遷移会話シーンの場合

Slide 58

Slide 58 text

58/89

Slide 59

Slide 59 text

59/89 シームレス遷移自動シームレス遷移ライトポストエフェクト接地補間

Slide 60

Slide 60 text

60/89

Slide 61

Slide 61 text

61/89 シームレス遷移カットシーンと同じツールで作成カットシーンから会話シーンへその逆もまたフェードアウト無しで隙間なく遷移する事が可能に開発環境全て同じツールで作成

Slide 62

Slide 62 text

62/89 ほぼ全てのシーンが違和感の無いようカットシーン、会話シーン共にプレイアブルへとシームレス遷移させていますただフェードアウトを無くすだけでもこれだけの要素が必要になりますがこの手間を惜しまない事で、没入感を最大限継続させる事が可能となっていますシームレス遷移メリットシームレス化する事で

Slide 63

Slide 63 text

63/89 映像美を支えたワークフロー

Slide 64

Slide 64 text

64/89 映像美を支えたワークフローメリット前提として導入の敷居インターフェースコストテキスト演出データ

Slide 65

Slide 65 text

65/89 テキスト演出データ映像美を支えたワークフロー仕組み実機との連携ライブリンク DCCツール

Slide 66

Slide 66 text

66/89 DCCツールと実機のライブリンク

Slide 67

Slide 67 text

67/89 この二つの組み合わせは非常に強力で • セカンダリ調整 • フェイシャルアニメーション • ライティング、ポストエフェクトなどの工程では直接映像を作る感覚で作業が可能映像美を支えたワークフローライブリンクとリアルタイムレンダリング

Slide 68

Slide 68 text

68/89 イテレーションの高速化背景やVFX、音声など全ての要素を最新の状態で確認しながら作り出す事ができるように。リアルタイムで制作から確認が可能映像美を支えたワークフロー恩恵リアルタイムレンダリング技術作業時間をギリギリまで確保可能不具合対応が素早く修正可能かなり直前まで映像にこだわる期間パフォーマンスを改善する時間

Slide 69

Slide 69 text

69/89 映像美を支えたワークフロー恩恵セカンダリフィードバック技術雰囲気を把握しながら後続工程をスタートセカンダリも込みで確認する事が可能

Slide 70

Slide 70 text

70/89 映像美を支えたワークフロー実機でのシミュレーションを利用時は風の設定が非常に重要 • シネマティクスでの追い風は絵として破綻しやすい • プレイアブル中と印象が変わらない強さにする風からデザインするシネマティクスの立ち位置と基準を決める所から突き詰める

Slide 71

Slide 71 text

71/89 先ほどのライブリンクとリアルタイムレンダリングも併せ、プレイアブル中の風の向きと、カットシーン中の風の向きも併せながらも、ショットごとに手軽に微調整を加えて絵作りをすることが可能映像美を支えたワークフロー風のイメージも手軽に確認変更

Slide 72

Slide 72 text

72/89

Slide 73

Slide 73 text

73/89 • プライマリの変更にも対応 • セカンダリの変更にも対応映像美を支えたワークフロー DCCツールセカンダリフィードバック技術の恩恵セカンダリプライマリベイクモーションめり込み回避パフォーマンス軽減

Slide 74

Slide 74 text

74/89 • アーティストのからの希望 • シネマティクスへ導入しても遜色のないシミュレーション技術映像美を支えたワークフローこうしてワークフローが実現アニメーションの工数を削減全体の工数を大きく前倒し変更にも強いワークフロー映像にこだわる時間の捻出

Slide 75

Slide 75 text

75/89 映像美を産み出す絵作り

Slide 76

Slide 76 text

76/89 映像美を産み出す絵作り

Slide 77

Slide 77 text

77/89 映像美を産み出す絵作り厚めの塗り鎧の照り返し髪のハイライト肌はマット必要な要素

Slide 78

Slide 78 text

78/89 映像美を産み出す絵作り動止め動カメラのデザイン手法①

Slide 79

Slide 79 text

79/89

Slide 80

Slide 80 text

80/89 映像美を産み出す絵作り before after 色彩のデザイン手法②