フォトグラメトリーとプロシージャルを用いた最新ハイエンドゲーム3DCG背景制作手法 ～ハイエンドゲーム開発の経験がない会社がいかにしてそれらを生み出したか～

2019/09/06 CEDEC 2019

Transcript

1. フォトグラメトリーとプロシージャルを用いた 最新ハイエンドゲーム3DCG背景制作手法 ～ハイエンドゲーム開発の経験がない会社が いかにしてそれらを生み出したか～
2. このセッションのターゲット • ゲーム開発者 – これからハイエンドグラフィックを始めようとしている ゲーム開発者 – すでにハイエンドグラフィックに取り組んでいるが、 もっと効率をよくしたいと考えているゲーム開発者 • 今後ゲーム業界で働きたい人
3. 自己紹介 • 吉冨 直隆 – 3DCGアーティストチーム • 経歴 – 1995年 関西大学法学部を卒業 – 1999年 ゲーム会社にて背景・ライティング アーティストとして20年従事 – 2018年 株式会社Cygamesへ中途入社 – Project Awakeningの背景を担当 • 趣味 – カメラで家族を撮る – ゲーム（ドラクエ・マインクラフト）
4. アジェンダ • 序章 • 最初はうまく行かなかった話 • 背景制作の当たり前をちゃんとやる • 私たちの特色は何？ • 背景制作のマインド • まとめ
5. 重要なテクノロジーについて フォトグラメトリー
6. フォトグラメトリーとは？ • 写真からCGモデルを作る技術 • 弊社では、RealityCaptureを 採用
7. 補足 RealityCaptureを採用した理由 – レンダリング速度が速く、イテレーションが良い – e57ファイルを読み込めるのでレーザースキャナとの 相性がよい
8. 人物をキャプチャーするときはスタジオで撮影
9. 背景制作者は屋外で撮影
10. 現 像 キ ャ プ チ ャ ー ハ イ ポ リ モ デ ル ク リ ー ニ ン グ ロ ー ポ リ モ デ ル 作 成 展 開 ベ イ ク デ ィ ラ イ ト 調 整 実 機 出 し 撮影後のワークフロー
11. プロシージャル技術も大活用 • タイリングテクスチャー (Substance Painter) • レンガ生成 (Houdini) • 樹木生成 (Speed Tree)
12. タイリングテクスチャーの生成
13. レンガブロックの生成
14. 樹木の生成
15. VFXJAPANアワード2019年最優秀作品を受賞
16. 2年前はというと・・・
17. 補足 – 大変ありがたい賞を受賞し、 スタッフ一同とてもうれしかった – 一定の評価をいただいたが、 2年前は世界で戦えるクオリティーに達していなかった – その苦労した点、 うまくいかなかった点をこのセッションで共有したい – みなさんの現場に持ち帰って生かしてほしい
18. アジェンダ • 序章 • 最初はうまく行かなかった話 • 背景制作の当たり前をちゃんとやる • 私たちの特色は何？ • 背景制作のマインド • まとめ
19. 私たちのミッション フォトリアルなゲームを作ろう！
20. 補足 – 世界に通用するリアルなグラフィックといえば、 やっぱりフォトリアル（これは間違っていなかった） – フォトグラメトリーの技術を使えば、 フォトリアルなグラフィックはすぐにできると考えた
21. 南紀白浜の千畳敷
22. フォトグラメトリーの２つのメリット ①写真から作る圧倒的な情報量 ②統一された品質
23. フォトグラメトリーのメリット①（情報量） • 自然物ならではの情報量 – アーティストがZbrushで加工して 岩をモデリングしたりSubstanceを使って プロシージャルのテクスチャーを作っても どうしても写真のような情報量には達しない
24. フォトグラメトリーのメリット①（情報量）
25. フォトグラメトリーのメリット②（統一感） • 自然物ならではの統一感 – アーティスト依存だとアセットを大量に 並べたときに品質のばらつきが目立つ – 一方、自然から取ってくると 説得力のある統一感がでる
26. フォトグラメトリーのメリット②（統一感）
27. 壁にぶち当たる
28. 失敗したポイント 全部フォトグラで できると思ってしまった
29. 我々は壮大なファンタジー世界を作るはず
30. 補足 – イメージボードのような、巨大な遺跡を表現するのに フォトグラメトリーだけでは足りなかった – このような巨大な遺跡は現実には存在しない – 加工でなんとかできると思ったが、 想像以上にコストがかかることが分かった
31. 気づき • ①加工にコストをかけ過ぎた • ②取材にコストをかけ過ぎた フォトグラは「再現」する技術
32. 加工が大変！
33. 補足 – フォトグラメトリーのアセットは、引き伸ばしたり加工した部分が 明確に分かってしまう – ディテールに情報が多いことが裏目に出る – 1,000万ポリゴン以上の重いデータの加工は 強力なマシンパワーをもってしても取り回しが困難 – 違和感のないように加工するとなると、 莫大な工数がかかる
34. 取材も大変！
35. 補足 – フォトグラメトリーに適した曇天を狙っても、 天気のことなので思い通りにはいかない – そのため取材のコストがかさむ – 海外の慣れない気温や湿度、食事に疲弊する中での 長期取材は体力も精神力も大きく削られる – 国内でも登山→取材→下山と、体力的に過酷を極める （多くの背景アーティストはインドア派）
36. ならばプロシージャルも 使ってみよう
37. プロシージャルの３つのメリット •早い •安い •うまい
38. プロシージャルのメリット • イメージボードの建造物を早く形にできる – タイリングテクスチャーを作成すれば、 表面の解像度を高く保ったまま 巨大な建造物でも作ることが出来る – タイリングテクスチャーなので、 モデルの加工も素早く対応できる
39. プロシージャルのメリット
40. プロシージャルのメリット • ある程度のクオリティーが簡単に出せる – 取材がないから取材にかかるコストをカットできる – アセットを加工する工数も抑えられる
41. 壁にぶち当たる（2回目）
42. 失敗したポイント 全部プロシージャルで できると思ってしまった
43. 全然フォトリアルではない・・・
44. 補足 – プロシージャルでも十分にフォトリアルなグラフィックに することもできるが、私たちの勉強不足もあって フォトリアルにするまでに時間がかかった – プロシージャルで最高のクオリティーに持って行けても、 それでも写真のレベルにはかなわない （自然界のデザインセンスが凄まじく、人間がいくら テクノロジーの力を借りて頑張っても追いつかない）
45. フォトグラメトリーで攻めても いい絵を作れなかった プロシージャルで攻めても いい絵を作れなかった
46. これでは世界で戦えない
48. 補足 – 「もうダメかもしれない・・・」 この時期、背景班はとても厳しい状況にあった – 落ち込んでいても仕方がないので、一度立ち止まって どこを改善したら良いか冷静に考えることにした – その結果、ひとつ気付いたことがあった それは、技術的な視点しか持っていなかったこと （AAAタイトルをゼロから作るという焦りから、 技術的な方法を模索することに特化しすぎていた）
49. 特定の技術に偏向し過ぎた！ （ワークフローや技術でいいものができるわけではない！）
50. 「魅力的な背景」 とは何なのか考え直した
51. 補足 – そもそも私たちは何のための絵作りをしているのだろう？ – 「魅力的な背景」とはお客様が 「ずっとこの世界で遊んでいたい！」と思える世界のこと – 最新の技術を使うことがすぐに、 「魅力的な背景」に直結するものではない – 技術はあくまで手段であるべきで、目的ではない – 目的を再確認できたところで戦略を練り直した
53. ABC理論
54. • A＝当たり前のことを • B＝バカにせず • C=ちゃんとやる
55. 補足 – 役員が私たちに紹介したこのABC理論 – 決して何かをバカにしていたわけではないが、 功を焦るあまり、目的と手段が入れ替わっていたことを 思い出させてくれた – 背景制作の「当たり前」とは何なのか、をじっくり考えた
56. アジェンダ • 序章 • 最初はうまく行かなかった話 • 背景制作の当たり前をちゃんとやる • 私たちの特色は何？ • 背景制作のマインド • まとめ
57. 背景制作の当たり前をちゃんとやる 1. グラフィックの品質を愚直に上げる – PBRをちゃんとやる 2. 根本的なセンスを磨く 3. ツールや技術に振り回されないリテラシー
58. 補足 – PBRとはPhysically-based renderingの頭文字 物理ベースレンダリングのこと – 現実世界で起こっている光の反射や吸収といった現象を、 方程式によってCGの中に再現しようという考え方 – 光の相反性やエネルギー保存則を考慮したこのPBRを 守ってさえいれば、 写真のような見た目のグラフィックにすることができる
59. CG 写真
60. 補足 – ゲーム業界にいるアーティストなら誰でも PBRについては「知っている」 – 知ってはいるが、実体験として腑に落とすところまで 行っている人は少ない – 「知っている」と「出来る」の間には大きな隔たりがある – そこをみんな「出来る」に変えていった
61. 写真 MAYA エンジン内
62. 補足 – グレーカードの上に置いた小物をMAYAやゲームエンジン内で 写真そっくりに再現できるまでトレーニングをした – マテリアルやライティング、HDRIの撮影、取り込み、ポストプロ セスなど、グラフィック制作のフロー全体の取り回しに慣れ、 総合力をつけた – 文献を読んで分かったつもりでいたことでも、 写真を再現することは意外にハードルが高く、 しっかりとした知識とスキル習得が必要だということがわかった
63. 写真 MAYA エンジン内
64. お分かりいただけただろうか
67. 補足 – PBRを習得したことのメリット – 一定のクオリティーを容易に担保できる – 間違いをみつけるデバッグ能力があがる
68. 背景制作の当たり前をちゃんとやる 1. グラフィックの品質を愚直に上げる – PBRをちゃんとやる – フォトグラメトリーのスキルアップ • 取材先の厳選 2. 根本的なセンスを磨く 3. ツールや技術に振り回されないリテラシー
69. 取材先を厳選 • 汎用的に使えるアセットの見極め –色味や雰囲気が同じになるような素材選び • 自然物は何回も取材にいける国内 –日本列島の多様な自然地形
70. 補足 – 使い勝手のいいアセットになる被写体を探すようにした （費用対効果の高い取材先選定） – 日本列島の地形は多様性に富んでいるので、 自然物の撮影には国内を選定 特に東北地方はすごい （海外取材と違い、低コストで済む）
72. 背景制作の当たり前をちゃんとやる 1. グラフィックの品質を愚直に上げる – PBRをちゃんとやる – フォトグラメトリーのスキルアップ • 取材先の厳選 • 撮影手法のブラシュアップ 2. 根本的なセンスを磨く 3. ツールや技術に振り回されないリテラシー
73. 撮影手法のブラシュアップ • リアリティーキャプチャーがアラインしない失敗を減らす – リアリティーキャプチャーのクセをしっかりと把握して 被写体との距離、撮影時の動き方を検証、最適な方法を決める • カメラのスキルUPによって現場での失敗を減らす – 現場で適正露出を瞬時に割り出したり、 シャッタースピードを稼ぐためにどこまでISO感度を上げられるか、 など、カメラの取り扱いに詳しくなる必要があった
74. 補足 – フォトグラメトリーの技術的な側面から、 カメラに慣れ親しむことが大事 – とにかく日常からカメラを触っているだけで技量が上がる
76. 背景制作の当たり前をちゃんとやる 1. グラフィックの品質を愚直に上げる – PBRをちゃんとやる – フォトグラメトリーのスキルアップ • 取材先の厳選 • 撮影手法のブラシュアップ – Houdiniによるプロシージャルモデリング 2. 根本的なセンスを磨く 3. ツールや技術に振り回されないリテラシー
77. Houdiniによるプロシージャルなモデリング • プロシージャルの弱点は差別化できないこと – オリジナリティーの確保 – Houdiniを使ってプロシージャルなモデル制作
78. Houdiniによるプロシージャルなモデリング
79. 補足 – かつては手作業でやっていたような レンガの欠け具合、回転、オフセットなどの作業を Houdiniをつかったプロシージャルなモデリングを することによって、人の手グセのない、 リアルなモデリングが可能になった – パラメータを流用すれば、多人数のスタッフ間でも 均一なクオリティーのモデリングが可能となった
82. 補足 – フォトグラメトリーの手法とプロシージャルの手法、 両方からのアプローチを洗練させて 現実に存在しない想像上の巨大遺跡でも フォトリアルに作成できるようになった – どんなイメージボードが来ても３D化できる自信がついた
83. 初心にかえることでようやく 希望が見えてきました プロシージャルを使ったアセット フォトグラメトリーを使ったアセット
84. 背景制作の当たり前をちゃんとやる 1. グラフィックの品質を愚直に上げる – PBRをちゃんとやる – フォトグラメトリーのスキルアップ • 取材先の厳選 • 撮影手法のブラシュアップ – Houdiniによるプロシージャルモデリング 2. 根本的なセンスを磨く – カメラに慣れ親しむのが最適だと判断 3. ツールや技術に振り回されないリテラシー
85. 根本的なセンスを磨く カメラに慣れ親しむのが最適だと判断
86. 補足 – すべてのアーティストにとっての人生のテーマ、 根本的なセンスを向上させたい問題 – 即効性があって必ずセンスが良くなる方法がみつかった – カメラで作品を撮りまくるという方法は2D、3Dを問わず、 すべてのアーティストにおすすめ
87. カメラの勉強会を実施
88. 補足 – 社内に数名いる、カメラ大好き人間に講師になってもらい 座学講座を開く – 露出、現像などの基礎知識から、ストロボ撮影の手法まで、 広範囲にわたる講習内容 – Cygamesではこうした社内講習会を頻繁にやっており、 動画として記録され、聴講を希望する全スタッフに共有される
89. 写真部 • 定期的に屋外で撮影会を実施 –目黒川の夜桜の撮影会などを実施 –社内の掲示板に上げてフィードバックをもらうなど スキルアップにつながる活動を展開
91. プロのカメラマンを招き講演会を開く • 鉄道写真家の中井精也さん –写真を通して、見る人に何を伝えるかが重要 –「自分が感動したことを、作品を見る人に伝える」 など、クリエイターとしての考え方を学んだ –講演のクオリティーが非常に高く、 仕事に対するモチベーションが上がった
93. ポートレート撮影会を実施 • 定期的に人物撮影の練習 – ポートレート撮影をやりなれている仲間を講師に、 ２月に１回ほどのペースで、定時後に 社内のセミナールームで行っている – ポートレート撮影はカメラ筋肉がものすごく鍛えられる （構図、露出、ピントを瞬時に判断してシャッターを 押す必要があり、アンドゥもできないので）
95. 補足 – Cygamesのミッションステートメントの一つに 常に「チーム・サイゲームス」の意識を忘れない というものがある – 「グラフィックのクオリティーアップのためにカメラの勉強をして いて、撮影会に協力してほしい」とお願いすると、開発職、非開発 職を問わず、社内スタッフでモデル経験のある人が協力してくれる – 最高のコンテンツを作ろうとする前向きな姿勢を、 Cygamesスタッフ全員が共有している
96. 枯れ枝をモデルに見立てて、一番魅力的に見える置き方、 画面の構図を決めた。 カメラのスキルが発揮された一例。
97. 背景制作の当たり前をちゃんとやる 1. グラフィックの品質を愚直に上げる – PBRをちゃんとやる – フォトグラメトリーのスキルアップ • 取材先の厳選 • 撮影手法のブラシュアップ – Houdiniによるプロシージャルモデリング 2. 根本的なセンスを磨く – カメラに慣れ親しむのが最適だと判断 3. ツールや技術に振り回されないリテラシー – 自動化を疑え！ディライトの見直し
98. 自動化を疑え、自分で一度はやろう • CG制作に対するリテラシーを高める – 常識と思われていたフロー すでにある自動化ツール 購入テクスチャーのPBRの値 世にある文献 何でも一度は疑う – ディライトの現像フローを見直してみたら より良い結果を得られた
99. ディライトの見直し • ディライトとはアセットの影を除去する作業 – 濃い影が落ちるとアセットとして使い物にならない • どうにかしてピーカンの日の画像も使えないか – RAW現像の段階でもディライトすれば使える素材も出てきた ※取材のコストパフォーマンスが上がった
100. 補足 – フォトグラメトリーの取材は基本的に、曇天じゃないと成功しない 問題があった – 撮影時が晴れていて影のコントラストが強いと、ディライトをして も影を消しきれない – 取材しても使えない素材が多く、ロスが大きかった
101. 従来のディライト
102. 従来のディライト
103. 現 像 キ ャ プ チ ャ ー ハ イ ポ リ モ デ ル ク リ ー ニ ン グ ロ ー ポ リ モ デ ル 作 成 展 開 ベ イ ク デ ィ ラ イ ト 調 整 実 機 出 し ディライトの見直し
104. 補足 – 影の黒い部分を持ち上げて明るさを均一にしてディライトしようと しても8bitテクスチャーだと色の情報が失われており、低品質に なってしまう – RAW画像の段階で影の黒い部分を持ち上げておいて、ある程度コ ントラストを抑えてから8bitテクスチャーにすると、品質を保った ままディライトができる – 常識的なフローを疑ってみることで、問題を突破できた
105. 現 像 デ ィ ラ イ ト キ ャ プ チ ャ ー ハ イ ポ リ モ デ ル ク リ ー ニ ン グ ロ ー ポ リ モ デ ル 作 成 展 開 ベ イ ク 調 整 実 機 出 し ディライトの見直し
106. RAW画像の段階でディライト
107. RAW画像の段階でディライト
109. 背景制作の当たり前をちゃんとやる 1. グラフィックの品質を愚直に上げる – PBRをちゃんとやる – フォトグラメトリーのスキルアップ • 取材先の厳選 • 撮影手法のブラシュアップ – Houdiniによるプロシージャルモデリング 2. 根本的なセンスを磨く – カメラに慣れ親しむのが最適だと判断 3. ツールや技術に振り回されないリテラシー – 自動化を疑え！ディライトの見直し
110. ここまでやったことは 他社さんも普通にやっている ※当たり前のことをやっただけなので
111. アジェンダ • 序章 • 最初はうまく行かなかった話 • 背景制作の当たり前をちゃんとやる • 私たちの特色は何？ • 背景制作のマインド • まとめ
112. 私たちの特色 テクノロジーとアートのバランス
113. テクノロジーとアートのバランスとは • テクノロジー： フォトグラメトリーとプロシージャルの高いレベルでの融合 – 一見すると全面フォトグラメトリーで作ったのかと思うほどの バランス • アート：
114. フォトグラメトリーとプロシージャルの高いレベルでの融合 • 普通はこのようなイメージ – フォトグラメトリーを使えるところは使い、購入アセットを適度に配置する – それ以外の部分はプロシージャルで作成したものを配置してステージを 構成している プロシージャル フォトグラメトリー
115. フォトグラメトリーとプロシージャルのバランスの解説② • 私たちはこのようなイメージで進める – 一見するとすべてフォトグラメトリーで構成されたように見えるステージ プロシージャル
116. フォトグラ多め ハイブリッド プロシージャル多め フォトグラメトリー プロシージャル
117. ユーザーの目線が往復する部分の背景を フォトグラメトリー重視で作りこむ
119. 補足 – 全体として写真のような品質で見せているが、内部的には効率よく プロシージャルで作っている – お造りの盛り合わせで例えると、フォトグラメトリーはお刺身で プロシージャルは千切り大根や氷
120. 樹木の生成にひと工夫 • 下部はフォトグラメトリー – SpeedTreeを利用して作成するが、 プレーヤーがよく目にする高さはフォトグラメトリーのリアル感を見せる
121. 樹木の生成にひと工夫
122. テクノロジーとアートのバランスとは • テクノロジー： フォトグラメトリーとプロシージャルの高いレベルでの融合 – 一見すると全面フォトグラメトリーで作ったのかと思うほどのバランス • アート： ベテラン勢の経験に裏打ちされた、アセット配置のワザ – これはテクノロジーの話ではなく、リファレンスがものをいう世界
123. ベテラン勢の経験に裏打ちされた、アセット配置のワザ • PS1の時代からやってきた伝統技法 – プレイのしやすさ、企画意図を満たす必要など、 さまざまな要件を満たしつつの絵作り • ここでもリファレンスが一番重要 – 「本物っぽさって何？」を見極めて共有するためにも、 良いリファレンス写真を選ぶ。 – これはテクノロジーの話ではなくアートのセンスの話
124. アセット配置の技を3つだけご紹介 • シルエット（アウトライン）から決める – 絵の完成形から逆算して配置する技 • ポリゴン感をなくす。(直線ブレイク） – これは低コストで、すぐにできる技で。 • 高周波と低周波をコントロール。（大中小）の法則 – 自然界の法則
125. シルエット（アウトライン）から決める
127. 下から積み上げて 建てていくのではなく、 魅力的に見える構図、 シルエットから逆算して アセットを配置していくと、 いい絵を作りやすい
129. 目立つシルエットで ユーザーの目線を誘導。 シルエットから逆算しつつ、 遺跡として 不自然じゃないようにデザイン
130. ポリゴン感をなくす（直線ブレイク）
132. 補足 – CGっぽさの象徴である、直線っぽさ – これをいかに打ち消すかが肝になる – 柱をわずかに回転させたり、傾けたり、オフセットしたりと、 不自然にならないように直線を崩すテクニックは、 PS１やDSの時代から背景を作っているベテラン勢の得意技
133. 高周波と低周波のコントロール（大中小の法則）
134. 自然界の大中小
135. 自然界の大中小 大きいサイズの石
136. 自然界の大中小 中サイズの石
137. 自然界の大中小 大量の小石
138. 大中小の石の分布や大きさの比率について • 自然界のどこでも密度の高い部分と低い部分がある – 密度の高いところ、ごちゃごちゃしたところを高周波 – 密度が低いところ、フラットなところは低周波とみることができる
141. テクノロジーとアートのバランス • テクノロジー： フォトグラメトリーとプロシージャルの高いレベルでの融合 – 一見すると全面フォトグラメトリーで作ったのかと思うほどのバランス • アート： ベテラン勢の経験に裏打ちされた、アセット配置のワザ – これはテクノロジーの話ではなく、リファレンスがものをいう世界
142. 補足 – テクノロジーの力を使えば、何でも自動的に制作できて クオリティーも担保できるはず、と 考えてしまいがちだそうではない – 結局はアーティストのセンスに依存する – 派手さはないがトンチを効かせた伝統技法が役に立つ – テクノロジーとアートは相反するものではなく、 両者を補い合う関係で、さらにシナジー効果を狙える
143. 最後に ゲーム制作において最も大切なこと
144. お客様にいいものを届けたいという マインド ※これがあればだいたいなんでも乗り越えられる
145. お客様にいいものを届けたいというマインド • お客様に楽しんでもらいたい！ – お客様に楽しんでもらいたいという気持ちがあれば、 いろいろな困難も乗り越えられる • そのために根拠なき自信を持つ – 誰にでも初めてはある 絶対に作れるんだという根拠のない自信が必要
146. 補足 – できない理由を数えても、誰も得しない – できると信じて行動すれば、 思いもしなかったソリューションが常に見つかる – 私たちクリエイターは、人を幸せにする仕事をしている – ゲーム業界を目指した頃の気持ちを思い出し、 お客様の笑顔をイメージすれば、 どんな逆境でもモチベーションを高く保てる
147. 新規AAA タイトルを 作る！
148. このセッションのまとめ • 背景制作の「当たり前」をちゃんとやる • テクノロジーとアートのバランスが大事 • 絶対にいいものを作るというマインド
149. 89/89 共 に 世 界 へ