OLM R&D祭 2020 11/25 アニメエフェクト再現への挑戦 / matsuri2020-ToonFX

アニメ制作において、エフェクトの作画には多くの時間と高いスキルを要します。技術的にどのような支援ができるか、作画のようなアニメエフェクトをCGで再現することを目指して取り組んできた内容を紹介いたします。(甘口)

Transcript

1. アニメエフェクト再現への挑戦 R&D ソフトウェアエンジニア 園部華子 © OLM Digital, Inc. 1
2. 背景 : アニメにおけるエフェクト • 作品の個性を作る重要な要素 – 例）炎、水、煙 • 物理シミュレーションで生成可能 – 制御が難しい – アート的な表現がしにくい – 3Dと2Dのスタイルの違い © OLM Digital, Inc. 2 3D シミュレーション 2D 手描き
3. ToonFX: 目標 • 目標 : 作画的な表現を生成したい – 方法を模索 – まずCGで再現 • 新たな表現手法の開発 – 独自のパラメータ – 直感的に制御できるエフェクト • 効率的に制作 – 手描きでやっていることを簡単に – 手続き的な処理 procedural processing – シミュレーション simulation © OLM Digital, Inc. 3
4. 方法 • 手描きの検証 – Toon Boom • DCCツールでの再現 – After Effects – Maya, Blender… • 様々なアプローチ • プロトタイプを作成して検証 • 色々試してみる © OLM Digital, Inc. 4 手続き的な手法 シミュレーション改良 シミュレーションを 2Dらしく見せる モデルを生成・ アニメーション 3Dオブジェクトに 手描き テクスチャの生成・ アニメーション
5. 検証1 : 3Dオブジェクトに手描き © OLM Digital, Inc. 5 検証 方法 FX • 水滴 • 3Dの手描きエフェクトを作るには？ • 3Dオブジェクトに手描きできる？ • どのように見えるか？ • Blenderの3D曲面 • アノテーションツールで毎フレーム手描き • 線のみ残す
6. 検証1 : 3Dオブジェクトに手描き © OLM Digital, Inc. 6 まとめ 結果 • 特徴 – 手描きの表現 – 方向を変えられる – カメラを動かせる • 課題 – 効率的ではない – 3Dオブジェクトに手描きする技術 – ツールで簡単に？
7. 検証2 : モデルを生成・アニメーション © OLM Digital, Inc. 7 検証 FX • 炎 • モデル本体を生成 – モデルの作り方 – アニメーション • 2Dらしく見えるか
8. 検証2 : モデル本体を生成・アニメーション • OLM 3D cellular noise – Cellular Noiseを生成 – 最近傍点の高速な探索手法 • Implementation of Fast and Adaptive Procedural Cellular Noise (JCGT 2019) • OLM Noise Deformer – オブジェクトをノイズで変形 • OLM Mask Deformer – オブジェクトにマスクをかける © OLM Digital, Inc. 8 元のオブジェクト Noise Deformer （2回適用） Mask Deformer （上部のみ） Y軸方向にアニメーション 方法
9. 方法 検証2 : モデル本体を生成・アニメーション • 炎らしく見せる • 二値化してレンダリング • After EffectsでGlowを適用 © OLM Digital, Inc. 9 Maya 出力 After Effects 黄色っぽいグロー
10. 結果 検証2 : モデル本体を生成・アニメーション © OLM Digital, Inc. 10
11. まとめ 検証2 : モデル本体を生成・アニメーション © OLM Digital, Inc. 11 • 特徴 – 2Dらしい見た目→作品でも使用 – 色々な応用が可能(竜巻など) – Cellular Noiseは自然界の表現に適する • 課題 – マスクによる不自然な領域 – 形状そのものが変化する炎 • 3Dでどう実現する？ • 上部がちぎれる炎のエフェクト 竜巻 マスクによる 不自然な領域 ちぎれる炎 (手描き)
12. 検証2 : モデル本体を生成・アニメーション © OLM Digital, Inc. 12 プロダクションでの使用例 ©LEVEL-5／映画「妖怪ウォッチ」プロジェクト2019 著作権の関係により 画像を掲載しておりません
13. 検証3 : テクスチャの生成・アニメーション © OLM Digital, Inc. 13 検証 FX • 水面 • テクスチャを生成 • アニメらしい見た目 – ノイズの使い方 – 自然に見えるか – アニメーション 2Dの水面 現実の水面 © 2014 Studio Ghibli・NDHDMTK
14. 検証3 : テクスチャの生成・アニメーション • Cellular Noise – 最近傍点を探索 – 最近傍点からの距離で着色 © OLM Digital, Inc. 14 方法 着色
15. 検証3 : テクスチャの生成・アニメーション • Cellular Noise – 密度・色調整 © OLM Digital, Inc. 15 結果 水らしく見える例 密度が低い 白っぽい 青っぽい – 微調整が必要 – はっきりした線はできない – 密度に差があると難しい
16. 検証3 : テクスチャの生成・アニメーション • Voronoi Noise – 点と点の中間に辺を引く – 辺からの距離で着色(二値化) – 境界を曲線に © OLM Digital, Inc. 16 方法 着色 曲線
17. 検証3 : テクスチャの生成・アニメーション © OLM Digital, Inc. 17 まとめ 結果 • 特徴 – Voronoi Noiseで自然な水面 – 手描きに近い見た目 • 課題 – 水面の動き • パーティクルをランダム移動 – 打ち寄せる波も再現したい • Voronoi Noise – 曲面にマップ
18. 検証4 : 手続き的な手法 シミュレーション改良 © OLM Digital, Inc. 18 検証 FX • 煙 • 手描きの煙を再現する方法 • パーティクルを試す • 手続き的な手法 – シミュレーションより制御しやすい • パラメータ設定
19. 検証4 : 手続き的な手法 シミュレーション改良 • 手描きの煙を観察 • 特徴は？ © OLM Digital, Inc. 19 方法 手描きの煙 煙はPuffの組み合わせ Puffは球を組み合わせて再現 Puffのサイズはランダム Puffは上昇するにつれ大きくなる Sine waveのような軌道 空気は内側から外側へ 回転速度は緩やかに減速
20. 検証4 : 手続き的な手法 シミュレーション改良 • Maya Bifrostを使用 • 計算方法を検討 © OLM Digital, Inc. 20 方法 Bifrostによる再現 • 上昇 – pos = ∗ • 拡大 – サイズ: () = (0) + (0) ∗ ∗ ℎ • 回転 – sub particle • メイン球の周辺に配置 – sub particleの移動 • 極座標上での移動 • メイン球に応じて座標変換 • ランダムな要素 ቐ = cos sin = sin sin = cos
21. 検証4 : 手続き的な手法 シミュレーション改良 • パラメータで制御 • 二値化してレンダリング © OLM Digital, Inc. 21 方法 パラメータの例 Emission rate puffの排出頻度 Direction 排出方向 Spread 排出方向のランダムネス Particle Size puffのサイズ(Min, Max) Age puffの生存時間 Size Growth puffの拡大率 Wind 風による軌道変更 Particle Rotate Period sub particleの回転周期 Particle Orbit Directed sub particleの回転方向 煙らしく見せる 二値化して レンダリング
22. 検証4 : 手続き的な手法 シミュレーション改良 © OLM Digital, Inc. 22 まとめ 結果 • 特徴 – 手描きに近い形状 – 手続き的な手法の利点 • 計算前に結果が分かる • シミュレーションと異なる制御 • 課題 – 煙の消え方 – 輪郭 • リムライトを使う？ – 2Dか3Dか • パイプライン • アーティスト • AEプラグインとして実装？
23. 検証5 : シミュレーションを2Dらしく見せる © OLM Digital, Inc. 23 検証 FX • 煙 • シミュレーションの煙(3D)を2Dらし く • レンダリング後の撮影段階 – シェーディング – 見え方の調整
24. 検証5 : シミュレーションを2Dらしく見せる © OLM Digital, Inc. 24 方法 • OLM Normal Shading (AEプラグイン) – Normal mapの出力画像を二値化 – 閾値や光源方向を設定可能 • OLM Reduce Details (AEプラグイン) – Normal Shadingで発生する細かな領域を取り除く Normal Map OLM Normal Shading OLM Reduce Details CC Toner(色の置き換え) ポスタリゼーション時間(コマ落ち)
25. 検証5 : シミュレーションを2Dらしく見せる © OLM Digital, Inc. 25 まとめ 結果 • 特徴 – AEでシェーディング可能 – ディテール除去+コマ落ち →手描きらしく • 課題 – ちらつき – 2Dか3Dか • パイプライン • アーティスト
26. まとめ • 目標 – 作画的な表現を生成したい • 現状 – 様々な手法を検証 – アーティストとのコラボレーション • ボトルネック – 限られた時間 ・制作の合間に検証 ・アーティストは忙しい – プロダクションに落とし込む ・2D or 3D？ ・パイプラインを変えてまでやる？ • 今後の課題 – 使いたいと思うレベルのプロトタイプ – すぐ試せる汎用的なエフェクトを生成 © OLM Digital, Inc. 26 → 検証・改良
27. ご清聴ありがとうございました © OLM Digital, Inc. 27