OLM R&D祭 2020 11/25 アニメエフェクト再現への挑戦 / matsuri2020-ToonFX

アニメ制作において、エフェクトの作画には多くの時間と高いスキルを要します。技術的にどのような支援ができるか、作画のようなアニメエフェクトをCGで再現することを目指して取り組んできた内容を紹介いたします。(甘口)

Transcript

1. アニメエフェクト再現への挑戦
   R&D ソフトウェアエンジニア
   園部華子
   © OLM Digital, Inc. 1
   

   View Slide

2. 背景 : アニメにおけるエフェクト
   • 作品の個性を作る重要な要素
   – 例）炎、水、煙
   • 物理シミュレーションで生成可能
   – 制御が難しい
   – アート的な表現がしにくい
   – 3Dと2Dのスタイルの違い
   © OLM Digital, Inc. 2
   3D
   シミュレーション
   2D
   手描き
   

   View Slide

3. ToonFX: 目標
   • 目標 : 作画的な表現を生成したい
   – 方法を模索
   – まずCGで再現
   • 新たな表現手法の開発
   – 独自のパラメータ
   – 直感的に制御できるエフェクト
   • 効率的に制作
   – 手描きでやっていることを簡単に
   – 手続き的な処理 procedural processing
   – シミュレーション simulation
   © OLM Digital, Inc. 3
   

   View Slide

4. 方法
   • 手描きの検証
   – Toon Boom
   • DCCツールでの再現
   – After Effects
   – Maya, Blender…
   • 様々なアプローチ
   • プロトタイプを作成して検証
   • 色々試してみる
   © OLM Digital, Inc. 4
   手続き的な手法
   シミュレーション改良
   シミュレーションを
   2Dらしく見せる
   モデルを生成・
   アニメーション
   3Dオブジェクトに
   手描き
   テクスチャの生成・
   アニメーション
   

   View Slide

5. 検証1 : 3Dオブジェクトに手描き
   © OLM Digital, Inc. 5
   検証
   方法
   FX
   • 水滴
   • 3Dの手描きエフェクトを作るには？
   • 3Dオブジェクトに手描きできる？
   • どのように見えるか？
   • Blenderの3D曲面
   • アノテーションツールで毎フレーム手描き
   • 線のみ残す
   

   View Slide

6. 検証1 : 3Dオブジェクトに手描き
   © OLM Digital, Inc. 6
   まとめ
   結果
   • 特徴
   – 手描きの表現
   – 方向を変えられる
   – カメラを動かせる
   • 課題
   – 効率的ではない
   – 3Dオブジェクトに手描きする技術
   – ツールで簡単に？
   

   View Slide

7. 検証2 : モデルを生成・アニメーション
   © OLM Digital, Inc. 7
   検証
   FX
   • 炎
   • モデル本体を生成
   – モデルの作り方
   – アニメーション
   • 2Dらしく見えるか
   

   View Slide

8. 検証2 : モデル本体を生成・アニメーション
   • OLM 3D cellular noise
   – Cellular Noiseを生成
   – 最近傍点の高速な探索手法
   • Implementation of Fast and Adaptive Procedural Cellular Noise (JCGT 2019)
   • OLM Noise Deformer
   – オブジェクトをノイズで変形
   • OLM Mask Deformer
   – オブジェクトにマスクをかける
   © OLM Digital, Inc. 8
   元のオブジェクト Noise Deformer
   （2回適用）
   Mask Deformer
   （上部のみ）
   Y軸方向にアニメーション
   方法
   

   View Slide

9. 方法
   検証2 : モデル本体を生成・アニメーション
   • 炎らしく見せる
   • 二値化してレンダリング
   • After EffectsでGlowを適用
   © OLM Digital, Inc. 9
   Maya 出力 After Effects
   黄色っぽいグロー
   

   View Slide

10. 結果
    検証2 : モデル本体を生成・アニメーション
    © OLM Digital, Inc. 10
    

    View Slide

11. まとめ
    検証2 : モデル本体を生成・アニメーション
    © OLM Digital, Inc. 11
    • 特徴
    – 2Dらしい見た目→作品でも使用
    – 色々な応用が可能(竜巻など)
    – Cellular Noiseは自然界の表現に適する
    • 課題
    – マスクによる不自然な領域
    – 形状そのものが変化する炎
    • 3Dでどう実現する？
    • 上部がちぎれる炎のエフェクト
    竜巻
    マスクによる
    不自然な領域
    ちぎれる炎
    (手描き)
    

    View Slide

12. 検証2 : モデル本体を生成・アニメーション
    © OLM Digital, Inc. 12
    プロダクションでの使用例
    ©LEVEL-5／映画「妖怪ウォッチ」プロジェクト2019
    著作権の関係により
    画像を掲載しておりません
    

    View Slide

13. 検証3 : テクスチャの生成・アニメーション
    © OLM Digital, Inc. 13
    検証
    FX
    • 水面
    • テクスチャを生成
    • アニメらしい見た目
    – ノイズの使い方
    – 自然に見えるか
    – アニメーション
    2Dの水面
    現実の水面
    © 2014 Studio Ghibli・NDHDMTK
    

    View Slide

14. 検証3 : テクスチャの生成・アニメーション
    • Cellular Noise
    – 最近傍点を探索
    – 最近傍点からの距離で着色
    © OLM Digital, Inc. 14
    方法
    着色
    

    View Slide

15. 検証3 : テクスチャの生成・アニメーション
    • Cellular Noise
    – 密度・色調整
    © OLM Digital, Inc. 15
    結果
    水らしく見える例 密度が低い 白っぽい 青っぽい
    – 微調整が必要
    – はっきりした線はできない
    – 密度に差があると難しい
    

    View Slide

16. 検証3 : テクスチャの生成・アニメーション
    • Voronoi Noise
    – 点と点の中間に辺を引く
    – 辺からの距離で着色(二値化)
    – 境界を曲線に
    © OLM Digital, Inc. 16
    方法
    着色 曲線
    

    View Slide

17. 検証3 : テクスチャの生成・アニメーション
    © OLM Digital, Inc. 17
    まとめ
    結果
    • 特徴
    – Voronoi Noiseで自然な水面
    – 手描きに近い見た目
    • 課題
    – 水面の動き
    • パーティクルをランダム移動
    – 打ち寄せる波も再現したい
    • Voronoi Noise
    – 曲面にマップ
    

    View Slide

18. 検証4 : 手続き的な手法 シミュレーション改良
    © OLM Digital, Inc. 18
    検証
    FX
    • 煙
    • 手描きの煙を再現する方法
    • パーティクルを試す
    • 手続き的な手法
    – シミュレーションより制御しやすい
    • パラメータ設定
    

    View Slide

19. 検証4 : 手続き的な手法 シミュレーション改良
    • 手描きの煙を観察
    • 特徴は？
    © OLM Digital, Inc. 19
    方法
    手描きの煙
    煙はPuffの組み合わせ
    Puffは球を組み合わせて再現
    Puffのサイズはランダム
    Puffは上昇するにつれ大きくなる
    Sine waveのような軌道
    空気は内側から外側へ
    回転速度は緩やかに減速
    

    View Slide

20. 検証4 : 手続き的な手法 シミュレーション改良
    • Maya Bifrostを使用
    • 計算方法を検討
    © OLM Digital, Inc. 20
    方法
    Bifrostによる再現
    • 上昇
    – pos = ∗
    • 拡大
    – サイズ: () = (0) + (0) ∗ ∗ ℎ
    • 回転
    – sub particle
    • メイン球の周辺に配置
    – sub particleの移動
    • 極座標上での移動
    • メイン球に応じて座標変換
    • ランダムな要素
    ቐ
    = cos sin
    = sin sin
    = cos
    

    View Slide

21. 検証4 : 手続き的な手法 シミュレーション改良
    • パラメータで制御
    • 二値化してレンダリング
    © OLM Digital, Inc. 21
    方法
    パラメータの例
    Emission rate puffの排出頻度
    Direction 排出方向
    Spread 排出方向のランダムネス
    Particle Size puffのサイズ(Min, Max)
    Age puffの生存時間
    Size Growth puffの拡大率
    Wind 風による軌道変更
    Particle Rotate Period sub particleの回転周期
    Particle Orbit Directed sub particleの回転方向
    煙らしく見せる
    二値化して
    レンダリング
    

    View Slide

22. 検証4 : 手続き的な手法 シミュレーション改良
    © OLM Digital, Inc. 22
    まとめ
    結果
    • 特徴
    – 手描きに近い形状
    – 手続き的な手法の利点
    • 計算前に結果が分かる
    • シミュレーションと異なる制御
    • 課題
    – 煙の消え方
    – 輪郭
    • リムライトを使う？
    – 2Dか3Dか
    • パイプライン
    • アーティスト
    • AEプラグインとして実装？
    

    View Slide

23. 検証5 : シミュレーションを2Dらしく見せる
    © OLM Digital, Inc. 23
    検証
    FX
    • 煙
    • シミュレーションの煙(3D)を2Dらし
    く
    • レンダリング後の撮影段階
    – シェーディング
    – 見え方の調整
    

    View Slide

24. 検証5 : シミュレーションを2Dらしく見せる
    © OLM Digital, Inc. 24
    方法
    • OLM Normal Shading (AEプラグイン)
    – Normal mapの出力画像を二値化
    – 閾値や光源方向を設定可能
    • OLM Reduce Details (AEプラグイン)
    – Normal Shadingで発生する細かな領域を取り除く
    Normal Map OLM Normal Shading OLM Reduce Details CC Toner(色の置き換え)
    ポスタリゼーション時間(コマ落ち)
    

    View Slide

25. 検証5 : シミュレーションを2Dらしく見せる
    © OLM Digital, Inc. 25
    まとめ
    結果
    • 特徴
    – AEでシェーディング可能
    – ディテール除去+コマ落ち
    →手描きらしく
    • 課題
    – ちらつき
    – 2Dか3Dか
    • パイプライン
    • アーティスト
    

    View Slide

26. まとめ
    • 目標
    – 作画的な表現を生成したい
    • 現状
    – 様々な手法を検証
    – アーティストとのコラボレーション
    • ボトルネック
    – 限られた時間
    ・制作の合間に検証 ・アーティストは忙しい
    – プロダクションに落とし込む
    ・2D or 3D？ ・パイプラインを変えてまでやる？
    • 今後の課題
    – 使いたいと思うレベルのプロトタイプ
    – すぐ試せる汎用的なエフェクトを生成
    © OLM Digital, Inc. 26
    → 検証・改良
    

    View Slide

27. ご清聴ありがとうございました
    © OLM Digital, Inc. 27
    

    View Slide