R&D 祭 2024 アニメエフェクト作成の効率化

Transcript

1. アニメエフェクト作成の効率化 Lucie Fournier Alexandre Derouet-Jourdan Marc Salvati 園部華子 © OLM Digital, Inc. 1
2. 2Dアニメにおけるエフェクト • 作品の個性を作る – 例：煙、水、炎 • 手描き • 物理シミュレーション – 制御が難しい – 2Dとのスタイルの違い © OLM Digital, Inc. 3 3D シミュレーション 2D 手描き
3. OLM Toon FX • 目標 – 2Dライクなエフェクト作成を技術支援 • 方法 – プロトタイプ – アーティストが使えるツールに • 直感的な操作 • パイプラインに組み込める © OLM Digital, Inc. 4
4. OLM Toon FX 制作事例 炎 煙 水面 水滴 煙 (着色) © OLM Digital, Inc. 5
5. OLM Toon FX 制作事例 モデル・アニメーション プロシージャルモデリング テクスチャ・アニメーション 3Dオブジェクトに手描き レンダリング © OLM Digital, Inc. 6
6. 最近の進展は？ 煙生成ツール OLM Smoke 中割りの自動生成 OLM Morph © OLM Digital, Inc. 7
7. 煙生成ツール OLM Smoke © OLM Digital, Inc. 8
8. 手描きの煙 9 © OLM Digital, Inc.
9. 10 © OLM Digital, Inc.
10. OLM Smoke 使用例 © OLM Digital, Inc. 11
11. 開発の流れ 形状と塗りをそれぞれ再現 形状 3Dプロシージャルモデリング 塗り 手描き風レンダリング Mayaツールに Maya Plugin Bifrost Arnold Shader © OLM Digital, Inc. 12
12. 形状の再現 13 © OLM Digital, Inc.
13. 手描きの煙の特徴 • 煙全体 – 複数のPuff(小さな塊) – Puffが移動 – 上の方が広がる • Puff – 表面の凹凸 – 振動 – 横方向の膨らみ etc. © OLM Digital, Inc. 14
14. ユーザ入力 グローバルパラメータ 煙全体の設定 Puffパラメータ サイズの範囲 動きの範囲 など Puffの生成 15 各フレームでの計算 Puffのメッシュ出力 各Puffのパラメータ値計算 © OLM Digital, Inc.
15. Puffの生成 Puffの生成：全体の形状 位置 広がり サイズ © OLM Digital, Inc. 16
16. Puffの生成：Puffごとの細かな動きと形状 横揺れ 引き延ばす Squeeze (拡大縮小) ノイズ © OLM Digital, Inc. 17
17. 結果 手描き 生成結果 ラインシェーダ (OLM Toon) © OLM Digital, Inc. 18
18. 塗りの再現 19 © OLM Digital, Inc.
19. Toonシェーダ vs 手描き Toonシェーダ 手描き 光と影が明確に分かれていない 影の形が不自然 光と影が二分されている 光と影の境界のみディテールと 丸み・連続性がある VS © OLM Digital, Inc. 20
20. スムースシェーダで光と影を二分 手描き スムージング: 0.5 スムージング: 2.0 スムージング: 5.0 21 1 球で近似 2 スムージング 3 符号付き 距離フィールド (SDF) 計算 4 法線計算 5 法線転送 方法 © OLM Digital, Inc.
21. • リムシェーダ – β = 1 - (-I * n) n: 法線ベクトル I:視線ベクトル – 輪郭部分が明るくなる • ライトの方向を考慮したリムシェーダ – α = 1- (-L * n) L: ライトベクトル – 形状に沿った影ができる リムシェーダで境界のディテール -I -I*n=1 -I*n=0 © OLM Digital, Inc. 22
22. Borderシェーダ スムースシェーダ 光のディテール (影側の境界) 影のディテール (光側の境界) Borderシェーダ ＋ ＋ ＝ • スムースシェーダをベース • 境界付近はリムシェーダ © OLM Digital, Inc. 23
23. 光のディテールの作り方 境界からの距離を元に 生成したbump 1-β β = リムシェーダ bump*(1-β) 二値化 スムースシェーダ 光のディテール ▪黒：スムースシェーダ ▪黄：光 © OLM Digital, Inc. 24
24. 結果 25 手描き Borderシェーダ © OLM Digital, Inc.
25. Toonシェーダ vs Borderシェーダ 手描き Toonシェーダ Borderシェーダ © OLM Digital, Inc. 26
26. ツール化 27 © OLM Digital, Inc.
27. メッシュ生成：Maya Bifrost 28 © OLM Digital, Inc.
28. Bifrost Parameter パラメータの例 29 © OLM Digital, Inc.
29. シェーダ 複数のシェーダから選択 olmSmokeノードで色を決定 olmSmokeノード 30 © OLM Digital, Inc.
30. Viewportプレビュー • GPUプレビューで結果を確認 • レンダリングに近い見た目 31 © OLM Digital, Inc.
31. アーティストによる使用例 手描きの煙シーン OLM Smokeで再現 32 © OLM Digital, Inc.
32. 今後の課題 • 機能の改善・追加 – シーンライトを使用 • 他のセクションでも使用 – 作画 → SAKUGADOに組み込む？ – 撮影 → AEプラグイン • 多様な煙に対応 33 © OLM Digital, Inc.
33. OLM Morph 中割りの自動生成 34 © OLM Digital, Inc.
34. 手描きの流体 水しぶき、爆発、煙など 35 © OLM Digital, Inc.
35. 手描きのエフェクト作成の流れ キーフレームを描く キーフレーム間を中割り 36 © OLM Digital, Inc. キーフレーム 中割り キーフレーム
36. 手描きのエフェクト作成の流れ キーフレームを描く キーフレーム間を中割り 37 キーフレームの補間 自動生成 目標 © OLM Digital, Inc. キーフレーム 中割り キーフレーム
37. モーフィング生成 ユーザ入力 キーフレーム画像のマスク 方法 38 中間画像出力 中割りフレーム数 © OLM Digital, Inc.
38. モーフィング生成 ユーザ入力 キーフレーム画像のマスク 方法 39 中間画像出力 中割りフレーム数 検証中 © OLM Digital, Inc.
39. 三角形ケージの変形によるモーフィング 40 © OLM Digital, Inc.
40. 概要 • テクニカルアーティストが手動で試した手法 • 手順 – 三角形ケージを作成 – ケージの補間 – マスクをマージ 41 © OLM Digital, Inc.
41. 三角形ケージを作成 42 マスク 三角形ケージ 開始 終了 © OLM Digital, Inc.
42. ケージの補間 43 • 三角形を滑らかに変形 • 双方向 © OLM Digital, Inc.
43. マスクをマージ 44 • 双方向のマスク • 符号付き距離フィールド(SDF)でマージ © OLM Digital, Inc.
44. 手動でのモーフィング 45 手動によるモーフィング (3フレームごと) • 自然な変形 • 細かい穴は不連続 © OLM Digital, Inc.
45. 手描きとの比較 46 手動によるモーフィング 手描き © OLM Digital, Inc.
46. 自動化が難しい • 中間のマスク形状が一致しない • 複雑なマスクの三角形分割が難しい – 不均一で歪んだ三角形 47 © OLM Digital, Inc.
47. 自動生成したモーフィング • 不自然な動き • ちらつき 48 自動生成したモーフィング (3フレームごと) © OLM Digital, Inc.
48. 自動生成したモーフィング 49 自動生成したモーフィング (3フレームごと) © OLM Digital, Inc. 10 キーフレーム
49. 自動生成したモーフィング 50 自動生成したモーフィング (3フレームごと) © OLM Digital, Inc. 11
50. 自動生成したモーフィング 51 自動生成したモーフィング (3フレームごと) © OLM Digital, Inc. 12
51. 自動生成したモーフィング 52 自動生成したモーフィング (3フレームごと) © OLM Digital, Inc. 13 キーフレーム
52. クラスタリングによるモーフィング 53 © OLM Digital, Inc.
53. 概要 • 大阪大学の研究によるモーフィング手法 – Y. Makihara, Y. Yagi, “Earth Mover's Morphing: Topology-Free Shape Morphing Using Cluster-Based EMD Flows,” In Proc. of the 10th Asian Conf. on Computer Vision, Queenstown, New Zealand, pp. 2302-2315, Nov. 2010. • 手順 – クラスタリング – 移動を計算 – マスクを生成 54 © OLM Digital, Inc.
54. • Fuzzy C-means クラスタリング – 開始・終了フレームの各ピクセルが対象 – 複数のクラスタに所属 (重みの合計は1) クラスタリング 55 Image taken from Earth Mover’s Morphing: Topology-Free Shape Morphing Using Cluster-Based EMD Flows © OLM Digital, Inc.
55. 移動を計算 • クラスタ間の多対多の移動 • EMD（Earth Mover Distance） – 最適輸送の計算手法 – 荷物を最小コスト(重み × 距離)で運ぶ • マスクの外側へ出るとペナルティ 56 Image taken from Earth Mover’s Morphing: Topology-Free Shape Morphing Using Cluster-Based EMD Flows © OLM Digital, Inc.
56. • 補間画像にはノイズ • グラフカットでデノイズ – 領域を前景・背景に分割 57 Image taken from Earth Mover’s Morphing: Topology-Free Shape Morphing Using Cluster-Based EMD Flows マスクを生成 © OLM Digital, Inc.
57. 自動生成したモーフィング 58 自動生成したモーフィング (3フレームごと) • 自然な変形 • 滑らかでない部分も © OLM Digital, Inc.
58. 手描きとの比較 59 自動生成 手描き © OLM Digital, Inc.
59. 前手法との比較 60 クラスタリング 三角形ケージ © OLM Digital, Inc.
60. 前⼿法との⽐較 61 クラスタリング 三⾓形ケージ ちらつきが無い 連続した変形 © OLM Digital, Inc.
61. 手描きとの比較 62 自動生成 手描き © OLM Digital, Inc.
62. 問題点 • 動作が遅い • 多くのメモリが必要 • 動きが不自然になることも 63 自動生成 手描き © OLM Digital, Inc.
63. 今後の課題 • クラスタリングによる手法を改善 – 流体力学ベースの距離を試す – 計算時間の改善 • 色の補間 64 © OLM Digital, Inc.
64. まとめ • 煙生成：ツール改善 • 中割り生成：プロトタイプ検証 • アーティストのために – 使えるツールを作る – フィードバック・コミュニケーションが重要 • 今後も継続 – AI手法も検討中 65 © OLM Digital, Inc.