OLM R&D祭2022 10/21 Arnold Denoising（ノイズ除去）パイプライン

OLM DigitalではMaya Arnoldを使ってレンダリングしています。ArnoldといえばNoice。ノイズ除去技術が熟してきたので、パイプラインに組み込みました。最大80％のレンダリング時間の削減を可能にする、その仕組みについて説明します。

Transcript

1. デノイズツールのパイプライン導入 古川 浩也 Alexandre Derouet-Jourdan © OLM Digital, Inc. 1
2. 構成 • レンダリングとデノイズ • Noiceとは • Noiceの検証 • Noiceのパイプライン導入 • パラメータの自動最適化 © OLM Digital, Inc. 2
3. Noiceによるデノイズ © OLM Digital, Inc. 3
4. Noiceによるデノイズ © OLM Digital, Inc. 4
5. Noiceによるデノイズ © OLM Digital, Inc. 5 1時間16分18秒 12分35秒 -83.5% Noiceあり Noiceなし
6. レンダリングとデノイズ © OLM Digital, Inc. 6
7. レンダリング • 3DCG制作の最終工程 • MayaとArnold • モンテカルロレイトレーシング – 物理法則に基づいたフォトリアリスティックな画像 – サンプルの値がクオリティに大きく影響 © OLM Digital, Inc. 7
8. レンダリング © OLM Digital, Inc. 8 Camera(AA): 1 13 Render time: 1分34秒 1時間16分18秒
9. デノイズ • レンダリング画像のノイズを除去 • 方法 – サンプルの値を上げる – 画像処理 • 例： Neat Video – デノイザ • 例：Noice, Open Image Denoise © OLM Digital, Inc. 9
10. Neat VideoからNoiceへ © OLM Digital, Inc. 10 Neat Video Noice デノイズのタイミング 合成作業時 合成作業前 用途 撮影動画 レンダリング画像 デノイズ量 小 大
11. Noiceとは © OLM Digital, Inc. 11
12. Noiceとは • Arnoldに付属するスタンドアローンのデノイザ • 近傍の類似するピクセル同士をブレンド • 対象とする画像フォーマットはEXR • AOVや前後のフレームも考慮 © OLM Digital, Inc. 12
13. Noiceのパラメータ1 • 入力画像 – 複数指定可能 • 出力画像 • デノイズするAOV – Varianceタイプのフィルタの追加が 必要 © OLM Digital, Inc. 13
14. Noiceのパラメータ2 • feature AOV – デノイズの際にガイドとなるAOV – Mayaで専用のオプションをオンにすると自動で出力される • アルベド • 深度（Z） • 法線（N） • extraframes – 考慮する前後のフレーム数 • variance – デノイズする強さ © OLM Digital, Inc. 14
15. • patchradius – パッチの大きさ • searchradius – パッチを探索する 範囲 Noiceのパラメータ3 © OLM Digital, Inc. 15 ▪…探索範囲 ▪…パッチ ▪…現在のピクセル
16. Noiceの検証 © OLM Digital, Inc. 16
17. 方法 © OLM Digital, Inc. 17 1．パラメータの選定 2．レンダリング デノイズ 3．画像の比較 4．スーパーバイザー と確認
18. 結果 リファレンス：約1日 レンダリング＋デノイズ：1時間27分 © OLM Digital, Inc. 18 -94%
19. Noiceのパイプライン導入 © OLM Digital, Inc. 19
20. Noice導入時の問題 • Autocropが機能しない • 特定のシーンでNoiceのパラメータの変更が必要 © OLM Digital, Inc. 20 © https://docs.arnoldrenderer.com/display/A5AFMUGJPN/EXR
21. Autocropが機能しない（原因と解決） • 原因 – すべてのピクセルで値が0より大きいAOVがひとつでも存在すると無効に – feature AOV として自動で出力されるZ AOVが上記に該当 • 解決方法 – oiiotoolを使ってデノイズ後の画像をクロップ © OLM Digital, Inc. 21
22. oiiotoolとは • Open Image IO Tool • MtoAに付属する画像処理ツール • クロップ以外に – フォーマットの変換 – メタ情報の取得 © OLM Digital, Inc. 22
23. 特定のシーンでNoiceのパラメータの変更が必要（原因） • シーンに対してNoiceのパラメータが不適切 © OLM Digital, Inc. 23 適切なパラメータ 不適切なパラメータ
24. 特定のシーンでNoiceのパラメータの変更が必要（対処） • デザイナーにNoiceのパラメータを変更してもらう • 根本的解決方法ではないが… – 報告があったのが１ショットのみ – プロダクション作業中に発生 © OLM Digital, Inc. 24
25. パイプライン © OLM Digital, Inc. 25 サブミッタ レンダリング サーバー 合成 レンダリング レンダリング画像 シェアアップ デザイナーのホーム シェア レンダリング画像 レンダリング ジョブ
26. サブミッタ © OLM Digital, Inc. 26 • シーン • 画像の出力先 • フレームレンジ • カメラ • レンダーレイヤ • ジョブの設定
27. パイプライン © OLM Digital, Inc. 27 サブミッタ レンダリング サーバー 合成 レンダリング レンダリング画像 シェアアップ デザイナーのホーム シェア デノイズ ジョブ デノイズ画像 デノイズ画像 レンダリング ジョブ
28. サブミッタ（ 変更後） © OLM Digital, Inc. 28 • Noiceのチェックボックスを追加 • レンダーレイヤ毎に設定可能 • Noiceのジョブも同時に投げる – 検証時の最適なパラメータを使用
29. ジョブ © OLM Digital, Inc. 29 • レンダリングのジョブ – プリレンダーMEL • シーンに設定されているプリレンダーMEL • Output Denoising AOVsのチェック • variance型のフィルタの追加 • 画像の出力先を変更 • デノイズのジョブ – Noiceの実行 – oiiotoolによる画像のクロップ
30. パラメータの自動最適化 © OLM Digital, Inc. 30
31. 最適なパラメータを求めるには © OLM Digital, Inc. 31 1．パラメータの選定 4．スーパーバイザー と確認 2．レンダリング デノイズ 3．画像の比較 期間にして約2か月
32. パラメータの自動最適化 © OLM Digital, Inc. 32 自動化 負担削減 1．パラメータの選定 スーパーバイザーと確認 2．レンダリング デノイズ 3．画像の比較
33. パラメータの自動最適化 © OLM Digital, Inc. 33 自動化 負担削減 1．パラメータの選定 スーパーバイザーと確認 2．レンダリング デノイズ 3．画像の比較 10種のパラメータ - Arnoldのサンプル（6種類） - Noiceのパラメータ（4種類）
34. パラメータの自動最適化 © OLM Digital, Inc. 34 自動化 負担削減 1．パラメータの選定 スーパーバイザーと確認 2．レンダリング デノイズ 3．画像の比較 最適化
35. ベイズ最適化 • パラメータの選定回数の最小化 • 未知の関数の最適値を求める – 未知の関数＝レンダリング・デノイズ • 最適値を出力するパラメータ＝求めるパラメータ © OLM Digital, Inc. 35
36. Image Quality Assessment • レンダリング・デノイズ画像の評価 • リファレンスの画像と比較し、評価値を算出 • 複数の評価手法を実装 – Mean Squared Error (MSE) – Relative Mean Square Error (rMSE) – Structural Similarity Index (SSIM) – Structural Contrast Distortion Metric © OLM Digital, Inc. 36
37. Mean Squared Error (MSE) • 評価したい画像とリファレンス画像それぞれのピクセルの平均の距 離（差分） • 並列化が容易 • 人間の知覚による限界：人間はより暗い領域のノイズに敏感 © OLM Digital, Inc. 37
38. Mean Squared Error (MSE) © OLM Digital, Inc. 38 © Wang, Zhou, et al. "Image quality assessment: from error visibility to structural similarity." IEEE transactions on image processing 13.4 (2004) リファレンス画像(a)に対して 画像(b)~(f)はすべて同じ評価値
39. Relative Mean Square Error (rMSE) • 暗さによって重み付け • MSE同様ピクセル間の差分を計算するが、リファレンス画像の輝度 で割る • 人間の知覚を考慮するには不十分 © OLM Digital, Inc. 39
40. Structural Similarity Index (SSIM) • MSEのような距離を表すのではない • コントラストおよび輝度の変化、画像間の相関 • どの程度リファレンス画像に類似するのかを表す © OLM Digital, Inc. 40 © Wang, Zhou, et al. "Image quality assessment: from error visibility to structural similarity." IEEE transactions on image processing 13.4 (2004)
41. (a)Reference (b) SSIM = 0.9168 (c) SSIM = 0.9900 Structural Similarity Index (SSIM) © OLM Digital, Inc. 41 © Wang, Zhou, et al. "Image quality assessment: from error visibility to structural similarity." IEEE transactions on image processing 13.4 (2004) (d) SSIM = 0.6949 (e) SSIM = 0.7052 (f) SSIM = 0.7748
42. Structural Contrast Distortion Metric (SC-DM) • 人間の視覚が誤差をどのように認識するのかをより考慮 • 2000人に対して行われた実験ではより知覚に一致した • より最適化処理に適した準凸関数 © OLM Digital, Inc. 42 © Bae, Sung-Ho, and Munchurl Kim. "A novel image quality assessment with globally and locally consilient visual quality perception." IEEE Transactions on Image Processing 25.5 (2016)
43. Image Quality Assessment（まとめ） • 手法によっては評価結果と人間の知覚とのギャップがある • SC-DMを採用 © OLM Digital, Inc. 43 手法 MSE rMSE SSIM SC-DM 人間の知覚との ギャップ 大 ＞ 小
44. パラメータの自動最適化（処理の流れ） 1. 数パターンのパラメータでレンダリング・デノイズ 2. 上記の画像群を評価 3. 以下の処理を一定回数行う a. ベイズ最適化による次のパラメータを取得 b. レンダリング・デノイズ c. 画像を評価 4. すべてのパラメータの中から最適なものを取得 © OLM Digital, Inc. 44
45. パラメータの自動最適化（現在の状況） • 完了 – Image Quality Assessmentの実装 – Pythonのベイズ最適化ライブラリ「GpyOpt」を導入 – 各ジョブを投げるプログラムの実装 • レンダリング、デノイズ、画像の評価、ベイズ最適化 • 今後の課題 – GpyOptのパラメータ等の最適化に関するパラメータの調整 – 最適なパラメータによってレンダリング・デノイズされた画像の評価 © OLM Digital, Inc. 45
46. まとめと今後の予定 • まとめ – Noice • レンダリング時間の短縮＆クオリティ向上 • パラメータの選定等の課題 – パラメータの自動最適化 • ベイズ最適化 • Image Quality Assessment • 今後の予定 – パラメータの自動最適化の実装 – プロダクションでのテスト・導入 – 他のデノイザ―の検証 © OLM Digital, Inc. 46
47. 謝辞 スーパーバイザー 小俣 隆文 スーパーバイザー 齋藤 和丈 © OLM Digital, Inc. 47