$30 off During Our Annual Pro Sale. View Details »

OLM R&D祭2022 10/21 Arnold Denoising(ノイズ除去)パイプライン

OLM R&D祭2022 10/21 Arnold Denoising(ノイズ除去)パイプライン

OLM DigitalではMaya Arnoldを使ってレンダリングしています。ArnoldといえばNoice。ノイズ除去技術が熟してきたので、パイプラインに組み込みました。最大80%のレンダリング時間の削減を可能にする、その仕組みについて説明します。

OLM Digital R&D
PRO

October 25, 2022
Tweet

More Decks by OLM Digital R&D

Other Decks in Technology

Transcript

  1. デノイズツールのパイプライン導入
    古川 浩也
    Alexandre Derouet-Jourdan
    © OLM Digital, Inc. 1

    View Slide

  2. 構成
    • レンダリングとデノイズ
    • Noiceとは
    • Noiceの検証
    • Noiceのパイプライン導入
    • パラメータの自動最適化
    © OLM Digital, Inc. 2

    View Slide

  3. Noiceによるデノイズ
    © OLM Digital, Inc. 3

    View Slide

  4. Noiceによるデノイズ
    © OLM Digital, Inc. 4

    View Slide

  5. Noiceによるデノイズ
    © OLM Digital, Inc. 5
    1時間16分18秒
    12分35秒 -83.5%
    Noiceあり Noiceなし

    View Slide

  6. レンダリングとデノイズ
    © OLM Digital, Inc. 6

    View Slide

  7. レンダリング
    • 3DCG制作の最終工程
    • MayaとArnold
    • モンテカルロレイトレーシング
    – 物理法則に基づいたフォトリアリスティックな画像
    – サンプルの値がクオリティに大きく影響
    © OLM Digital, Inc. 7

    View Slide

  8. レンダリング
    © OLM Digital, Inc. 8
    Camera(AA): 1 13
    Render time: 1分34秒 1時間16分18秒

    View Slide

  9. デノイズ
    • レンダリング画像のノイズを除去
    • 方法
    – サンプルの値を上げる
    – 画像処理
    • 例: Neat Video
    – デノイザ
    • 例:Noice, Open Image Denoise
    © OLM Digital, Inc. 9

    View Slide

  10. Neat VideoからNoiceへ
    © OLM Digital, Inc. 10
    Neat Video Noice
    デノイズのタイミング 合成作業時 合成作業前
    用途 撮影動画 レンダリング画像
    デノイズ量 小 大

    View Slide

  11. Noiceとは
    © OLM Digital, Inc. 11

    View Slide

  12. Noiceとは
    • Arnoldに付属するスタンドアローンのデノイザ
    • 近傍の類似するピクセル同士をブレンド
    • 対象とする画像フォーマットはEXR
    • AOVや前後のフレームも考慮
    © OLM Digital, Inc. 12

    View Slide

  13. Noiceのパラメータ1
    • 入力画像
    – 複数指定可能
    • 出力画像
    • デノイズするAOV
    – Varianceタイプのフィルタの追加が
    必要
    © OLM Digital, Inc. 13

    View Slide

  14. Noiceのパラメータ2
    • feature AOV
    – デノイズの際にガイドとなるAOV
    – Mayaで専用のオプションをオンにすると自動で出力される
    • アルベド
    • 深度(Z)
    • 法線(N)
    • extraframes
    – 考慮する前後のフレーム数
    • variance
    – デノイズする強さ
    © OLM Digital, Inc. 14

    View Slide

  15. • patchradius
    – パッチの大きさ
    • searchradius
    – パッチを探索する
    範囲
    Noiceのパラメータ3
    © OLM Digital, Inc. 15
    ■…探索範囲
    ■…パッチ
    ■…現在のピクセル

    View Slide

  16. Noiceの検証
    © OLM Digital, Inc. 16

    View Slide

  17. 方法
    © OLM Digital, Inc. 17
    1.パラメータの選定
    2.レンダリング
    デノイズ
    3.画像の比較
    4.スーパーバイザー
    と確認

    View Slide

  18. 結果
    リファレンス:約1日
    レンダリング+デノイズ:1時間27分
    © OLM Digital, Inc. 18
    -94%

    View Slide

  19. Noiceのパイプライン導入
    © OLM Digital, Inc. 19

    View Slide

  20. Noice導入時の問題
    • Autocropが機能しない
    • 特定のシーンでNoiceのパラメータの変更が必要
    © OLM Digital, Inc. 20
    © https://docs.arnoldrenderer.com/display/A5AFMUGJPN/EXR

    View Slide

  21. Autocropが機能しない(原因と解決)
    • 原因
    – すべてのピクセルで値が0より大きいAOVがひとつでも存在すると無効に
    – feature AOV として自動で出力されるZ AOVが上記に該当
    • 解決方法
    – oiiotoolを使ってデノイズ後の画像をクロップ
    © OLM Digital, Inc. 21

    View Slide

  22. oiiotoolとは
    • Open Image IO Tool
    • MtoAに付属する画像処理ツール
    • クロップ以外に
    – フォーマットの変換
    – メタ情報の取得
    © OLM Digital, Inc. 22

    View Slide

  23. 特定のシーンでNoiceのパラメータの変更が必要(原因)
    • シーンに対してNoiceのパラメータが不適切
    © OLM Digital, Inc. 23
    適切なパラメータ
    不適切なパラメータ

    View Slide

  24. 特定のシーンでNoiceのパラメータの変更が必要(対処)
    • デザイナーにNoiceのパラメータを変更してもらう
    • 根本的解決方法ではないが…
    – 報告があったのが1ショットのみ
    – プロダクション作業中に発生
    © OLM Digital, Inc. 24

    View Slide

  25. パイプライン
    © OLM Digital, Inc. 25
    サブミッタ
    レンダリング
    サーバー
    合成
    レンダリング
    レンダリング画像
    シェアアップ
    デザイナーのホーム シェア
    レンダリング画像
    レンダリング
    ジョブ

    View Slide

  26. サブミッタ
    © OLM Digital, Inc. 26
    • シーン
    • 画像の出力先
    • フレームレンジ
    • カメラ
    • レンダーレイヤ
    • ジョブの設定

    View Slide

  27. パイプライン
    © OLM Digital, Inc. 27
    サブミッタ
    レンダリング
    サーバー
    合成
    レンダリング
    レンダリング画像
    シェアアップ
    デザイナーのホーム シェア
    デノイズ
    ジョブ
    デノイズ画像
    デノイズ画像
    レンダリング
    ジョブ

    View Slide

  28. サブミッタ( 変更後)
    © OLM Digital, Inc. 28
    • Noiceのチェックボックスを追加
    • レンダーレイヤ毎に設定可能
    • Noiceのジョブも同時に投げる
    – 検証時の最適なパラメータを使用

    View Slide

  29. ジョブ
    © OLM Digital, Inc. 29
    • レンダリングのジョブ
    – プリレンダーMEL
    • シーンに設定されているプリレンダーMEL
    • Output Denoising AOVsのチェック
    • variance型のフィルタの追加
    • 画像の出力先を変更
    • デノイズのジョブ
    – Noiceの実行
    – oiiotoolによる画像のクロップ

    View Slide

  30. パラメータの自動最適化
    © OLM Digital, Inc. 30

    View Slide

  31. 最適なパラメータを求めるには
    © OLM Digital, Inc. 31
    1.パラメータの選定
    4.スーパーバイザー
    と確認
    2.レンダリング
    デノイズ
    3.画像の比較
    期間にして約2か月

    View Slide

  32. パラメータの自動最適化
    © OLM Digital, Inc. 32
    自動化
    負担削減
    1.パラメータの選定
    スーパーバイザーと確認
    2.レンダリング
    デノイズ
    3.画像の比較

    View Slide

  33. パラメータの自動最適化
    © OLM Digital, Inc. 33
    自動化
    負担削減
    1.パラメータの選定
    スーパーバイザーと確認
    2.レンダリング
    デノイズ
    3.画像の比較
    10種のパラメータ
    - Arnoldのサンプル(6種類)
    - Noiceのパラメータ(4種類)

    View Slide

  34. パラメータの自動最適化
    © OLM Digital, Inc. 34
    自動化
    負担削減
    1.パラメータの選定
    スーパーバイザーと確認
    2.レンダリング
    デノイズ
    3.画像の比較
    最適化

    View Slide

  35. ベイズ最適化
    • パラメータの選定回数の最小化
    • 未知の関数の最適値を求める
    – 未知の関数=レンダリング・デノイズ
    • 最適値を出力するパラメータ=求めるパラメータ
    © OLM Digital, Inc. 35

    View Slide

  36. Image Quality Assessment
    • レンダリング・デノイズ画像の評価
    • リファレンスの画像と比較し、評価値を算出
    • 複数の評価手法を実装
    – Mean Squared Error (MSE)
    – Relative Mean Square Error (rMSE)
    – Structural Similarity Index (SSIM)
    – Structural Contrast Distortion Metric
    © OLM Digital, Inc. 36

    View Slide

  37. Mean Squared Error (MSE)
    • 評価したい画像とリファレンス画像それぞれのピクセルの平均の距
    離(差分)
    • 並列化が容易
    • 人間の知覚による限界:人間はより暗い領域のノイズに敏感
    © OLM Digital, Inc. 37

    View Slide

  38. Mean Squared Error (MSE)
    © OLM Digital, Inc. 38
    © Wang, Zhou, et al. "Image quality assessment: from error visibility to structural similarity." IEEE transactions on image processing 13.4 (2004)
    リファレンス画像(a)に対して
    画像(b)~(f)はすべて同じ評価値

    View Slide

  39. Relative Mean Square Error (rMSE)
    • 暗さによって重み付け
    • MSE同様ピクセル間の差分を計算するが、リファレンス画像の輝度
    で割る
    • 人間の知覚を考慮するには不十分
    © OLM Digital, Inc. 39

    View Slide

  40. Structural Similarity Index (SSIM)
    • MSEのような距離を表すのではない
    • コントラストおよび輝度の変化、画像間の相関
    • どの程度リファレンス画像に類似するのかを表す
    © OLM Digital, Inc. 40
    © Wang, Zhou, et al. "Image quality assessment: from error visibility to structural similarity." IEEE transactions on image processing 13.4 (2004)

    View Slide

  41. (a)Reference (b) SSIM = 0.9168 (c) SSIM = 0.9900
    Structural Similarity Index (SSIM)
    © OLM Digital, Inc. 41
    © Wang, Zhou, et al. "Image quality assessment: from error visibility to structural similarity." IEEE transactions on image processing 13.4 (2004)
    (d) SSIM = 0.6949 (e) SSIM = 0.7052 (f) SSIM = 0.7748

    View Slide

  42. Structural Contrast Distortion Metric (SC-DM)
    • 人間の視覚が誤差をどのように認識するのかをより考慮
    • 2000人に対して行われた実験ではより知覚に一致した
    • より最適化処理に適した準凸関数
    © OLM Digital, Inc. 42
    © Bae, Sung-Ho, and Munchurl Kim.
    "A novel image quality assessment with globally and locally consilient visual quality perception."
    IEEE Transactions on Image Processing 25.5 (2016)

    View Slide

  43. Image Quality Assessment(まとめ)
    • 手法によっては評価結果と人間の知覚とのギャップがある
    • SC-DMを採用
    © OLM Digital, Inc. 43
    手法 MSE rMSE SSIM SC-DM
    人間の知覚との
    ギャップ 大 > 小

    View Slide

  44. パラメータの自動最適化(処理の流れ)
    1. 数パターンのパラメータでレンダリング・デノイズ
    2. 上記の画像群を評価
    3. 以下の処理を一定回数行う
    a. ベイズ最適化による次のパラメータを取得
    b. レンダリング・デノイズ
    c. 画像を評価
    4. すべてのパラメータの中から最適なものを取得
    © OLM Digital, Inc. 44

    View Slide

  45. パラメータの自動最適化(現在の状況)
    • 完了
    – Image Quality Assessmentの実装
    – Pythonのベイズ最適化ライブラリ「GpyOpt」を導入
    – 各ジョブを投げるプログラムの実装
    • レンダリング、デノイズ、画像の評価、ベイズ最適化
    • 今後の課題
    – GpyOptのパラメータ等の最適化に関するパラメータの調整
    – 最適なパラメータによってレンダリング・デノイズされた画像の評価
    © OLM Digital, Inc. 45

    View Slide

  46. まとめと今後の予定
    • まとめ
    – Noice
    • レンダリング時間の短縮&クオリティ向上
    • パラメータの選定等の課題
    – パラメータの自動最適化
    • ベイズ最適化
    • Image Quality Assessment
    • 今後の予定
    – パラメータの自動最適化の実装
    – プロダクションでのテスト・導入
    – 他のデノイザ―の検証
    © OLM Digital, Inc. 46

    View Slide

  47. 謝辞
    スーパーバイザー 小俣 隆文
    スーパーバイザー 齋藤 和丈
    © OLM Digital, Inc. 47

    View Slide