OLM DigitalではMaya Arnoldを使ってレンダリングしています。ArnoldといえばNoice。ノイズ除去技術が熟してきたので、パイプラインに組み込みました。最大80％のレンダリング時間の削減を可能にする、その仕組みについて説明します。
デノイズツールのパイプライン導入古川 浩也Alexandre Derouet-Jourdan© OLM Digital, Inc. 1
View Slide
構成• レンダリングとデノイズ• Noiceとは• Noiceの検証• Noiceのパイプライン導入• パラメータの自動最適化© OLM Digital, Inc. 2
Noiceによるデノイズ© OLM Digital, Inc. 3
Noiceによるデノイズ© OLM Digital, Inc. 4
Noiceによるデノイズ© OLM Digital, Inc. 51時間16分18秒12分35秒 -83.5%Noiceあり Noiceなし
レンダリングとデノイズ© OLM Digital, Inc. 6
レンダリング• 3DCG制作の最終工程• MayaとArnold• モンテカルロレイトレーシング– 物理法則に基づいたフォトリアリスティックな画像– サンプルの値がクオリティに大きく影響© OLM Digital, Inc. 7
レンダリング© OLM Digital, Inc. 8Camera(AA): 1 13Render time: 1分34秒 1時間16分18秒
デノイズ• レンダリング画像のノイズを除去• 方法– サンプルの値を上げる– 画像処理• 例： Neat Video– デノイザ• 例：Noice, Open Image Denoise© OLM Digital, Inc. 9
Neat VideoからNoiceへ© OLM Digital, Inc. 10Neat Video Noiceデノイズのタイミング 合成作業時 合成作業前用途 撮影動画 レンダリング画像デノイズ量 小 大
Noiceとは© OLM Digital, Inc. 11
Noiceとは• Arnoldに付属するスタンドアローンのデノイザ• 近傍の類似するピクセル同士をブレンド• 対象とする画像フォーマットはEXR• AOVや前後のフレームも考慮© OLM Digital, Inc. 12
Noiceのパラメータ1• 入力画像– 複数指定可能• 出力画像• デノイズするAOV– Varianceタイプのフィルタの追加が必要© OLM Digital, Inc. 13
Noiceのパラメータ2• feature AOV– デノイズの際にガイドとなるAOV– Mayaで専用のオプションをオンにすると自動で出力される• アルベド• 深度（Z）• 法線（N）• extraframes– 考慮する前後のフレーム数• variance– デノイズする強さ© OLM Digital, Inc. 14
• patchradius– パッチの大きさ• searchradius– パッチを探索する範囲Noiceのパラメータ3© OLM Digital, Inc. 15■…探索範囲■…パッチ■…現在のピクセル
Noiceの検証© OLM Digital, Inc. 16
方法© OLM Digital, Inc. 171．パラメータの選定2．レンダリングデノイズ3．画像の比較4．スーパーバイザーと確認
結果リファレンス：約1日レンダリング＋デノイズ：1時間27分© OLM Digital, Inc. 18-94%
Noiceのパイプライン導入© OLM Digital, Inc. 19
Noice導入時の問題• Autocropが機能しない• 特定のシーンでNoiceのパラメータの変更が必要© OLM Digital, Inc. 20© https://docs.arnoldrenderer.com/display/A5AFMUGJPN/EXR
Autocropが機能しない（原因と解決）• 原因– すべてのピクセルで値が0より大きいAOVがひとつでも存在すると無効に– feature AOV として自動で出力されるZ AOVが上記に該当• 解決方法– oiiotoolを使ってデノイズ後の画像をクロップ© OLM Digital, Inc. 21
oiiotoolとは• Open Image IO Tool• MtoAに付属する画像処理ツール• クロップ以外に– フォーマットの変換– メタ情報の取得© OLM Digital, Inc. 22
特定のシーンでNoiceのパラメータの変更が必要（原因）• シーンに対してNoiceのパラメータが不適切© OLM Digital, Inc. 23適切なパラメータ不適切なパラメータ
特定のシーンでNoiceのパラメータの変更が必要（対処）• デザイナーにNoiceのパラメータを変更してもらう• 根本的解決方法ではないが…– 報告があったのが１ショットのみ– プロダクション作業中に発生© OLM Digital, Inc. 24
パイプライン© OLM Digital, Inc. 25サブミッタレンダリングサーバー合成レンダリングレンダリング画像シェアアップデザイナーのホーム シェアレンダリング画像レンダリングジョブ
サブミッタ© OLM Digital, Inc. 26• シーン• 画像の出力先• フレームレンジ• カメラ• レンダーレイヤ• ジョブの設定
パイプライン© OLM Digital, Inc. 27サブミッタレンダリングサーバー合成レンダリングレンダリング画像シェアアップデザイナーのホーム シェアデノイズジョブデノイズ画像デノイズ画像レンダリングジョブ
サブミッタ（ 変更後）© OLM Digital, Inc. 28• Noiceのチェックボックスを追加• レンダーレイヤ毎に設定可能• Noiceのジョブも同時に投げる– 検証時の最適なパラメータを使用
ジョブ© OLM Digital, Inc. 29• レンダリングのジョブ– プリレンダーMEL• シーンに設定されているプリレンダーMEL• Output Denoising AOVsのチェック• variance型のフィルタの追加• 画像の出力先を変更• デノイズのジョブ– Noiceの実行– oiiotoolによる画像のクロップ
パラメータの自動最適化© OLM Digital, Inc. 30
最適なパラメータを求めるには© OLM Digital, Inc. 311．パラメータの選定4．スーパーバイザーと確認2．レンダリングデノイズ3．画像の比較期間にして約2か月
パラメータの自動最適化© OLM Digital, Inc. 32自動化負担削減1．パラメータの選定スーパーバイザーと確認2．レンダリングデノイズ3．画像の比較
パラメータの自動最適化© OLM Digital, Inc. 33自動化負担削減1．パラメータの選定スーパーバイザーと確認2．レンダリングデノイズ3．画像の比較10種のパラメータ- Arnoldのサンプル（6種類）- Noiceのパラメータ（4種類）
パラメータの自動最適化© OLM Digital, Inc. 34自動化負担削減1．パラメータの選定スーパーバイザーと確認2．レンダリングデノイズ3．画像の比較最適化
ベイズ最適化• パラメータの選定回数の最小化• 未知の関数の最適値を求める– 未知の関数＝レンダリング・デノイズ• 最適値を出力するパラメータ＝求めるパラメータ© OLM Digital, Inc. 35
Image Quality Assessment• レンダリング・デノイズ画像の評価• リファレンスの画像と比較し、評価値を算出• 複数の評価手法を実装– Mean Squared Error (MSE)– Relative Mean Square Error (rMSE)– Structural Similarity Index (SSIM)– Structural Contrast Distortion Metric© OLM Digital, Inc. 36
Mean Squared Error (MSE)• 評価したい画像とリファレンス画像それぞれのピクセルの平均の距離（差分）• 並列化が容易• 人間の知覚による限界：人間はより暗い領域のノイズに敏感© OLM Digital, Inc. 37
Mean Squared Error (MSE)© OLM Digital, Inc. 38© Wang, Zhou, et al. "Image quality assessment: from error visibility to structural similarity." IEEE transactions on image processing 13.4 (2004)リファレンス画像(a)に対して画像(b)~(f)はすべて同じ評価値
Relative Mean Square Error (rMSE)• 暗さによって重み付け• MSE同様ピクセル間の差分を計算するが、リファレンス画像の輝度で割る• 人間の知覚を考慮するには不十分© OLM Digital, Inc. 39
Structural Similarity Index (SSIM)• MSEのような距離を表すのではない• コントラストおよび輝度の変化、画像間の相関• どの程度リファレンス画像に類似するのかを表す© OLM Digital, Inc. 40© Wang, Zhou, et al. "Image quality assessment: from error visibility to structural similarity." IEEE transactions on image processing 13.4 (2004)
(a)Reference (b) SSIM = 0.9168 (c) SSIM = 0.9900Structural Similarity Index (SSIM)© OLM Digital, Inc. 41© Wang, Zhou, et al. "Image quality assessment: from error visibility to structural similarity." IEEE transactions on image processing 13.4 (2004)(d) SSIM = 0.6949 (e) SSIM = 0.7052 (f) SSIM = 0.7748
Structural Contrast Distortion Metric (SC-DM)• 人間の視覚が誤差をどのように認識するのかをより考慮• 2000人に対して行われた実験ではより知覚に一致した• より最適化処理に適した準凸関数© OLM Digital, Inc. 42© Bae, Sung-Ho, and Munchurl Kim."A novel image quality assessment with globally and locally consilient visual quality perception."IEEE Transactions on Image Processing 25.5 (2016)
Image Quality Assessment（まとめ）• 手法によっては評価結果と人間の知覚とのギャップがある• SC-DMを採用© OLM Digital, Inc. 43手法 MSE rMSE SSIM SC-DM人間の知覚とのギャップ 大 ＞ 小
パラメータの自動最適化（処理の流れ）1. 数パターンのパラメータでレンダリング・デノイズ2. 上記の画像群を評価3. 以下の処理を一定回数行うa. ベイズ最適化による次のパラメータを取得b. レンダリング・デノイズc. 画像を評価4. すべてのパラメータの中から最適なものを取得© OLM Digital, Inc. 44
パラメータの自動最適化（現在の状況）• 完了– Image Quality Assessmentの実装– Pythonのベイズ最適化ライブラリ「GpyOpt」を導入– 各ジョブを投げるプログラムの実装• レンダリング、デノイズ、画像の評価、ベイズ最適化• 今後の課題– GpyOptのパラメータ等の最適化に関するパラメータの調整– 最適なパラメータによってレンダリング・デノイズされた画像の評価© OLM Digital, Inc. 45
まとめと今後の予定• まとめ– Noice• レンダリング時間の短縮＆クオリティ向上• パラメータの選定等の課題– パラメータの自動最適化• ベイズ最適化• Image Quality Assessment• 今後の予定– パラメータの自動最適化の実装– プロダクションでのテスト・導入– 他のデノイザ―の検証© OLM Digital, Inc. 46
謝辞スーパーバイザー 小俣 隆文スーパーバイザー 齋藤 和丈© OLM Digital, Inc. 47
olmdrd
shibuiwilliam
kojira
mtx2s
palark
cybozuinsideout
oldbigbuddha
bownie
k1low
takesection
line_developers_tw
onlinesalon
iamshunta
productmarketing
trishagee
cromwellryan
bermonpainter
chrislema
3n
jeffersonlam
kneath
afnizarnur
keithpitt
lara