レイトレ合宿8 デノイザー的な / Something like a denoiser, Ray Tracing Camp 8

レイトレ合宿8 ( https://sites.google.com/view/raytracingcamp8/ )のデノイズ部門で提出したデノイザーの紹介です。

Transcript

1. デノイザー(とインターフェースが同じであるなにか)
   概要
   🤔 Single Imageのデノイザー、SVGF(の簡略化版)みたいなの実装しても面白くないなぁ～
   結果が予想できない適当NNを試す！🎲
   - PyTorch周り調べるのも間に合わなさそうだったのでtiny-cuda-nnを使う
   - 所謂NNフレームワークのように汎用的ではない
   - CNNですらないMLP (幅512の隠れ層10層に設定)
   - 入力：適当に周辺ピクセルのフィーチャーをぶっこむ、出力：色を直接推論
   - 凝ったInput Encodingも無し
   - 訓練データはpbrt-v4を使って生成、多少正規化的な処理
   - なんかアルベドがよくわからん感じだけど見なかったことにする
   - GPUレンダリングもサポートしていて高sppの結果を素早く得られた
   - 初めMitsuba3を試そうとしたがアルベド出力が見当たらなかった
   - アルベド(デ)モジュレーション
   - サンプルリポジトリのアセット見ると鏡とか光源のアルベドがゼロ
   アルベドゼロ = refも真っ黒ピクセルを想定していたがそうではない
   → やばい！デモジュレーション削除、提出 (Aug 24)
   

   View Slide

2. 最初の訓練が動いてロスが下がっているのを眺めていたとき
   「お、ええやん！(淡い期待)」→ 絶望
   ロスが下がっていくのを見るのは趣がある
   

   View Slide