GaussianShader: 3D Gaussian Splatting with Shading Functions for Reflective Surfaces

3D Gaussian Splatting（3DGS）において鏡面反射を表現するため、各Gaussianに法線や粗さなどのShading Attributesを付与し、環境光マップと組み合わせて学習を行った。この手法により、鏡面反射の強い物体を対象とした場合において、従来の3DGSよりも高精度な外観再現が可能となった。

Transcript

1. GaussianShader: 3D Gaussian Splatting with Shading Functions for Reflective Surfaces (CVPR 2024) Spatial AI Network勉強会 2025/10/28　山口万瑛 (東京大学) Yingwenqi Jiang, Jiadong Tu, Yuan Liu, Xifeng Gao, Xiaoxiao Long, Wenping Wang, Yuexin Ma
2. 論文紹介 • 論文 https://arxiv.org/pdf/2311.17977 GaussianShader: 3D Gaussian Splatting with Shading Functions for Reflective Surfaces (CVPR 2024) • 選定理由 鏡面反射をGaussianで表現する手法を調べていたところ、一番伸びている論文 だったため。(古めですみません。)
3. 前提: 拡散反射 / 鏡面反射 • 拡散反射: 光の内部散乱の結果、表面 に出てくる光。方向に非依存。 • 鏡面反射: 光の表面での反射の結果、 特定の方向に出てくる光。 Specular Reflection(鏡面反射)を 綺麗に表現したい (出典） https://www.wdic.org/w/SCI/%E9%8F%A1%E9%9D%A2%E5 %8F%8D%E5%B0%84
4. 背景 • ナイーブな3DGSは方向依存の鏡面反射をうまく表現できない ◦ 3DGSでのSpherical Harmonics(SH)での色表現では、強い鏡面反射を表現で きない ◦ 法線マップや照明などのappearance propertiesを明示的にモデル化していな い • NeRF系の手法(Ref-NeRF、ENVIDR)では、implicitにappearance propertiesを学 習させている ◦ しかし、学習コストが高い&複雑なシーンをモデル化するのが難しい
5. 提案手法 1. Shading on 3DGS: GaussianにShading Attributesを持たせ、Specularを考慮した シンプルな輝度計算式を提案 2. Specular Light: 微分可能な環境光マップを学習し、それを元に反射光を推定 3. Normal Estimation: Gaussianから正確な法線マップの推定
6. 1. Shading on 3DGS • 各Gaussianに以下のShading Attributesを持たせる ◦ Diffuse: 拡散反射における物体固有の色 (方向依存ではない) ◦ Tint: 鏡面反射における物体固有の色→物理的には入射光に対する波長ごと の反射率(Fresnel 反射)スペクトルに対応する　参考: Disney BRDF ◦ Residual: 散乱や間接光による反射など残差項
7. 1. Shading on 3DGS • 観測方向ω_oからのGaussianの色を以下のように定式化する : 各Gaussianの Diffuse color : 各Gaussianの Specular Tint (反射光に素材 特有の色を持たせる。銅の赤み等) : 観測方向 ω_oに対応する直接的な鏡面反射光 nがnormal、ρがroughness : 残差項をSpherical Harmonicsで表現
8. 1. Shading on 3DGS tone mapping関数 Gaussianの学習パラメータ L_s: 環境光からの鏡面反射光、n: gaussianの法線を別途、推定する必要がある
9. 2. Specular Light • Specular Lightは視点方向(ω_o)、normal、ρを入力として、以下のように定式化で きる 表面がroughであればあるほど、鏡面ローブが広 い(Effective integral rangeが広い) (参考) specular GGX Normal Distribution ω_i: 入射角 Effective integral range
10. 2. Specular Light • (環境光マップ): 6 x 64 x 64 のcube mapで表現し、学習する • この環境光を粗さごとにあらかじめmip map階層 に平均化しておく ◦ 滑らかな表面→高解像度mip mapを使う ◦ 荒い表面→低解像度mip mapを使う • Specular Light(左辺)を積分せずに、mip mapか ら直接取得できる (出典) https://scalibq.wordpress.com/2013/06/23/cubemaps/
11. 3. Normal Estimation Gaussianは学習中に、平面に近づいていく→短いaxisが法線ベクトルと近いはず！ • vとの差分(Δn_1、Δn_2)を学習パラメータとする • 外側・内側の２通り考えられるので、どちらの場合も学習する
12. 3. Normal Estimation • Normal residual (vとnの差分)が離れすぎないようにpenaltyを追加 • 近くのgaussian間の法線ベクトルを近づけることで、local geometryを滑らかにす る ◦ しかし、KNNをやると学習時間が増加する ◦ 代わりに、レンダリングしたDepth mapからSobel Operatorで推定したnormal と近いという制約を追加する
13. 4. Losses • 全てまとめると以下の式になる Sparse Loss: Gaussianのopacityを0または1に近づける →物体表面が明確になる (出典) https://arxiv.org/abs/1906.07751
14. 実験設定 • データセット ◦ a) NeRF Synthetic: 普通のNVSデータセット ◦ b) Shiny Blender and GLossy Synthetic: 反射性のある物体を集めたデータセット ◦ c) Tanks and Temples: large-scaleなリアルデータセット • 比較手法 ◦ a) 3D Gaussian Splatting ◦ b) VolSDF ◦ c) Ref-NeRF ◦ d) ENVIDR • 評価指標 ◦ PSNR、SSIM、LPIPS
15. 結果 on a) NeRF Synthetic dataset • 定量的には普通のGS とあまり変わらない？
16. 結果 on a) NeRF Synthetic dataset 細部の表現力がGS系の手法が高い
17. 結果 on b) Glossy Dataset • 3DGSと比較して、正しく Normalを推定できている • 環境光マップもそれらしく 取得できている
18. 結果 on b) Shiny Blender Dataset • 3DGSでは、光沢の強い 部分ほど、エラーが大き い • 提案手法では、改善され ている
19. 結果 on b) Shiny Blender dataset • 3DGSより精度が高い • NeRF系の先行研究(ENVIDR、 Ref-NeRF)と比べると精度が僅かに低い ◦ SDFを学習しているので、表面がより スムーズになるため
20. 結果 on c) Tanks and Temples • Large-scaleなシーンでもnormalを最もらし く推定できている
21. 結果 Relighting on b) Glossy Dataset • 学習時とは異なるLightingで Renderingすることができる
22. 学習/推論 時間比較 • NeRF系の手法より学習 時間が大幅に短くなってい る • 3DGSに比べると、学習時 間が2倍近く、FPSが1/3 近くになってしまっている
23. Ablation Study • Loss Functions: 各lossをON/OFF • C_r(Residual Color): ON/OFF • Normal Estimation: 提案手法(Gaussianのshortest axisの差分を推定) / 直接 normalを推定 • Lighting Representation: 提案手法(環境光マップ) / MLP Lighting(similar to Ref-NeRF)
24. Ablation Study • 全て提案手法を組み込んだ方が良 い • 特にnormal lossと環境光マップは 効果が大きい
25. Limitations • 環境光マップ + Spherical Harmonicsでは、lightingを遠方からのものに限定して おり、近距離（near-field）反射を正確に再現することが困難である ◦ より最近の手法(例: EnvGS、Editable Physically-based Reflections in Raytraced Gaussian Radiance Fields)では、Ray-tracing Gaussianによって鏡 面反射を表現している
26. まとめ • 3DGSで鏡面反射を表現した • 各GaussianにShading Attributes(例: normal, roughness)などを持たせ、環境光 マップとともに学習させる • 3DGSよりも鏡面反射の強いターゲットに対して、精度の高いモデリングができた • NeRF系のSOTAと比較すると、精度がそれほど高くないが、学習時間やレンダリン グ速度が速い