第61回 コンピュータビジョン勉強会「Mip-Splatting: Alias-free 3D Gaussian Splatting」

Transcript

1. Mip-Splatting: Alias-free 3D Gaussian Splatting 2024.08.03 hiroki kawauchi 第61回 コンピュータビジョン勉強会@関東（後編）
2. 自己紹介 hiroki kawauchi • メガベンチャーでMLエンジニア • 業務：CV/LLM • 学生時代： ◦ 衛星画像など地理情報解析 ▪ Kawauchi, H., et al. (2022). Shap-based interpretable object detection method for satellite imagery. Remote Sensing, 14(9), 1970. ◦ 3D再構成
3. Contents 1. 3D Gaussian Splatting Tutorialと CVPR2024でのトレンド 2. 論文サマリ 3. 課題と関連研究 4. 提案手法と実験結果 5. まとめ
4. 1. 3D Gaussian Splatting Tutorialと CVPR2024でのトレンド 2. 論文サマリ 3. 課題と関連研究 4. 提案手法と実験結果 5. まとめ 1. 3D Gaussian Splatting Tutorialと CVPR2024でのトレンド
5. 3D Gaussian Splatting Tutorial • Kerbl, B., et al. (2023). 3d gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics, 42(4), 1-14. ◦ INRIA（仏）の研究者らが、 SIGGRAPH2023にて提案。 ◦ 1年でcitation 1000 over。
6. 3D Gaussian Splatting Tutorial • 自由視点画像合成の手法。従来手法=NeRFを、品質・学習時間・レンダリング速度で 上回り、高品質なリアルタイムレンダリングを可能にした。
7. 3D Gaussian Splatting Tutorial • 3DのGaussians（位置・大きさ・色・透明度）をsplat（ばらまく） • 3D→2D平面に投影して、ラスタライズレンダリングによって描画=高速・軽量 ◦ NeRFと異なる点 ▪ NNは用いない。NeRFは光線ごとに追うレイトレーシング（マーチング）
8. 3D Gaussian Splatting in CVPR2024 CVPR2024でも多数の3DGS系論文が採択。 • 高品質化：Mip-Splatting [Best Student Paper] • 動的シーンへの対応：Spacetime Gaussian Feature Splatting • 3DGS+（surface）再構成 ◦ SuGaR (Surface-Aligned Gaussian Splatting) ◦ Gaussian Splatting SLAM [Oral] • セマンティクスの付与：LangSplat [Highlight] • Human Modelling：GPS-Gaussian [Highlight] その他、SIGGRAPH2024でも多数採択。
9. 1. 3D Gaussian Splatting Tutorialと CVPR2024でのトレンド 2. 論文サマリ 3. 課題と関連研究 4. 提案手法と実験結果 5. まとめ 2. 論文サマリ
10. 論文サマリ: Mip-Splatting: Alias-free 3D Gaussian Splatting Project Page: https://niujinshuchong.github.io/mip-splatting Code: https://github.com/autonomousvision/mip-splatting Paper: https://arxiv.org/pdf/2311.16493.pdf Viewer: https://niujinshuchong.github.io/mip-splatting-demo/ 概要 • 3DGSのZoom In/Outで発生する エイリアスを抑制した手法を提案。 • 3D Smoothing Filterで、3D空間での 最大周波数を制限。 • 2D Mip Filterで、2D画像空間での 膨張ノイズを軽減。 • Best Student Paper
11. 1. 3D Gaussian Splatting Tutorialと CVPR2024でのトレンド 2. 論文サマリ 3. 課題と関連研究 4. 提案手法と実験結果 5. まとめ 3. 課題と関連研究
12. 3D Gaussian Splattingの課題 ズームアウト時の膨張ノイズ • ズームアウト（or 焦点距離小）時 膨張して投影されてしまう問題。 • 2D Dilation Filterによって、本来は 小さなGaussianが強調される。 • 3DGSには、Gaussianの周波数制約 なし。
13. 3D Gaussian Splattingの課題 ズームイン時の高周波ノイズ • ズームイン（or 焦点距離大）時に 高周波ノイズが発生する問題。 • 特に詳細性が高いシーンやエッジに 高周波成分が含まれがち。 • 3DGSでは、2D画像平面に投影する際 エッジを強調するために2D Dilation Filterが使用されるため発生。
14. 関連研究：Elliptical Weighted Average (EWA) Splatting • ZWICKER, Matthias, et al. EWA volume splatting. In: Proceedings Visualization, 2001. VIS'01. IEEE, 2001. • EWA Splattingでは画像のナイキスト周波数に基 づく、周波数制約を課す ◦ 画像平面上の2D Gaussianにlow pass filter ▪ Prefilteringと呼ばれるanti-aliasing手法 ▪ Filter sizeは経験的に選択する
15. 関連研究：Mip-NeRF • BARRON, Jonathan T., et al. Mip-nerf: A multiscale representation for anti-aliasing neural radiance fields. ICCV, 2021. • 高周波ノイズを減衰させるためにIntegrated position encoding (IPE)を導入 ◦ 特徴量を視線上の点ではなく、ガウス分布で近似したコーン内積分で表現 • CGにおけるアンチエイリアス手法のmipmapから命名
16. 1. 3D Gaussian Splatting Tutorialと CVPR2024でのトレンド 2. 論文サマリ 3. 課題と関連研究 4. 提案手法と実験結果 5. まとめ 4. 提案手法と実験結果
17. 提案手法：3D Smoothing Filter • 目的：ズームイン時の高周波ノイズを排除する • 3D表現の最大周波数制約ををtrain画像から決定 • 標本化定理より、標本周波数の1/2を超える成分を除去するlow pass filterを適用する • n個選んだカメラの少なくとも1台が再構成できる最大の周波数を制約にする カメラnから見えるか？ Gaussianの中心p 焦点距離f 距離d 各Gaussian primitives Gaussian low pass filter
18. 提案手法：2D Mip Filter • 目的：3DGSの2D dilation filterのエッジ強調によるノイズを緩和する • 画像平面で2D box filterを適用したい ◦ 効率化のため2D Gaussian filterで近似する p: Gaussianの中心 s: filter size
19. 実験結果 実装詳細 • データセット：Blender Dataset、Mip-NeRF360データセット • 学習： ◦ 各シーン30,000 iterで、100iterごとに標本周波数を計算 ▪ その分若干オーバーヘッドは増える • 手法： ◦ 3DGS、3DGS +EWA等と比較
20. 実験結果：定量評価 • Blender Dataset（train: シングルスケール・test：マルチスケール） • PSNR↑は、3DGSに比べて、スケール変更に頑健な結果
21. 実験結果：定性評価 • ズームアウト ◦ +EWA, Mip-splattingは膨張を抑えることができている Mip-splatting
22. 実験結果：定性評価 • ズームイン ◦ Mip Splattingでは高周波ノイズ（サドル上の筋など）を抑制 Mip-splatting
23. 実験結果：Ablation • 3D Smoothing filter ◦ 省略すると、高解像度の場合に高周波ノイズが発生 ▪ 2D Mip Filterに関してはその効果はあまりない • 2D Mip filter ◦ 省略すると、膨張ノイズが発生 • これら2つのfilterを除くと ◦ 小さなGaussianが生成されすぎて、Mip-NeRF360ではA100（40GB）に載らない
24. まとめ • CVPR2024でのトレンド ◦ 3DGS系の論文が多数採択。（高品質化、動的、セマンティクスの付与など） • Mip-Splatting ◦ 3DGSのZoom In/Outで発生するエイリアスを抑制した手法を提案（高品質化）。 ◦ 3D Smoothing Filter ▪ 3D空間での最大周波数制約により、高周波ノイズを抑制。 ◦ 2D Mip Filter ▪ Gaussian Filterによって、2D画像空間での膨張ノイズを軽減。