第61回 コンピュータビジョン勉強会「Mip-Splatting: Alias-free 3D Gaussian Splatting」

Transcript

1. © DeNA Co., Ltd. 1 Mip-Splatting: Alias-free 3D Gaussian Splatting 株式会社ディー・エヌ・エー 河内大輝 第61回 コンピュータビジョン勉強会@関東（後編）
2. © DeNA Co., Ltd. 2 hiroki kawauchi ▪ 2023.9- DeNA AIエンジニア ▪ 主にCV, LLMなどの案件に従事 ▪ 東京大学大学院 工学系研究科 修士課程修了 ▪ 建築・都市・地理分野でのDS応用が専門 ▪ 主著：Kawauchi, Hiroki, and Takashi Fuse. "Shap-based interpretable object detection method for satellite imagery." Remote Sensing 14.9 (2022): 1970.など ▪ 交通/自然資源解析スタートアップでPMなど © DeNA Co., Ltd. 自己紹介
3. © DeNA Co., Ltd. 3 1 3D Gaussian Splatting Tutorial とCVPR2024でのトレンド 論文サマリ 課題と関連研究 提案手法と実験結果 4 3 2 目次 まとめ 5
4. © DeNA Co., Ltd. 4 4 1. 3D Gaussian Splatting Tutorial と CVPR2024でのトレンド
5. © DeNA Co., Ltd. 5 3D Gaussian Splatting Tutorial • Kerbl, Bernhard, et al. "3D Gaussian Splatting for Real-Time Radiance Field Rendering." ACM Trans. Graph. 42.4 (2023): 139-1. ◦ 自由視点画像合成の手法。 ◦ INRIA（仏）の研究者らが、SIGGRAPH2023にて提案。 ◦ 1年でcitation 1000 over。
6. © DeNA Co., Ltd. 6 3D Gaussian Splatting Tutorial • 自由視点画像合成の手法。従来手法=NeRFを、品質・学習時間・レンダリング速度で 上回り、高品質なリアルタイムレンダリングを可能にした。 Kerbl, Bernhard, et al. "3D Gaussian Splatting for Real-Time Radiance Field Rendering." ACM Trans. Graph. 42.4 (2023): 139-1.
7. © DeNA Co., Ltd. 7 3D Gaussian Splatting Tutorial • 3DのGaussians（位置・大きさ・色・透明度）をsplat（ばらまく） • 3D→2D平面に投影して、ラスタライズレンダリングによって描画=高速・軽量 ◦ NeRFと異なる点 ▪ NNは用いない。NeRFは光線ごとに追うレイトレーシング（マーチング） Kerbl, Bernhard, et al. "3D Gaussian Splatting for Real-Time Radiance Field Rendering." ACM Trans. Graph. 42.4 (2023): 139-1.
8. © DeNA Co., Ltd. 8 3D Gaussian Splatting in CVPR2024 CVPR2024でも多数の3DGS系論文が採択。 • 高品質化：Yu, Zehao, et al. "Mip-splatting: Alias-free 3d gaussian splatting." [Best Student Paper] • セマンティクスの付与：Qin, Minghan, et al. "Langsplat: 3d language gaussian splatting." [Highlight] • 動的シーンへの対応： ◦ Li, Zhan, et al. "Spacetime gaussian feature splatting for real-time dynamic view synthesis." • 3DGS+（surface）再構成 ◦ Guédon, Antoine, and Vincent Lepetit. "Sugar: Surface-aligned gaussian splatting for efficient 3d mesh reconstruction and high-quality mesh rendering." ◦ Matsuki, Hidenobu, et al. "Gaussian splatting slam." [Oral] • Human Modelling： ◦ Zheng, Shunyuan, et al. "Gps-gaussian: Generalizable pixel-wise 3d gaussian splatting for real-time human novel view synthesis." [Highlight] その他、SIGGRAPH2024でも多数採択。
9. © DeNA Co., Ltd. 9 9 2. 論文サマリ
10. © DeNA Co., Ltd. 10 論文サマリ: Mip-Splatting: Alias-free 3D Gaussian Splatting Project Page: https://niujinshuchong.github.io/mip-splatting Code: https://github.com/autonomousvision/mip-splatting Paper: https://arxiv.org/pdf/2311.16493.pdf Viewer: https://niujinshuchong.github.io/mip-splatting-demo/ 概要 • 3DGSのZoom In/Outで発生する エイリアスを抑制した手法を提案。 • 3D Smoothing Filterで、3D空間での 最大周波数を制限。 • 2D Mip Filterで、2D画像空間での エイリアスを軽減。 • Best Student Paper
11. © DeNA Co., Ltd. 11 11 3. 課題と関連研究
12. © DeNA Co., Ltd. 12 3D Gaussian Splattingの課題 ズームアウト時の膨張ノイズ • ズームアウト（or 焦点距離小）時 膨張して投影されてしまう問題。 • 2D Dilation Filterによって、本来は 小さなGaussianが強調される。 • 3DGSには、Gaussianの周波数制約 なし。 Yu, Zehao, et al. "Mip-splatting: Alias-free 3d gaussian splatting." Proceedings of the IEEE/CVF CVPR. 2024.
13. © DeNA Co., Ltd. 13 3D Gaussian Splattingの課題 ズームイン時の高周波ノイズ • ズームイン（or 焦点距離大）時に 高周波ノイズが発生する問題。 • 特に詳細性が高いシーンやエッジに 高周波成分が含まれがち。 • 3DGSでは、2D画像平面に投影する際 エッジを強調するために2D Dilation Filterが使用されるため発生。 Yu, Zehao, et al. "Mip-splatting: Alias-free 3d gaussian splatting." Proceedings of the IEEE/CVF CVPR. 2024.
14. © DeNA Co., Ltd. 14 関連研究：Elliptical Weighted Average (EWA) Splatting • ZWICKER, Matthias, et al. EWA volume splatting. In: Proceedings Visualization, 2001. VIS'01. IEEE, 2001. • EWA Splattingでは画像のナイキスト周波数に基 づく、周波数制約を課す ◦ 画像平面上の2D Gaussianにlow pass filter ▪ Prefilteringと呼ばれるanti-aliasing手法 ▪ Filter sizeは経験的に選択する
15. © DeNA Co., Ltd. 15 関連研究：Mip-NeRF • BARRON, Jonathan T., et al. Mip-nerf: A multiscale representation for anti-aliasing neural radiance fields. ICCV, 2021. • 高周波ノイズを減衰させるためにIntegrated position encoding (IPE)を導入 ◦ 特徴量を視線上の点ではなく、ガウス分布で近似したコーン内積分で表現 • CGにおけるアンチエイリアス手法のmipmapから命名
16. © DeNA Co., Ltd. 16 16 4. 提案手法と実験結果
17. © DeNA Co., Ltd. 17 提案手法：3D Smoothing Filter • 目的：ズームイン時の高周波ノイズを排除する • 3D表現の最大周波数制約ををtrain画像から決定 • 標本化定理より、標本周波数の1/2を超える成分を除去するlow pass filterを適用する • n個選んだカメラの少なくとも1台が再構成できる最大の周波数を制約にする カメラnから見えるか？ Gaussianの中心p 焦点距離f 距離d 各Gaussian primitives Gaussian low pass filter
18. © DeNA Co., Ltd. 18 提案手法：2D Mip Filter • 目的：3DGSの2D dilation filterのエッジ強調による膨張ノイズを緩和する • 画像平面で2D box filterを適用したい ◦ 効率化のため2D Gaussian filterで近似する p: Gaussianの中心 s: filter size
19. © DeNA Co., Ltd. 19 実験結果 実装詳細 • データセット：Blender Dataset、Mip-NeRF360データセット • 学習： ◦ 各シーン30,000 iterで、100iterごとに標本周波数を計算 ▪ その分若干オーバーヘッドは増える • 手法： ◦ 3DGS、3DGS +EWA等と比較
20. © DeNA Co., Ltd. 20 実験結果：定量評価 • Blender Dataset（train: シングルスケール・test：マルチスケール） • PSNR↑は、3DGSに比べて、スケール変更に頑健な結果 Yu, Zehao, et al. "Mip-splatting: Alias-free 3d gaussian splatting." Proceedings of the IEEE/CVF CVPR. 2024.
21. © DeNA Co., Ltd. 21 実験結果：定性評価 • ズームアウト ◦ +EWA, Mip-splattingは膨張を抑えることができている Mip-splatting Yu, Zehao, et al. "Mip-splatting: Alias-free 3d gaussian splatting." Proceedings of the IEEE/CVF CVPR. 2024.
22. © DeNA Co., Ltd. 22 実験結果：定性評価 • ズームイン ◦ Mip Splattingでは高周波ノイズ（サドル上の筋など）を抑制 Mip-splatting Yu, Zehao, et al. "Mip-splatting: Alias-free 3d gaussian splatting." Proceedings of the IEEE/CVF CVPR. 2024.
23. © DeNA Co., Ltd. 23 実験結果：Ablation • 3D Smoothing filter ◦ 省略すると、高解像度の場合に高周波ノイズが発生 ▪ 2D Mip Filterに関してはその効果はあまりない • 2D Mip filter ◦ 省略すると、膨張ノイズが発生 • これら2つのfilterを除くと ◦ 小さなGaussianが生成されすぎて、Mip-NeRF360ではA100（40GB）に載らない
24. © DeNA Co., Ltd. 24 まとめ • CVPR2024でのトレンド ◦ 3DGS系の論文が多数採択。（高品質化、動的、セマンティクスの付与など） • Mip-Splatting ◦ 3DGSのZoom In/Outで発生するエイリアスを抑制した手法を提案（高品質化）。 ◦ 3D Smoothing Filter ▪ 3D空間での最大周波数制約により、高周波ノイズを抑制。 ◦ 2D Mip Filter ▪ Gaussian Filterによって、2D画像空間での膨張ノイズを軽減。
25. © DeNA Co., Ltd. 25