© DeNA Co., Ltd. 1 Mip-Splatting: Alias-free 3D Gaussian Splatting 株式会社ディー・エヌ・エー 河内大輝 第61回 コンピュータビジョン勉強会@関東（後編）

© DeNA Co., Ltd. 2 hiroki kawauchi ▪ 2023.9- DeNA AIエンジニア ▪ 主にCV, LLMなどの案件に従事 ▪ 東京大学大学院 工学系研究科 修士課程修了 ▪ 建築・都市・地理分野でのDS応用が専門 ▪ 主著：Kawauchi, Hiroki, and Takashi Fuse. "Shap-based interpretable object detection method for satellite imagery." Remote Sensing 14.9 (2022): 1970.など ▪ 交通/自然資源解析スタートアップでPMなど © DeNA Co., Ltd. 自己紹介

© DeNA Co., Ltd. 3 1 3D Gaussian Splatting Tutorial とCVPR2024でのトレンド 論文サマリ 課題と関連研究 提案手法と実験結果 4 3 2 目次 まとめ 5

© DeNA Co., Ltd. 4 4 1. 3D Gaussian Splatting Tutorial と CVPR2024でのトレンド

© DeNA Co., Ltd. 5 3D Gaussian Splatting Tutorial ● Kerbl, Bernhard, et al. "3D Gaussian Splatting for Real-Time Radiance Field Rendering." ACM Trans. Graph. 42.4 (2023): 139-1. ○ 自由視点画像合成の手法。 ○ INRIA（仏）の研究者らが、SIGGRAPH2023にて提案。 ○ 1年でcitation 1000 over。

© DeNA Co., Ltd. 6 3D Gaussian Splatting Tutorial ● 自由視点画像合成の手法。従来手法=NeRFを、品質・学習時間・レンダリング速度で 上回り、高品質なリアルタイムレンダリングを可能にした。 Kerbl, Bernhard, et al. "3D Gaussian Splatting for Real-Time Radiance Field Rendering." ACM Trans. Graph. 42.4 (2023): 139-1.

© DeNA Co., Ltd. 7 3D Gaussian Splatting Tutorial ● 3DのGaussians（位置・大きさ・色・透明度）をsplat（ばらまく） ● 3D→2D平面に投影して、ラスタライズレンダリングによって描画=高速・軽量 ○ NeRFと異なる点 ■ NNは用いない。NeRFは光線ごとに追うレイトレーシング（マーチング） Kerbl, Bernhard, et al. "3D Gaussian Splatting for Real-Time Radiance Field Rendering." ACM Trans. Graph. 42.4 (2023): 139-1.

© DeNA Co., Ltd. 8 3D Gaussian Splatting in CVPR2024 CVPR2024でも多数の3DGS系論文が採択。 ● 高品質化：Yu, Zehao, et al. "Mip-splatting: Alias-free 3d gaussian splatting." [Best Student Paper] ● セマンティクスの付与：Qin, Minghan, et al. "Langsplat: 3d language gaussian splatting." [Highlight] ● 動的シーンへの対応： ○ Li, Zhan, et al. "Spacetime gaussian feature splatting for real-time dynamic view synthesis." ● 3DGS+（surface）再構成 ○ Guédon, Antoine, and Vincent Lepetit. "Sugar: Surface-aligned gaussian splatting for efficient 3d mesh reconstruction and high-quality mesh rendering." ○ Matsuki, Hidenobu, et al. "Gaussian splatting slam." [Oral] ● Human Modelling： ○ Zheng, Shunyuan, et al. "Gps-gaussian: Generalizable pixel-wise 3d gaussian splatting for real-time human novel view synthesis." [Highlight] その他、SIGGRAPH2024でも多数採択。

© DeNA Co., Ltd. 9 9 2. 論文サマリ

© DeNA Co., Ltd. 10 論文サマリ: Mip-Splatting: Alias-free 3D Gaussian Splatting Project Page: https://niujinshuchong.github.io/mip-splatting Code: https://github.com/autonomousvision/mip-splatting Paper: https://arxiv.org/pdf/2311.16493.pdf Viewer: https://niujinshuchong.github.io/mip-splatting-demo/ 概要 ● 3DGSのZoom In/Outで発生する エイリアスを抑制した手法を提案。 ● 3D Smoothing Filterで、3D空間での 最大周波数を制限。 ● 2D Mip Filterで、2D画像空間での エイリアスを軽減。 ● Best Student Paper

© DeNA Co., Ltd. 11 11 3. 課題と関連研究

© DeNA Co., Ltd. 12 3D Gaussian Splattingの課題 ズームアウト時の膨張ノイズ ● ズームアウト（or 焦点距離小）時 膨張して投影されてしまう問題。 ● 2D Dilation Filterによって、本来は 小さなGaussianが強調される。 ● 3DGSには、Gaussianの周波数制約 なし。 Yu, Zehao, et al. "Mip-splatting: Alias-free 3d gaussian splatting." Proceedings of the IEEE/CVF CVPR. 2024.

© DeNA Co., Ltd. 13 3D Gaussian Splattingの課題 ズームイン時の高周波ノイズ ● ズームイン（or 焦点距離大）時に 高周波ノイズが発生する問題。 ● 特に詳細性が高いシーンやエッジに 高周波成分が含まれがち。 ● 3DGSでは、2D画像平面に投影する際 エッジを強調するために2D Dilation Filterが使用されるため発生。 Yu, Zehao, et al. "Mip-splatting: Alias-free 3d gaussian splatting." Proceedings of the IEEE/CVF CVPR. 2024.

© DeNA Co., Ltd. 14 関連研究：Elliptical Weighted Average (EWA) Splatting ● ZWICKER, Matthias, et al. EWA volume splatting. In: Proceedings Visualization, 2001. VIS'01. IEEE, 2001. ● EWA Splattingでは画像のナイキスト周波数に基 づく、周波数制約を課す ○ 画像平面上の2D Gaussianにlow pass filter ■ Prefilteringと呼ばれるanti-aliasing手法 ■ Filter sizeは経験的に選択する

© DeNA Co., Ltd. 15 関連研究：Mip-NeRF ● BARRON, Jonathan T., et al. Mip-nerf: A multiscale representation for anti-aliasing neural radiance fields. ICCV, 2021. ● 高周波ノイズを減衰させるためにIntegrated position encoding (IPE)を導入 ○ 特徴量を視線上の点ではなく、ガウス分布で近似したコーン内積分で表現 ● CGにおけるアンチエイリアス手法のmipmapから命名

© DeNA Co., Ltd. 16 16 4. 提案手法と実験結果

© DeNA Co., Ltd. 17 提案手法：3D Smoothing Filter ● 目的：ズームイン時の高周波ノイズを排除する ● 3D表現の最大周波数制約ををtrain画像から決定 ● 標本化定理より、標本周波数の1/2を超える成分を除去するlow pass filterを適用する ● n個選んだカメラの少なくとも1台が再構成できる最大の周波数を制約にする カメラnから見えるか？ Gaussianの中心p 焦点距離f 距離d 各Gaussian primitives Gaussian low pass filter

© DeNA Co., Ltd. 18 提案手法：2D Mip Filter ● 目的：3DGSの2D dilation filterのエッジ強調による膨張ノイズを緩和する ● 画像平面で2D box filterを適用したい ○ 効率化のため2D Gaussian filterで近似する p: Gaussianの中心 s: filter size

© DeNA Co., Ltd. 19 実験結果 実装詳細 ● データセット：Blender Dataset、Mip-NeRF360データセット ● 学習： ○ 各シーン30,000 iterで、100iterごとに標本周波数を計算 ■ その分若干オーバーヘッドは増える ● 手法： ○ 3DGS、3DGS +EWA等と比較

© DeNA Co., Ltd. 20 実験結果：定量評価 ● Blender Dataset（train: シングルスケール・test：マルチスケール） ● PSNR↑は、3DGSに比べて、スケール変更に頑健な結果 Yu, Zehao, et al. "Mip-splatting: Alias-free 3d gaussian splatting." Proceedings of the IEEE/CVF CVPR. 2024.

© DeNA Co., Ltd. 21 実験結果：定性評価 ● ズームアウト ○ +EWA, Mip-splattingは膨張を抑えることができている Mip-splatting Yu, Zehao, et al. "Mip-splatting: Alias-free 3d gaussian splatting." Proceedings of the IEEE/CVF CVPR. 2024.

© DeNA Co., Ltd. 22 実験結果：定性評価 ● ズームイン ○ Mip Splattingでは高周波ノイズ（サドル上の筋など）を抑制 Mip-splatting Yu, Zehao, et al. "Mip-splatting: Alias-free 3d gaussian splatting." Proceedings of the IEEE/CVF CVPR. 2024.

© DeNA Co., Ltd. 23 実験結果：Ablation ● 3D Smoothing filter ○ 省略すると、高解像度の場合に高周波ノイズが発生 ■ 2D Mip Filterに関してはその効果はあまりない ● 2D Mip filter ○ 省略すると、膨張ノイズが発生 ● これら2つのfilterを除くと ○ 小さなGaussianが生成されすぎて、Mip-NeRF360ではA100（40GB）に載らない

© DeNA Co., Ltd. 24 まとめ ● CVPR2024でのトレンド ○ 3DGS系の論文が多数採択。（高品質化、動的、セマンティクスの付与など） ● Mip-Splatting ○ 3DGSのZoom In/Outで発生するエイリアスを抑制した手法を提案（高品質化）。 ○ 3D Smoothing Filter ■ 3D空間での最大周波数制約により、高周波ノイズを抑制。 ○ 2D Mip Filter ■ Gaussian Filterによって、2D画像空間での膨張ノイズを軽減。

© DeNA Co., Ltd. 25