Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
第61回 コンピュータビジョン勉強会「Mip-Splatting: Alias-free 3...
Search
hiroki kawauchi
August 03, 2024
Technology
1
190
第61回 コンピュータビジョン勉強会「Mip-Splatting: Alias-free 3D Gaussian Splatting」
hiroki kawauchi
August 03, 2024
Tweet
Share
More Decks by hiroki kawauchi
See All by hiroki kawauchi
20230827_PLATEAU_Hackathon_G
kwchrk
0
500
Other Decks in Technology
See All in Technology
夏休みの(最後の)宿題 for JuliaTokyo #12
antimon2
0
130
実践的なバグバウンティ入門
scgajge12
4
2.2k
四国クラウドお遍路 2024 in 高知 エンディング
yukataoka
0
150
The XZ Backdoor Story
fr0gger
0
2.4k
データウェアハウス製品のSnowflakeでPythonが動くって知ってました?
foursue
1
160
Binary Authorizationと友達になろう / Let's be friends with Binary Authorization
iselegant
2
140
分野に潜むツールの紹介
pojiro
1
340
contenteditableと向き合う
kikuchikakeru
2
230
Discover Your Tailored Platform Strategy with Real-World Practice
hhiroshell
1
140
[RSJ24] Task Success Prediction for Open-Vocabulary Manipulation Based on Multi-Level Aligned Representations
keio_smilab
PRO
0
230
手軽に始める? おうちサーバーのすゝめ
nyagasan
0
190
20240906_JAWS_Yamanashi_#1_leap_beyond_the_AWS_all_certifications
tsumita
1
210
Featured
See All Featured
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
32k
Done Done
chrislema
180
16k
VelocityConf: Rendering Performance Case Studies
addyosmani
321
23k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Automating Front-end Workflow
addyosmani
1365
200k
Music & Morning Musume
bryan
46
6k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
248
20k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
34
1.9k
Building an army of robots
kneath
302
42k
GitHub's CSS Performance
jonrohan
1029
450k
It's Worth the Effort
3n
182
27k
Transcript
Mip-Splatting: Alias-free 3D Gaussian Splatting 2024.08.03 hiroki kawauchi 第61回 コンピュータビジョン勉強会@関東(後編)
自己紹介 hiroki kawauchi • メガベンチャーでMLエンジニア • 業務:CV/LLM • 学生時代: ◦
衛星画像など地理情報解析 ▪ Kawauchi, H., et al. (2022). Shap-based interpretable object detection method for satellite imagery. Remote Sensing, 14(9), 1970. ◦ 3D再構成
Contents 1. 3D Gaussian Splatting Tutorialと CVPR2024でのトレンド 2. 論文サマリ 3.
課題と関連研究 4. 提案手法と実験結果 5. まとめ
1. 3D Gaussian Splatting Tutorialと CVPR2024でのトレンド 2. 論文サマリ 3. 課題と関連研究
4. 提案手法と実験結果 5. まとめ 1. 3D Gaussian Splatting Tutorialと CVPR2024でのトレンド
3D Gaussian Splatting Tutorial • Kerbl, B., et al. (2023).
3d gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics, 42(4), 1-14. ◦ INRIA(仏)の研究者らが、 SIGGRAPH2023にて提案。 ◦ 1年でcitation 1000 over。
3D Gaussian Splatting Tutorial • 自由視点画像合成の手法。従来手法=NeRFを、品質・学習時間・レンダリング速度で 上回り、高品質なリアルタイムレンダリングを可能にした。
3D Gaussian Splatting Tutorial • 3DのGaussians(位置・大きさ・色・透明度)をsplat(ばらまく) • 3D→2D平面に投影して、ラスタライズレンダリングによって描画=高速・軽量 ◦ NeRFと異なる点
▪ NNは用いない。NeRFは光線ごとに追うレイトレーシング(マーチング)
3D Gaussian Splatting in CVPR2024 CVPR2024でも多数の3DGS系論文が採択。 • 高品質化:Mip-Splatting [Best Student
Paper] • 動的シーンへの対応:Spacetime Gaussian Feature Splatting • 3DGS+(surface)再構成 ◦ SuGaR (Surface-Aligned Gaussian Splatting) ◦ Gaussian Splatting SLAM [Oral] • セマンティクスの付与:LangSplat [Highlight] • Human Modelling:GPS-Gaussian [Highlight] その他、SIGGRAPH2024でも多数採択。
1. 3D Gaussian Splatting Tutorialと CVPR2024でのトレンド 2. 論文サマリ 3. 課題と関連研究
4. 提案手法と実験結果 5. まとめ 2. 論文サマリ
論文サマリ: Mip-Splatting: Alias-free 3D Gaussian Splatting Project Page: https://niujinshuchong.github.io/mip-splatting Code:
https://github.com/autonomousvision/mip-splatting Paper: https://arxiv.org/pdf/2311.16493.pdf Viewer: https://niujinshuchong.github.io/mip-splatting-demo/ 概要 • 3DGSのZoom In/Outで発生する エイリアスを抑制した手法を提案。 • 3D Smoothing Filterで、3D空間での 最大周波数を制限。 • 2D Mip Filterで、2D画像空間での 膨張ノイズを軽減。 • Best Student Paper
1. 3D Gaussian Splatting Tutorialと CVPR2024でのトレンド 2. 論文サマリ 3. 課題と関連研究
4. 提案手法と実験結果 5. まとめ 3. 課題と関連研究
3D Gaussian Splattingの課題 ズームアウト時の膨張ノイズ • ズームアウト(or 焦点距離小)時 膨張して投影されてしまう問題。 • 2D
Dilation Filterによって、本来は 小さなGaussianが強調される。 • 3DGSには、Gaussianの周波数制約 なし。
3D Gaussian Splattingの課題 ズームイン時の高周波ノイズ • ズームイン(or 焦点距離大)時に 高周波ノイズが発生する問題。 • 特に詳細性が高いシーンやエッジに
高周波成分が含まれがち。 • 3DGSでは、2D画像平面に投影する際 エッジを強調するために2D Dilation Filterが使用されるため発生。
関連研究:Elliptical Weighted Average (EWA) Splatting • ZWICKER, Matthias, et al.
EWA volume splatting. In: Proceedings Visualization, 2001. VIS'01. IEEE, 2001. • EWA Splattingでは画像のナイキスト周波数に基 づく、周波数制約を課す ◦ 画像平面上の2D Gaussianにlow pass filter ▪ Prefilteringと呼ばれるanti-aliasing手法 ▪ Filter sizeは経験的に選択する
関連研究:Mip-NeRF • BARRON, Jonathan T., et al. Mip-nerf: A multiscale
representation for anti-aliasing neural radiance fields. ICCV, 2021. • 高周波ノイズを減衰させるためにIntegrated position encoding (IPE)を導入 ◦ 特徴量を視線上の点ではなく、ガウス分布で近似したコーン内積分で表現 • CGにおけるアンチエイリアス手法のmipmapから命名
1. 3D Gaussian Splatting Tutorialと CVPR2024でのトレンド 2. 論文サマリ 3. 課題と関連研究
4. 提案手法と実験結果 5. まとめ 4. 提案手法と実験結果
提案手法:3D Smoothing Filter • 目的:ズームイン時の高周波ノイズを排除する • 3D表現の最大周波数制約ををtrain画像から決定 • 標本化定理より、標本周波数の1/2を超える成分を除去するlow pass
filterを適用する • n個選んだカメラの少なくとも1台が再構成できる最大の周波数を制約にする カメラnから見えるか? Gaussianの中心p 焦点距離f 距離d 各Gaussian primitives Gaussian low pass filter
提案手法:2D Mip Filter • 目的:3DGSの2D dilation filterのエッジ強調によるノイズを緩和する • 画像平面で2D box
filterを適用したい ◦ 効率化のため2D Gaussian filterで近似する p: Gaussianの中心 s: filter size
実験結果 実装詳細 • データセット:Blender Dataset、Mip-NeRF360データセット • 学習: ◦ 各シーン30,000 iterで、100iterごとに標本周波数を計算
▪ その分若干オーバーヘッドは増える • 手法: ◦ 3DGS、3DGS +EWA等と比較
実験結果:定量評価 • Blender Dataset(train: シングルスケール・test:マルチスケール) • PSNR↑は、3DGSに比べて、スケール変更に頑健な結果
実験結果:定性評価 • ズームアウト ◦ +EWA, Mip-splattingは膨張を抑えることができている Mip-splatting
実験結果:定性評価 • ズームイン ◦ Mip Splattingでは高周波ノイズ(サドル上の筋など)を抑制 Mip-splatting
実験結果:Ablation • 3D Smoothing filter ◦ 省略すると、高解像度の場合に高周波ノイズが発生 ▪ 2D Mip
Filterに関してはその効果はあまりない • 2D Mip filter ◦ 省略すると、膨張ノイズが発生 • これら2つのfilterを除くと ◦ 小さなGaussianが生成されすぎて、Mip-NeRF360ではA100(40GB)に載らない
まとめ • CVPR2024でのトレンド ◦ 3DGS系の論文が多数採択。(高品質化、動的、セマンティクスの付与など) • Mip-Splatting ◦ 3DGSのZoom In/Outで発生するエイリアスを抑制した手法を提案(高品質化)。
◦ 3D Smoothing Filter ▪ 3D空間での最大周波数制約により、高周波ノイズを抑制。 ◦ 2D Mip Filter ▪ Gaussian Filterによって、2D画像空間での膨張ノイズを軽減。