Dropping Anchor and Spherical Harmonics for Sparse-view Gaussian Splatting (CVPR 2026)

Sparse-view 3D Gaussian Splatting（3DGS）における過学習を抑制する手法 DropAnSH-GS を紹介する発表。提案手法では、空間的に近いGaussian群のopacityをまとめてDropoutする Anchor-based Dropout と、過学習しやすい高次のSpherical Harmonics（SH）係数をDropoutする Spherical Harmonics Dropout を導入する。これにより、少数視点からの新規視点合成の品質向上とモデルサイズ削減を実現する。

Transcript

1. Dropping Anchor and Spherical Harmonics for Sparse-view Gaussian Splatting (CVPR 2026) Shuangkang Fang, I-Chao Shen, Xuanyang Zhang, Zesheng Wang, Yufeng Wang, Wenrui Ding, Gang Yu, Takeo Igarashi Beihang University, The University of Tokyo, StepFun 東京大学 佐藤いまり研究室 M2 山口万瑛
2. なぜこの論文を選んだのか？  研究で、sparse-view X線画像からのGaussian Splattingをやっている  その際、RGBのsparse-view Gaussian Splattingの論文を参考にしていたので、最新動向を キャッチアップをしたい
3. 論文の概要 Sparse-view 3DGS (入力枚数が少ない条件での3DGS)における過学習を抑えるために、以 下の手法を提案 1. Gaussianの密度を「領域単位」でDropout 2. SH係数にもDropoutを適用 Dropoutとは？ →ニューラルネットワークの学習中に、 一部の要素をランダムに一時的に無効化する正則化手法
4. 背景: Sparse-View 新規視点合成 目的  3~10枚の少数の入力画像から高品質な新規視点画像を生成する 先行研究   NeRF系→正則化項を導入 ⚫ DietNeRF[ICCV 2021]: CLIPを使ったsemantic consistency loss ⚫ RegNeRF[CVPR 2022]: 未観測視点からのパッチ内でのdepth smoothness loss ⚫ FeeNeRF[CVPR 2023]:入力位置エンコーディングの周波数帯を制御するfrequency regularizationに 高周波成分を抑制 3DGS系→初期化の工夫、深度制約の活用、その他 ⚫ FSGS[ECCV 2024]:単眼depth推定を使って、depth regularization ⚫ CoR-GS[ECCV 2024]:2つの3DGSモデルを同時に学習し、両者の出力を近づけるloss ⚫ InstantSplat [CVPR workshop]:Dust3R/MAS3R系のdenth stereo priorを使い、SfMなしで初期化 ⚫ DNGaussian[CVPR 2024]:単眼depth推定を使って、depth regularization ⚫ NexusGS[CVPR 2025]: optical flowとカメラ姿勢から信頼性の高いdepth priorを推定
5. 関連研究: Dropoutによる正則化 DropoutGS [CVPR 2025]  「Gaussian数が少ないモデルほど過学習しにくい」という観察に着目  学習中に一部のGaussianをランダムに無効化し、特定のGaussianに依存しすぎることを防ぐ DropGaussian [CVPR 2025]  「Occlusionにより、カメラから遠いGaussianはレンダリングされにくく、勾配が流れにくい」と いう観察の注目  学習中に一部のGaussianをランダムに無効化し、残ったGaussianに強く勾配が流れるように
6. 関連研究: Dropoutによる正則化 問題点  近傍Gaussianが互いを補完するため、1つだけ削除しても影響が小さい(→Pilot Studyで説明)  既存のDropout手法は、opacityを0にするかのみを考慮し、色(SH)は考慮していない
7. 提案手法: DropAnSH-GS 2種類のDropoutを学習中に導入 1. Anchor-based Dropout (Drop Anchor): 近傍gaussianのopacityをまとめてDropout 2. Spherical Harmonics Dropout(Drop SH): 高次元SHをDropout
8. Pilot Study: Gaussianの局所的な冗長性  1つの表面は、大量の重なり合うGaussianによって表現されている→1つのGaussianを消しても周りの Gaussianでその寄与を表現できてしまう  空間的にまとまった複数の Gaussian を同時に消すほうが、レンダリング結果に大きな変化となり、より 有効な正則化となる
9. Pilot Study: 高次元SHによる過学習  十分な入力枚数だと、高次元なSHを使うことで、性能が 向上する  しかし、sparse-view(3枚)だと、高次元なSHを使うこと で、性能が低下し、モデルサイズが増大 → SHの次数を適切に下げたい
10. 1. Anchor-based Dropout アイデア 個のGaussianではなく、空間的に近いGaussian群をまとめて削除する。 手順 1. Anchor Selection: 全Gaussianからランダムにanchor gaussianをsampling (サンプ リング率 p_a を指定) 2. Neighborhood Construction: 各anchor gaussianに対し、k近傍Gaussianを探索す る 3. Structured Dropout: Anchor Gaussianとその近傍Gaussianをまとめてdropoutする DropoutするGaussianにマスクをかける(m_i = 0) →マスクをかけたGaussianは、そのイテレーションでは レンダリングされない
11. 2. Spherical Harmonics Dropout アイデア 高次元のSpherical Harmonics (SH) 係数は、sparse-view 条件では過学習しやすいため、高次 のSH係数をdropoutする。 手順 1. Gaussian Selection: 全 Gaussian から、確率 (p_sh) で対象 Gaussian をランダムにサンプ リングする 2. SH Degree Truncation: 選択された Gaussian に対し、保持する最大 SH 次数 (l_max) を 設定する 3. SH Dropout: l_maxより高次の SH 係数を 0 にする 4. Progressive Training: 学習の進行に伴い (l_max) を徐々に増やし、段階的に高周波成分 を学習させる
12. Loss Function 通常の3DGSと同様に、学習viewだけでl1・SSIM lossを計算
13. 実験設定    データセット ⚫ LLFF: リアルデータ/カメラ移動範囲が比較的限定/補間性能を評価 ⚫ MipNeRF-360: リアルデータ/360度シーンを含む/LLFFよりもカメラ軌道やシーン構造が複雑 ⚫ Blender: 合成データ 比較手法 ⚫ NeRF系手法: Mip-NeRF、RegNeRF、DietNeRF、FreeNeRF ⚫ 3DGS系手法: 3DGS、DNGaussian、FSGS、CoR-GS ⚫ Dropout系手法: DropGaussian、DropoutGS 評価指標 ⚫  PSNR↑、SSIM↑、LPIPS↓ ハイパーパラメータ ⚫ Anchor sampling rate p_a：iterationに応じて0 → 0.02へ線形増加 ⚫ 近傍Gaussian数 k: 10 ⚫ SH係数Dropout率 p_sh: 0.2 ⚫ 最大 SH 次数 l_max ⚫ 2000 iter: 0 ⚫ 4000 iter: 1 ⚫ 6000 iter: 2
14. 結果: Sparse-View 新規視点合成  LLFF データセットでの定性評価 ⚫ 3-view、6-view、９-viewすべてで比較手法を上回る ⚫ 特に3-viewだと改善が大きい
15. 結果: Sparse-View 新規視点合成 各Gaussianがより広いシーン文脈を保持 するようになり、細部を再現可能に
16. 結果: Sparse-View 新規視点合成 既存手法にある、 gaussian-shapeなアーチ ファクトを抑えられる (でも、ケチャップの鏡面 反射が消えている..？？)
17. 結果: モデルサイズと性能  0次元のSHのみでも、ナイーブな3DGSより 性能がよく、メモリ使用量は75%削減  SHの次元数を増やすと表現能力が向上し、モ デルサイズが向上 →モデルサイズと性能のバランスを柔軟に調 整可能
18. 結果: 他のSparse-View GSと組み合わせる 他手法と組み合わせてもうまくいく汎用性の高い手法
19. 結果: 学習時間  少し学習時間が増えているが、それ以上に性 能が向上している ※ Anchor-based DropOutのkNNはCUDAで 実装し、高速化している
20. Ablation: その他  Drop Anchorの効果が大きい  Drop AnchorとDrop SHを組み合わせたもの が一番効果的  Drop SH Randomly: 高次元のSH係数ではなく、 ランダムな次元のSH係数の成分を0にする  高次元のSH成分を0にすることが大事
21. Ablation: ハイパーパラメータの影響分析  3つの主要なパラメータに対する性能変化をみると、どれも大きすぎると正則化が効 き過ぎてしまい、小さ過ぎても効果がない→あまり頑健ではない？ ⚫ Anchor Selection Probability(p_a) ⚫ 近傍数(k) ⚫ SH Dropout probability(p_sh)
22. まとめ・感想 DropAnSH-GS: 空間的に近いGaussian群と高次元のSH係数をDropoutし、 Sparse-view GSでの過学習を防ぐ手法。  感想 ⚫ Sparse-viewだと、Gaussian Splattingの冗長な表現を正しく最適化できず、過学習してしまう ことを利用したシンプルな手法 ⚫ サンプリングの方法など、もっと工夫できそう ⚫ パラメータにもう少し頑健だったら嬉しい ⚫ CoR-GSも含め、Machine Learningの手法をGaussian Splattingに持ち込む研究が増えてきてい るので、ML手法の勉強をしたほうがより理解が深まるかも？