Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Dropping Anchor and Spherical Harmonics for Spa...

Dropping Anchor and Spherical Harmonics for Sparse-view Gaussian Splatting (CVPR 2026)

Sparse-view 3D Gaussian Splatting(3DGS)における過学習を抑制する手法 DropAnSH-GS を紹介する発表。提案手法では、空間的に近いGaussian群のopacityをまとめてDropoutする Anchor-based Dropout と、過学習しやすい高次のSpherical Harmonics(SH)係数をDropoutする Spherical Harmonics Dropout を導入する。これにより、少数視点からの新規視点合成の品質向上とモデルサイズ削減を実現する。

Spatial AI Network

September 18, 2026

Transcript

22 slides
  1. Dropping Anchor and Spherical Harmonics for Sparse-view Gaussian Splatting (CVPR

    2026) Shuangkang Fang, I-Chao Shen, Xuanyang Zhang, Zesheng Wang, Yufeng Wang, Wenrui Ding, Gang Yu, Takeo Igarashi Beihang University, The University of Tokyo, StepFun 東京大学 佐藤いまり研究室 M2 山口万瑛
  2. 背景: Sparse-View 新規視点合成 目的  3~10枚の少数の入力画像から高品質な新規視点画像を生成する 先行研究   NeRF系→正則化項を導入

    ⚫ DietNeRF[ICCV 2021]: CLIPを使ったsemantic consistency loss ⚫ RegNeRF[CVPR 2022]: 未観測視点からのパッチ内でのdepth smoothness loss ⚫ FeeNeRF[CVPR 2023]:入力位置エンコーディングの周波数帯を制御するfrequency regularizationに 高周波成分を抑制 3DGS系→初期化の工夫、深度制約の活用、その他 ⚫ FSGS[ECCV 2024]:単眼depth推定を使って、depth regularization ⚫ CoR-GS[ECCV 2024]:2つの3DGSモデルを同時に学習し、両者の出力を近づけるloss ⚫ InstantSplat [CVPR workshop]:Dust3R/MAS3R系のdenth stereo priorを使い、SfMなしで初期化 ⚫ DNGaussian[CVPR 2024]:単眼depth推定を使って、depth regularization ⚫ NexusGS[CVPR 2025]: optical flowとカメラ姿勢から信頼性の高いdepth priorを推定
  3. 関連研究: Dropoutによる正則化 DropoutGS [CVPR 2025]  「Gaussian数が少ないモデルほど過学習しにくい」という観察に着目  学習中に一部のGaussianをランダムに無効化し、特定のGaussianに依存しすぎることを防ぐ DropGaussian

    [CVPR 2025]  「Occlusionにより、カメラから遠いGaussianはレンダリングされにくく、勾配が流れにくい」と いう観察の注目  学習中に一部のGaussianをランダムに無効化し、残ったGaussianに強く勾配が流れるように
  4. 1. Anchor-based Dropout アイデア 個のGaussianではなく、空間的に近いGaussian群をまとめて削除する。 手順 1. Anchor Selection: 全Gaussianからランダムにanchor

    gaussianをsampling (サンプ リング率 p_a を指定) 2. Neighborhood Construction: 各anchor gaussianに対し、k近傍Gaussianを探索す る 3. Structured Dropout: Anchor Gaussianとその近傍Gaussianをまとめてdropoutする DropoutするGaussianにマスクをかける(m_i = 0) →マスクをかけたGaussianは、そのイテレーションでは レンダリングされない
  5. 2. Spherical Harmonics Dropout アイデア 高次元のSpherical Harmonics (SH) 係数は、sparse-view 条件では過学習しやすいため、高次

    のSH係数をdropoutする。 手順 1. Gaussian Selection: 全 Gaussian から、確率 (p_sh) で対象 Gaussian をランダムにサンプ リングする 2. SH Degree Truncation: 選択された Gaussian に対し、保持する最大 SH 次数 (l_max) を 設定する 3. SH Dropout: l_maxより高次の SH 係数を 0 にする 4. Progressive Training: 学習の進行に伴い (l_max) を徐々に増やし、段階的に高周波成分 を学習させる
  6. 実験設定    データセット ⚫ LLFF: リアルデータ/カメラ移動範囲が比較的限定/補間性能を評価 ⚫ MipNeRF-360:

    リアルデータ/360度シーンを含む/LLFFよりもカメラ軌道やシーン構造が複雑 ⚫ Blender: 合成データ 比較手法 ⚫ NeRF系手法: Mip-NeRF、RegNeRF、DietNeRF、FreeNeRF ⚫ 3DGS系手法: 3DGS、DNGaussian、FSGS、CoR-GS ⚫ Dropout系手法: DropGaussian、DropoutGS 評価指標 ⚫  PSNR↑、SSIM↑、LPIPS↓ ハイパーパラメータ ⚫ Anchor sampling rate p_a:iterationに応じて0 → 0.02へ線形増加 ⚫ 近傍Gaussian数 k: 10 ⚫ SH係数Dropout率 p_sh: 0.2 ⚫ 最大 SH 次数 l_max ⚫ 2000 iter: 0 ⚫ 4000 iter: 1 ⚫ 6000 iter: 2
  7. Ablation: その他  Drop Anchorの効果が大きい  Drop AnchorとDrop SHを組み合わせたもの が一番効果的

     Drop SH Randomly: 高次元のSH係数ではなく、 ランダムな次元のSH係数の成分を0にする  高次元のSH成分を0にすることが大事
  8. まとめ・感想 DropAnSH-GS: 空間的に近いGaussian群と高次元のSH係数をDropoutし、 Sparse-view GSでの過学習を防ぐ手法。  感想 ⚫ Sparse-viewだと、Gaussian Splattingの冗長な表現を正しく最適化できず、過学習してしまう

    ことを利用したシンプルな手法 ⚫ サンプリングの方法など、もっと工夫できそう ⚫ パラメータにもう少し頑健だったら嬉しい ⚫ CoR-GSも含め、Machine Learningの手法をGaussian Splattingに持ち込む研究が増えてきてい るので、ML手法の勉強をしたほうがより理解が深まるかも?

More Decks by Spatial AI Network

Other Decks in Research