HyRF: Hybrid Radiance Fields for Memory-efficient and High-quality Novel View Synthesis

ガウシアンプラッティングとニューラルフィールドを組み合わせたハイブリッドアプローチを提案
ジオメトリと外観のプロパティを分離したニューラルフィールドアーキテクチャと背景レンダリングを通じて高周波の詳細を保持しつつ、モデルサイズを大きく圧縮

Transcript

1. HyRF Hybrid Radiance Fields for Novel View Synthesis Spatial AI Network 勉強会 2025/10/14 松岡　徹（Preferred Network） Zipeng Wang, Dan Xu Department of Computer Science and Engineering The Hong Kong University of Science and Technology NeurIPS 2025
2. 2 • 論文 https://arxiv.org/pdf/2509.17083 HyRF: Hybrid Radiance Fields for Novel View Synthesis • 選定理由 ◦ 3DGSの不得意な点を改良したい ▪ サイズ ▪ 遠景 ◦ NeRFと3DGSのハイブリッド手法への興味 論文紹介
3. 3 • 3DGSはリアルタイムで高品質 ◦ メモリオーバーヘッドが大きい • ニューラルフィールドで3DGSの圧縮も提案されている ◦ 高周波成分に弱く、細部が再現できない 背景
4. 4 • 3DGS ◦ リアルタイムで高品質 ◦ メモリオーバーヘッド ▪ 59個のパラメータ • 48個がSH, 7個が異方性スケールと回転 ← 視点依存効果 • NeRF ◦ 視点依存効果を効率よくモデル化 ◦ 高周波の詳細は苦手 3DGSとNeRF
5. 5 • Explicit Gaussains • Decoupled Neural Fields ◦ Geo Field ◦ Rad Field ▪ Background Map 提案手法
6. 6 • Explicit Gaussains ◦ Position ◦ Scale ◦ Opacity ◦ Color Explicit Gaussains 等方性スケール
7. 7 • Geo Field ◦ Rotation ◦ Scale ◦ Opacity Geo Field 異方性スケール multi-resolution hash encoding （instant-ngpのアレ）
8. 8 • Rad Field ◦ Color Rad Field 視点依存
9. 9 • Explicit Gaussains ◦ Position ◦ Scale ◦ Opacity ◦ Color Aggregation • Geo Field ◦ Rotation ◦ Scale ◦ Opacity Sigmoid • Rad Field ◦ Color
10. 10 Rendering • Visibility pre-culling • Foreground rendering • Background rendering Gaussian を用いる
11. 11 • 前処理 ◦ 視錐台に入るGaussianのみ処理を対象にする ◦ Explicit Gaussianのみで処理 ◦ Neural Fieldの評価をスキップ Visibility Pre-Culling 厳密にはこの図は 間違っているのだけど・・・
12. 12 • Background rendering ◦ Rad Fieldに一任 Background Rendering
13. 13 • シーン ◦ Standard real-world scene ▪ MipNeRF360シーンなど。 ▪ MaxHashSize: 2^18 ◦ Object-centered synthetic scenes ▪ オブジェクト中心。小物など。 ▪ MaxHashSize: 2^17 ◦ Large-scale real-world scenes ▪ 街中のシーンなど。巨大。 ▪ MaxHashSize: 2^21 Results
14. 14 • 一般的なシーン Results - Standard real-world scenes
15. 15 • データサイズは通常の3DGSと比べ1/4 Results - Object-centered synthetic scenes
16. 16 • 大規模シーン ◦ 高品質を保ったまま ◦ 通常の3DGSと比べ1/4〜1/7 ◦ 7000倍NeRFより高速 Results - Large-scale real-world scenes
17. 17 • 後処理的な圧縮処理は含まない ◦ とはいえ大体の既存手法と互換性があるはず！ • 試した圧縮手法 ◦ Half Precision Tensor　← GSのPosition ◦ Residual Vector Quantization (R-VQ) ← GSの値に対して ◦ Huffman Encoding　←　NFのHash tableに対して 圧縮
18. 18 • 提案手法をOn/Offして実験 ◦ Decoupled Neural Fields：NFは分割した方が良いの？ ◦ Background Rendering : 背景はGSでやるかNFに任せるか？ ◦ Explicit Gaussian Properties : 全部NFでも良いんじゃない？ Ablation Studies
19. 19 • NFは形状Geoと色Radに分けた方が良い！ Ablation - Decoupled Neural Fields
20. 20 • BackgroundもNFにおまかせするべきだな！ Ablation - Background Rendering
21. 21 • 詳細はNFよりGSで表現すべき Ablation - Explicit Gaussian Properties
22. 22 • 高速に収束 Training Time
23. 23 • 元々の3DGSがもつ問題は解決できてない ◦ エリアシング（主に物体が高速に動く時の） ◦ 形状が不正確 • NF部はハイエンドなGPUを要求 ◦ Webや組み込みでの実現はコミュニティに任せた！ 制限
24. 24 • Hybrid Radiance Fields (HyRF)を提案 • 3DGSとNeualFields(NeRF)のハイブリッド • Decoupled Neural Fields • 省メモリー • 高速で高品質なレンダリング まとめ
25. Appendix
26. 26 • 速い・軽いは正義 • とはいえNeRF使ってるので、ラスタライザベースのAPIで実装は難しい • 圧縮の部分が深掘りが足りてない気もする • 背景部分は環境マップ化で事足りるかも？ • github公開はよ！ 個人的な感想
27. 27 Additional
28. 28 • https://city-super.github.io/scaffold-gs/ Scaffold GS
29. 29 • Multi Resolution Hash Encoding Instant-NGP
30. 30 • 残差ベクトル量子化 Residual Vector Quantization (R-VQ) SoundStream: An End-to-End Neural Audio Codec(https://arxiv.org/pdf/2107.03312) https://www.assemblyai.com/blog/what-is-res idual-vector-quantization
31. 31 コンピュータビジョンエンジニア 募集中 https://www.preferred.jp/ja/careers/ ビジネスパートナー 募集中 https://www.preferred.jp/ja/contact/