NeRF Director: Revisiting View Selection in Neural Volume Rendering [CVPR 2024]

CVPR 2024で発表された “NeRF Director: Revisiting View Selection in Neural Volume Rendering” の論文の内容をまとめたスライドです。
- Neural Radiance Fields (NeRF) において，対象空間を均等にカバーする視点選択方法を提案
- より少数視点から優れた描画性能を達成

Transcript

1. Spatial AI Network 勉強会，2025.06.03 安永綾花 (慶應義塾大学) 1 Weekly Meeting Wenhui Xiao, Rodrigo Santa Cruz, David Ahmedt-Aristizabal, Olivier Salvado, Clinton Fookes, and Leo Lebrat CVPR 2024 NeRF Director: Revisiting View Selection in Neural Volume Rendering
2. 概要 • Neural Radiance Fields (NeRF) において対象空間を均等に カバーする視点選択方法を提案 • 少数視点から高速に高品質な描画性能を達成 比較手法 • Random + 従来手法（error-based / uncertainty-guided） 2
3. 背景 • Neural Renderingは，3D computer visionに大きく貢献 • 学習に使用する視点選択に関して，未だ議論が不足 • “garbage in, garbage out” • 高品質な結果を得る上で，視点選択は重要な役割を果たす 3 [Mildenhall et al., 2020]
4. 背景：Test view selection • 視点回転だけで，View coverageの分布が変化 最新のNeRF手法の性能順位が変動する可能性がある • 公平な評価を行うには シーン全体を均等に評価することが必要 4 回転 視点回転によるView coverage分布変化の例
5. 背景：Train view selection a. PSNRの比較 • 同等の結果を出すために必要な視点数に大きな差 b. 定性評価 • Rand sampling (RS) の方が学習データが多いが，定性的に劣る 5 (a) 定量評価 (b) 定性評価
6. 関連研究：Uncertainty-Guided Methods モデルの自信のなさ（= 不確実性）を定量化し，どこに新視点を追加 すべきかを決める． • NeRF-W [Martin-Brualla et al., 2021] • 不確実性を活用し，一時的な要素（動く人や車など）の影響を低減 • Density-aware NeRF Ensembles [Sünderhauf et al., 2023] • 複数のモデルの予測から不確実性を評価．最も不確実性の高い位置に追加 • Active-NeRF [Pan et al., 2022] • 候補視点の不確実性の減少量を評価．減少が最大化する視点を選択 → 不確実性の推定精度が結果に大きく影響する 6
7. 関連研究：Error-guided methods 再構成誤差を用いて，精度の低い領域を選択する手法 • Zhang et al., 2023 • 色の変化や損失の大きな点を選択 • Otonari et al., 2022 • 360°シーンにおいて歪みの大きい視点を優先的に選択 • PVD-AL [Fang et al., 2023] • 教師モデルと生徒モデルの出力差が大きい視点・レイ・点を選択 → エラーの大きい視点を集中的に選択する可能性がある 7
8. 研究目的 1. 公平な評価を行うための，評価視点の選択方法の提案 2. 不確実性やエラー推定だけに頼らずに，対象空間を均等にカ バーするための視点選択方法の提案 → 少ない学習画像で高品質な描画性能の達成を目指す 8
9. Providing a Robust Evaluation • 13つのテストセットを4つのNeRF手法で順位付け • 評価するカメラの向きを変えると評価順位が変動する • 球面上に均等に配置した結果，偏りのない評価が可能 9 Original Testing Set Proposed Testing Set instantNGP MipNeRF 順位 変動なし
10. 提案手法：Farthest View Sampling (FVS) できるだけ離れている視点を全体に散らばらせる 1. 全体の視点集合 𝑉 は 𝑁個 2. 初期視点セット 𝑆 を 𝑘 個選択 (𝑘 < 𝑁) 3. 未選択の視点の中から 𝑆 から最も離れている視点 𝑣∗ を探す 4. 𝑣∗を 𝑆 に追加 5. 𝑆 に 𝑛 個の視点が集まるまで繰り返す 10 次スライド
11. 提案手法：Farthest View Sampling (FVS) What is the definition of 𝐝 𝑣, 𝑠 ? 1. 空間的な距離 • （球面上の配置）大円距離を計算 • （自由配置）ユークリッド距離を計算 2. 写真測量を用いた距離 11
12. 提案手法：Information Gain-based Sampling (IGS) 未選択の視点に対して誤差や不確実性からinformation gainを評価し 情報量の多い（=有益な視点）を選択 • FVSと異なる点 視点追加毎に，逐次的に学習/評価 • （Optional）relaxation step • 3D空間の特定領域のカメラ密集を避ける • Lloyd-Maxアルゴリズム • 新規選択視点群の位置を均一に再配置 12 視点分布の可視化 （初期：緑，追加：赤）
13. 評価実験：概要 1. 合成・実データにおける描画品質を定量的・定性的に評価 2. 学習速度の評価（InstantNGP） • 異なる視点セットで複数学習し，FVSとRSを比較 3. Ablation Study • FVSにおける有効な距離推定方法 • IGSにおける有効なinformation typeを確認 13
14. 評価実験：定量評価 • NeRF Synthetic dataset（合成データ） • FVSとIGSが優れた描画品質 • ActiveNeRF / Density-aware NeRF は，RSに劣っている • TanksAndTemples dataset（実データ） • FVSが最も高い描画品質，次いでIGS • Density-aware NeRFはRSより優れた品質：不確実性の推定が正確 14 a b c d b a c d
15. 評価実験：定性評価 15
16. 評価実験：学習速度 • NeRF Synthetic datasetに対してInstantNGPの学習時間を計測 • 5つのシーンで10回ずつ実験を行う（異なる視点） • FVSは，RSと同等の描画品質を短時間で達成可能 16 学習時間の平均と標準偏差の比較（単位：分）
17. Ablation Study：FV・IGS • FVS: 距離の推定方法の比較 • 𝐝!"# + 𝐝$%&'& が効果的 • IGS: Information type (error vs uncertainty) • NeRF視点選択において，誤差を用いる方が効果的 17
18. まとめ • 学習と評価の両面で，NeRFの視点選択の重要性を示した • SOTAと比較し，FVSが最も優れた描画性能を達成 • Limitation • 提案手法は同一解像度のカメラで撮影された視点かつ物体中心の 設定が想定されている • より自由な（非構造な）撮影配置を考慮 18