MIRU2024 Neural Density-Distance Fieldを用いた ボリュームレンダリングの 透過率バウンドおよび高速化

Transcript

1. Neural Density-Distance Fieldを用いた ボリュームレンダリングの 透過率バウンドおよび高速化 上田樹（筑波大）、千葉直也（東北大）、相澤宏旭（広島大）、 片岡裕雄（産総研）、北原格（筑波大） OS-1C-07 1
2. 背景：ボリュームレンダリング • VoxelやNeRFなど密度+色の場から画像をレンダリング • レイに沿って場のサンプリングが必要 • 2段階アプローチが一般的 • 物体領域を大まかに検出する荒い一様サンプリング • 上記を事前確率にした重点サンプリング 2 概要 遮光率バウンド サンプリング 評価 まとめ https://www.matthewtancik.com/nerf
3. ボリュームレンダリングのサンプル数 例えばこの会場でNeRFする場合… 会場の奥行き約30m 客席背もたれの厚み約3cm 3 概要 遮光率バウンド サンプリング 評価 まとめ 3000 3 各画素で の一様サンプリングが必要 ≤1000点 ( ) 3000 3 本研究では で検出可能に ≤ 10点 log2 https://www.kumamoto-jo-hall.jp/
4. 関連研究：距離場 • “最も近い物体までの距離”を記述した場 • 勾配ノルムが１に制約(Eikonal制約） ◯ 位置合わせ・メッシュ化等でのサンプリングが効率的 × Solidなシーンでしか利用できない × 最適化過程では制約が満たされない 4 概要 遮光率バウンド サンプリング 評価 まとめ Distance 密度場 距離場
5. 関連研究：NeDDF • 距離場を“Volume Renderingで重みづけた奥行き”に緩和 • 距離とその勾配から密度へ換算可能 • 煙・ガラスなど非ソリッドに適用可能 • 勾配ノルムが１以下に制約(Lipschitz連続） 5 概要 遮光率バウンド サンプリング 評価 まとめ Distance 透過率 区間遮光率
6. 研究のコアアイデア NeDDFではサンプリング区間中の距離場がLipschitz連続で制約 • 区間中で最も光が遮られる経路が特定できないか？ • 精度保証：レンダリングで生じる誤差の最大値を保証 • 分割判断：区間中の透過率が閾値以下ならまだ分割が必要 • 分割位置：分割後の透過率の最小値を最大化する位置が理想 6 概要 遮光率バウンド サンプリング 評価 まとめ t D
7. 区間透過率最小の経路の特定 区間透過率𝑇1 = exp(− ׬ 𝑡1 𝑡2 1− ∇𝐷 𝑡 2 𝐷(𝑡) 𝑑𝑡) • 𝐷(𝑡)が小さいほど小さい • ∇𝐷 𝑡 2 が小さいほど小さい 単調増加→減少する経路D1 平坦に接続した経路D2 D2では距離および勾配が常に小さい ⟹ D1にはより透過率の小さい経路D2が存在 ⟹ 区間透過率最小の経路は下に広義凸 7 概要 遮光率バウンド サンプリング 評価 まとめ
8. 透過率最小の経路の特定 「下に広義凸」は強力な性質！ 𝑇1 = 𝑒𝑥𝑝 − ׬ 𝑡1 𝑡2 1− ∇𝐷 𝑡 2 𝐷(𝑡) 𝑑𝑡 = 𝑒𝑥𝑝 − ׬ 𝑡1 𝑡2 1 𝐷 𝑡 𝑑𝑡 − ׬ 𝑡1 𝑡𝑝 𝑑𝐷 𝑡 𝑑𝑡 𝐷 𝑡 𝑑𝑡 + ׬ 𝑡𝑝 𝑡2 𝑑𝐷(𝑡) 𝑑𝑡 𝐷(𝑡) 𝑑𝑡 = 𝑒𝑥𝑝 − ׬ 𝑡1 𝑡2 1 𝐷 𝑡 𝑑𝑡 − ׬ 𝐷 𝑡1 𝐷 𝑡𝑝 1 𝐷 𝑡 𝑑𝐷 𝑡 + ׬ 𝐷(𝑡𝑝) 𝐷(𝑡2) 1 𝐷 𝑡 𝑑𝐷(𝑡) = 𝑒𝑥𝑝 − ׬ 𝑡1 𝑡2 1 𝐷 𝑡 𝑑𝑡 + log 𝐷𝑝 2 𝐷 𝑡1 𝐷(𝑡2) = 𝜆 𝑒𝑥𝑝 − ׬ 𝑡1 𝑡2 1 𝐷 𝑡 𝑑𝑡 制約を満たす最小の距離を常にとる経路で透過率最小 制約は全て１次式なため、透過率の最小値は厳密に求められる 8 概要 遮光率バウンド サンプリング 評価 まとめ 定数項 𝑡𝑝 で分割 D(t)で置換積分 広義単調減少 広義単調増加
9. サンプリングの分割位置 分割後の区間透過率の最小値を最大にする分割位置𝑡𝑐 を求める 左区間最小：分割前のバウンドと同じ経路 右区間最小：左区間の透過率１かつ 右区間は分割前と同じ 分割前の平坦な区間を等分する෥ 𝑡𝑐 が最適 9 概要 遮光率バウンド サンプリング 評価 まとめ ෥ 𝑡𝑐
10. サンプリングの終了判定 定数回の分割で距離場は距離勾配が凸な区間に分割されると仮定 • 上下から収束のいいバウンドが可能 極値は以下のいずれか 両端の勾配を延長した経路𝐷𝛼 両端を線分で繋いだ経路𝐷𝛽 距離が平坦な区間を最大にとる経路𝐷𝛾 10 概要 遮光率バウンド サンプリング 評価 まとめ
11. 評価実験(新規視点映像品質） 11 概要 遮光率バウンド サンプリング 評価 まとめ 手法名 PSNR 密度場 NeRF 31.0 iNGP 33.2 距離場 NeuS 25.9 NeDDF 27.0 Outs 29.2 • 距離場記述を保持する手法としては最先端の性能を達成 • 細いワイヤ、薄い葉などで顕著な改善 映像品質(NeRF Synthetic)
12. 評価実験(透過率バウンド） 12 概要 遮光率バウンド サンプリング 評価 まとめ • 仮定付き透過率バウンドと真値を比較 • バウンドが機能しつつ十分に狭い値域に限定できていることを確認
13. まとめ • NeDDFのLipschitz連続性からボリュームレンダリングの遮光 率のバウンドを導出し、精度保証を実現 • サンプリング区間のレンダリング誤差の最大値を最小化する分 割方法を提示 13 概要 遮光率バウンド サンプリング 評価 まとめ インタラクティブセッション ３F大会議室OS-1C-07