NeDDF: Neural Density-Distance Field

Transcript

1. NeDDF: Neural Density-Distance Fields ECCV2022 Accepted Paper Itsuki Ueda, Yoshihiro Fukuhara, Hirokatsu Kataoka, Hiroaki Aizawa, Hidehiko Shishido, Itaru Kitahara 1
2. 概要：Neural Density-Distance Field 2 概要 提案モデル 実験 まとめ Neural Fieldでは微分値の最適化が行えるこ とを利用し、煙、毛玉、ガラスといった 境界面の定まらない被写体に対しても 密度の情報を損なわずに定義できるような 距離場を提案 密度場の「詳細な形状の表現力」、 距離場の「位置合わせの安定・平滑性」 の２つを両立可能 Distance Density Cusps Color 背景
3. 背景：NeRF 撮影時と別視点からの映像を作成するタスクで高い性能を発揮 光沢など視線依存、ガラスや煙など半透明を高品質に復元 ×高品質なカメラ姿勢が得られることを前提にしている 光沢やガラスが視界に多いとこの前提条件を満たせない → 本研究では、このようなシーンでカメラ姿勢が推定できる、すなわち 位置合わせ(Fusion)が成立するようなモデルを提案したい！ 3 概要 提案モデル 実験 まとめ 背景
4. 背景：ニューラル場による形状表現 4 ニューラル場：位置を入力に、密度や距離などを出力する関数を 小規模なネットワークで回帰 概要 提案モデル 実験 まとめ 背景 密度場 距離場 煙や水など半透明な材質、髪や草など高周波な形状を表現できる 物体外部で勾配を持たないためカメラ姿勢推定などの位置合わせが困難 物体外でも勾配を持つため位置合わせやメッシュ化が容易 境界面の定義できる被写体に限定 本研究では距離場を煙やガラスなど非ソリッド物体で使用できるよう拡張
5. 境界面のない被写体における距離場 5 概要 提案モデル 実験 まとめ 背景 ソリッド Distance Distance 非ソリッド
6. 距離場の密度についての連続緩和 6 概要 提案モデル 実験 まとめ 背景 ソリッド Distance Distance 非ソリッド 透過率 区間遮光率 透過率 区間遮光率
7. 距離場から密度情報の獲得 7 距離場が密度についての多項式の積分であることに着目し、密度と距離の関係式を導出 𝜎 𝐩 = 1− ∇D(𝐩) 2 D(𝐩) 概要 提案モデル 実験 まとめ 背景 ⚫ソリッドな空間では、距離場の勾配の大きさは物体内部で0、外部で1 ⚫非ソリッドな空間では、半透明領域で0~1の大きさの勾配をとる 距離場の勾配情報から密度が復元できるのではないか
8. 距離場から密度情報の獲得 8 NeDDF NeuS（境界面仮定） NeRF（密度のみ） 煙や毛玉などの緩やかな密度変化 小さい距離勾配 光を透過するガラス玉のような低密度 大きい距離の極小値 距離場から微分可能な形で密度が得られることから NeRFと同様のフローによる学習が可能 概要 提案モデル 実験 まとめ 背景
9. 実験：映像品質 NeRF Synthetic Datasetで映像復元品質を検証 9 概要 提案モデル 実験 まとめ 背景 密度場 距離場 提案手法
10. 実験：映像品質 • 従来の距離場ベース手法であるNeuSと比較 • ドラムの透過面や、観葉植物の薄い葉など高周波成分の表現が 実現されていることを確認 10 概要 提案モデル 実験 まとめ 背景
11. 実験：追従精度 カメラ姿勢にランダムなノイズを加えてLocalization Photometric/Reprojection errorの一方または両方を用いる場合を比較 11 概要 提案モデル 実験 まとめ 背景 Photometric Errorのみ(iNeRF) Reprojection Errorのみ 両方の目的関数を併用
12. 実験：追従精度 Reprojection errorによるlocalizationを行うことで 初期値が悪い場合にも追従が有効に機能する 12 概要 提案モデル 実験 まとめ 背景
13. まとめ • 密度場に変換可能な形に距離場を拡張 • 従来の距離場ベースの手法では復元が困難なシーンでも高い性能を発揮 • 距離場が得られる場合の位置合わせの例として 疑似対応点によるReprojection Errorを提案 • カメラ姿勢の初期値が悪い場合にも追従が可能であることを確認 • 詳細な形状の表現力、形状やカメラ姿勢推定の平滑性の両方を保持 13 概要 提案モデル 実験 まとめ 背景 プロジェクトページ インタラクティブセッションITA-2でも発表します 議論・ご質問等是非お越しください