Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NeDDF: Neural Density-Distance Field
Search
ueda
August 01, 2023
Science
0
10
NeDDF: Neural Density-Distance Field
ueda
August 01, 2023
Tweet
Share
More Decks by ueda
See All by ueda
MIRU2024 Neural Density-Distance Fieldを用いた ボリュームレンダリングの 透過率バウンドおよび高速化
i_ueda0319
0
8
NeuralFieldsメタサーベイ:CCC Summer 2023 in MIRUチュートリアル(配布版)
i_ueda0319
0
1k
Other Decks in Science
See All in Science
【人工衛星開発】能見研究室紹介動画
02hattori11sat03
0
150
The thin line between reconstruction, classification, and hallucination in brain decoding
ykamit
1
950
学術講演会中央大学学員会八王子支部
tagtag
0
230
Pericarditis Comic
camkdraws
0
1.2k
ベイズのはなし
techmathproject
0
300
多次元展開法を用いた 多値バイクラスタリング モデルの提案
kosugitti
0
190
大規模言語モデルの開発
chokkan
PRO
84
33k
How were Quaternion discovered
kinakomoti321
2
1.1k
証明支援系LEANに入門しよう
unaoya
0
360
Iniciativas independentes de divulgação científica: o caso do Movimento #CiteMulheresNegras
taisso
0
250
化学におけるAI・シミュレーション活用のトレンドと 汎用原子レベルシミュレーター: Matlantisを使った素材開発
matlantis
0
270
理論計算機科学における 数学の応用: 擬似ランダムネス
nobushimi
1
340
Featured
See All Featured
Designing the Hi-DPI Web
ddemaree
280
34k
Product Roadmaps are Hard
iamctodd
PRO
49
11k
Typedesign – Prime Four
hannesfritz
40
2.4k
Faster Mobile Websites
deanohume
305
30k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
38
1.8k
The Pragmatic Product Professional
lauravandoore
31
6.3k
A Modern Web Designer's Workflow
chriscoyier
693
190k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Raft: Consensus for Rubyists
vanstee
136
6.6k
Transcript
NeDDF: Neural Density-Distance Fields ECCV2022 Accepted Paper Itsuki Ueda, Yoshihiro
Fukuhara, Hirokatsu Kataoka, Hiroaki Aizawa, Hidehiko Shishido, Itaru Kitahara 1
概要:Neural Density-Distance Field 2 概要 提案モデル 実験 まとめ Neural Fieldでは微分値の最適化が行えるこ
とを利用し、煙、毛玉、ガラスといった 境界面の定まらない被写体に対しても 密度の情報を損なわずに定義できるような 距離場を提案 密度場の「詳細な形状の表現力」、 距離場の「位置合わせの安定・平滑性」 の2つを両立可能 Distance Density Cusps Color 背景
背景:NeRF 撮影時と別視点からの映像を作成するタスクで高い性能を発揮 光沢など視線依存、ガラスや煙など半透明を高品質に復元 ×高品質なカメラ姿勢が得られることを前提にしている 光沢やガラスが視界に多いとこの前提条件を満たせない → 本研究では、このようなシーンでカメラ姿勢が推定できる、すなわち 位置合わせ(Fusion)が成立するようなモデルを提案したい! 3 概要
提案モデル 実験 まとめ 背景
背景:ニューラル場による形状表現 4 ニューラル場:位置を入力に、密度や距離などを出力する関数を 小規模なネットワークで回帰 概要 提案モデル 実験 まとめ 背景 密度場
距離場 煙や水など半透明な材質、髪や草など高周波な形状を表現できる 物体外部で勾配を持たないためカメラ姿勢推定などの位置合わせが困難 物体外でも勾配を持つため位置合わせやメッシュ化が容易 境界面の定義できる被写体に限定 本研究では距離場を煙やガラスなど非ソリッド物体で使用できるよう拡張
境界面のない被写体における距離場 5 概要 提案モデル 実験 まとめ 背景 ソリッド Distance Distance
非ソリッド
距離場の密度についての連続緩和 6 概要 提案モデル 実験 まとめ 背景 ソリッド Distance Distance
非ソリッド 透過率 区間遮光率 透過率 区間遮光率
距離場から密度情報の獲得 7 距離場が密度についての多項式の積分であることに着目し、密度と距離の関係式を導出 𝜎 𝐩 = 1− ∇D(𝐩) 2 D(𝐩)
概要 提案モデル 実験 まとめ 背景 ⚫ソリッドな空間では、距離場の勾配の大きさは物体内部で0、外部で1 ⚫非ソリッドな空間では、半透明領域で0~1の大きさの勾配をとる 距離場の勾配情報から密度が復元できるのではないか
距離場から密度情報の獲得 8 NeDDF NeuS(境界面仮定) NeRF(密度のみ) 煙や毛玉などの緩やかな密度変化 小さい距離勾配 光を透過するガラス玉のような低密度 大きい距離の極小値 距離場から微分可能な形で密度が得られることから
NeRFと同様のフローによる学習が可能 概要 提案モデル 実験 まとめ 背景
実験:映像品質 NeRF Synthetic Datasetで映像復元品質を検証 9 概要 提案モデル 実験 まとめ 背景
密度場 距離場 提案手法
実験:映像品質 • 従来の距離場ベース手法であるNeuSと比較 • ドラムの透過面や、観葉植物の薄い葉など高周波成分の表現が 実現されていることを確認 10 概要 提案モデル 実験
まとめ 背景
実験:追従精度 カメラ姿勢にランダムなノイズを加えてLocalization Photometric/Reprojection errorの一方または両方を用いる場合を比較 11 概要 提案モデル 実験 まとめ 背景
Photometric Errorのみ(iNeRF) Reprojection Errorのみ 両方の目的関数を併用
実験:追従精度 Reprojection errorによるlocalizationを行うことで 初期値が悪い場合にも追従が有効に機能する 12 概要 提案モデル 実験 まとめ 背景
まとめ • 密度場に変換可能な形に距離場を拡張 • 従来の距離場ベースの手法では復元が困難なシーンでも高い性能を発揮 • 距離場が得られる場合の位置合わせの例として 疑似対応点によるReprojection Errorを提案 •
カメラ姿勢の初期値が悪い場合にも追従が可能であることを確認 • 詳細な形状の表現力、形状やカメラ姿勢推定の平滑性の両方を保持 13 概要 提案モデル 実験 まとめ 背景 プロジェクトページ インタラクティブセッションITA-2でも発表します 議論・ご質問等是非お越しください