Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NeDDF: Neural Density-Distance Field
Search
ueda
August 01, 2023
Science
0
28
NeDDF: Neural Density-Distance Field
ueda
August 01, 2023
Tweet
Share
More Decks by ueda
See All by ueda
MIRU2024 Neural Density-Distance Fieldを用いた ボリュームレンダリングの 透過率バウンドおよび高速化
i_ueda0319
0
40
NeuralFieldsメタサーベイ:CCC Summer 2023 in MIRUチュートリアル(配布版)
i_ueda0319
0
1.2k
Other Decks in Science
See All in Science
データベース10: 拡張実体関連モデル
trycycle
PRO
0
720
ウェブ・ソーシャルメディア論文読み会 第25回: Differences in misinformation sharing can lead to politically asymmetric sanctions (Nature, 2024)
hkefka385
0
110
実力評価性能を考慮した弓道高校生全国大会の大会制度設計の提案 / (konakalab presentation at MSS 2025.03)
konakalab
2
180
CV_3_Keypoints
hachama
0
190
深層学習を用いた根菜類の個数カウントによる収量推定法の開発
kentaitakura
0
160
Transport information Geometry: Current and Future II
lwc2017
0
160
01_篠原弘道_SIPガバニングボード座長_ポスコロSIPへの期待.pdf
sip3ristex
0
550
生成検索エンジン最適化に関する研究の紹介
ynakano
2
1.1k
生成AI による論文執筆サポートの手引き(ワークショップ) / A guide to supporting dissertation writing with generative AI (workshop)
ks91
PRO
0
510
科学で迫る勝敗の法則(電気学会・SICE若手セミナー講演 2024年12月) / The principle of victory discovered by science (Lecture for young academists in IEEJ-SICE))
konakalab
0
110
A Guide to Academic Writing Using Generative AI - A Workshop
ks91
PRO
0
120
機械学習 - SVM
trycycle
PRO
1
850
Featured
See All Featured
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
Designing for Performance
lara
610
69k
Music & Morning Musume
bryan
46
6.6k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Making Projects Easy
brettharned
116
6.3k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
Site-Speed That Sticks
csswizardry
10
690
The Pragmatic Product Professional
lauravandoore
35
6.7k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Transcript
NeDDF: Neural Density-Distance Fields ECCV2022 Accepted Paper Itsuki Ueda, Yoshihiro
Fukuhara, Hirokatsu Kataoka, Hiroaki Aizawa, Hidehiko Shishido, Itaru Kitahara 1
概要:Neural Density-Distance Field 2 概要 提案モデル 実験 まとめ Neural Fieldでは微分値の最適化が行えるこ
とを利用し、煙、毛玉、ガラスといった 境界面の定まらない被写体に対しても 密度の情報を損なわずに定義できるような 距離場を提案 密度場の「詳細な形状の表現力」、 距離場の「位置合わせの安定・平滑性」 の2つを両立可能 Distance Density Cusps Color 背景
背景:NeRF 撮影時と別視点からの映像を作成するタスクで高い性能を発揮 光沢など視線依存、ガラスや煙など半透明を高品質に復元 ×高品質なカメラ姿勢が得られることを前提にしている 光沢やガラスが視界に多いとこの前提条件を満たせない → 本研究では、このようなシーンでカメラ姿勢が推定できる、すなわち 位置合わせ(Fusion)が成立するようなモデルを提案したい! 3 概要
提案モデル 実験 まとめ 背景
背景:ニューラル場による形状表現 4 ニューラル場:位置を入力に、密度や距離などを出力する関数を 小規模なネットワークで回帰 概要 提案モデル 実験 まとめ 背景 密度場
距離場 煙や水など半透明な材質、髪や草など高周波な形状を表現できる 物体外部で勾配を持たないためカメラ姿勢推定などの位置合わせが困難 物体外でも勾配を持つため位置合わせやメッシュ化が容易 境界面の定義できる被写体に限定 本研究では距離場を煙やガラスなど非ソリッド物体で使用できるよう拡張
境界面のない被写体における距離場 5 概要 提案モデル 実験 まとめ 背景 ソリッド Distance Distance
非ソリッド
距離場の密度についての連続緩和 6 概要 提案モデル 実験 まとめ 背景 ソリッド Distance Distance
非ソリッド 透過率 区間遮光率 透過率 区間遮光率
距離場から密度情報の獲得 7 距離場が密度についての多項式の積分であることに着目し、密度と距離の関係式を導出 𝜎 𝐩 = 1− ∇D(𝐩) 2 D(𝐩)
概要 提案モデル 実験 まとめ 背景 ⚫ソリッドな空間では、距離場の勾配の大きさは物体内部で0、外部で1 ⚫非ソリッドな空間では、半透明領域で0~1の大きさの勾配をとる 距離場の勾配情報から密度が復元できるのではないか
距離場から密度情報の獲得 8 NeDDF NeuS(境界面仮定) NeRF(密度のみ) 煙や毛玉などの緩やかな密度変化 小さい距離勾配 光を透過するガラス玉のような低密度 大きい距離の極小値 距離場から微分可能な形で密度が得られることから
NeRFと同様のフローによる学習が可能 概要 提案モデル 実験 まとめ 背景
実験:映像品質 NeRF Synthetic Datasetで映像復元品質を検証 9 概要 提案モデル 実験 まとめ 背景
密度場 距離場 提案手法
実験:映像品質 • 従来の距離場ベース手法であるNeuSと比較 • ドラムの透過面や、観葉植物の薄い葉など高周波成分の表現が 実現されていることを確認 10 概要 提案モデル 実験
まとめ 背景
実験:追従精度 カメラ姿勢にランダムなノイズを加えてLocalization Photometric/Reprojection errorの一方または両方を用いる場合を比較 11 概要 提案モデル 実験 まとめ 背景
Photometric Errorのみ(iNeRF) Reprojection Errorのみ 両方の目的関数を併用
実験:追従精度 Reprojection errorによるlocalizationを行うことで 初期値が悪い場合にも追従が有効に機能する 12 概要 提案モデル 実験 まとめ 背景
まとめ • 密度場に変換可能な形に距離場を拡張 • 従来の距離場ベースの手法では復元が困難なシーンでも高い性能を発揮 • 距離場が得られる場合の位置合わせの例として 疑似対応点によるReprojection Errorを提案 •
カメラ姿勢の初期値が悪い場合にも追従が可能であることを確認 • 詳細な形状の表現力、形状やカメラ姿勢推定の平滑性の両方を保持 13 概要 提案モデル 実験 まとめ 背景 プロジェクトページ インタラクティブセッションITA-2でも発表します 議論・ご質問等是非お越しください