Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NeDDF: Neural Density-Distance Field
Search
ueda
August 01, 2023
Science
0
35
NeDDF: Neural Density-Distance Field
ueda
August 01, 2023
Tweet
Share
More Decks by ueda
See All by ueda
MIRU2024 Neural Density-Distance Fieldを用いた ボリュームレンダリングの 透過率バウンドおよび高速化
i_ueda0319
0
48
NeuralFieldsメタサーベイ:CCC Summer 2023 in MIRUチュートリアル(配布版)
i_ueda0319
0
1.2k
Other Decks in Science
See All in Science
ウェブ・ソーシャルメディア論文読み会 第25回: Differences in misinformation sharing can lead to politically asymmetric sanctions (Nature, 2024)
hkefka385
0
130
テンソル分解による糖尿病の組織特異的遺伝子発現の統合解析を用いた関連疾患の予測
tagtag
2
240
生成AIと学ぶPythonデータ分析再入門-Pythonによるクラスタリング・可視化をサクサク実施-
datascientistsociety
PRO
4
1.8k
研究って何だっけ / What is Research?
ks91
PRO
1
120
Lean4による汎化誤差評価の形式化
milano0017
1
300
03_草原和博_広島大学大学院人間社会科学研究科教授_デジタル_シティズンシップシティで_新たな_学び__をつくる.pdf
sip3ristex
0
600
07_浮世満理子_アイディア高等学院学院長_一般社団法人全国心理業連合会代表理事_紹介資料.pdf
sip3ristex
0
600
深層学習を用いた根菜類の個数カウントによる収量推定法の開発
kentaitakura
0
180
地表面抽出の方法であるSMRFについて紹介
kentaitakura
1
870
🌏地球から🌌宇宙まで! 〜ケプラーの法則で繋がる天体の運動〜
syotasasaki593876
1
100
Agent開発フレームワークのOverviewとW&B Weaveとのインテグレーション
siyoo
0
330
ランサムウェア対策にも考慮したVMware、Hyper-V、Azure、AWS間のリアルタイムレプリケーション「Zerto」を徹底解説
climbteam
0
110
Featured
See All Featured
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
Producing Creativity
orderedlist
PRO
347
40k
For a Future-Friendly Web
brad_frost
180
9.9k
Designing for Performance
lara
610
69k
BBQ
matthewcrist
89
9.8k
Embracing the Ebb and Flow
colly
87
4.8k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
It's Worth the Effort
3n
187
28k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.9k
Transcript
NeDDF: Neural Density-Distance Fields ECCV2022 Accepted Paper Itsuki Ueda, Yoshihiro
Fukuhara, Hirokatsu Kataoka, Hiroaki Aizawa, Hidehiko Shishido, Itaru Kitahara 1
概要:Neural Density-Distance Field 2 概要 提案モデル 実験 まとめ Neural Fieldでは微分値の最適化が行えるこ
とを利用し、煙、毛玉、ガラスといった 境界面の定まらない被写体に対しても 密度の情報を損なわずに定義できるような 距離場を提案 密度場の「詳細な形状の表現力」、 距離場の「位置合わせの安定・平滑性」 の2つを両立可能 Distance Density Cusps Color 背景
背景:NeRF 撮影時と別視点からの映像を作成するタスクで高い性能を発揮 光沢など視線依存、ガラスや煙など半透明を高品質に復元 ×高品質なカメラ姿勢が得られることを前提にしている 光沢やガラスが視界に多いとこの前提条件を満たせない → 本研究では、このようなシーンでカメラ姿勢が推定できる、すなわち 位置合わせ(Fusion)が成立するようなモデルを提案したい! 3 概要
提案モデル 実験 まとめ 背景
背景:ニューラル場による形状表現 4 ニューラル場:位置を入力に、密度や距離などを出力する関数を 小規模なネットワークで回帰 概要 提案モデル 実験 まとめ 背景 密度場
距離場 煙や水など半透明な材質、髪や草など高周波な形状を表現できる 物体外部で勾配を持たないためカメラ姿勢推定などの位置合わせが困難 物体外でも勾配を持つため位置合わせやメッシュ化が容易 境界面の定義できる被写体に限定 本研究では距離場を煙やガラスなど非ソリッド物体で使用できるよう拡張
境界面のない被写体における距離場 5 概要 提案モデル 実験 まとめ 背景 ソリッド Distance Distance
非ソリッド
距離場の密度についての連続緩和 6 概要 提案モデル 実験 まとめ 背景 ソリッド Distance Distance
非ソリッド 透過率 区間遮光率 透過率 区間遮光率
距離場から密度情報の獲得 7 距離場が密度についての多項式の積分であることに着目し、密度と距離の関係式を導出 𝜎 𝐩 = 1− ∇D(𝐩) 2 D(𝐩)
概要 提案モデル 実験 まとめ 背景 ⚫ソリッドな空間では、距離場の勾配の大きさは物体内部で0、外部で1 ⚫非ソリッドな空間では、半透明領域で0~1の大きさの勾配をとる 距離場の勾配情報から密度が復元できるのではないか
距離場から密度情報の獲得 8 NeDDF NeuS(境界面仮定) NeRF(密度のみ) 煙や毛玉などの緩やかな密度変化 小さい距離勾配 光を透過するガラス玉のような低密度 大きい距離の極小値 距離場から微分可能な形で密度が得られることから
NeRFと同様のフローによる学習が可能 概要 提案モデル 実験 まとめ 背景
実験:映像品質 NeRF Synthetic Datasetで映像復元品質を検証 9 概要 提案モデル 実験 まとめ 背景
密度場 距離場 提案手法
実験:映像品質 • 従来の距離場ベース手法であるNeuSと比較 • ドラムの透過面や、観葉植物の薄い葉など高周波成分の表現が 実現されていることを確認 10 概要 提案モデル 実験
まとめ 背景
実験:追従精度 カメラ姿勢にランダムなノイズを加えてLocalization Photometric/Reprojection errorの一方または両方を用いる場合を比較 11 概要 提案モデル 実験 まとめ 背景
Photometric Errorのみ(iNeRF) Reprojection Errorのみ 両方の目的関数を併用
実験:追従精度 Reprojection errorによるlocalizationを行うことで 初期値が悪い場合にも追従が有効に機能する 12 概要 提案モデル 実験 まとめ 背景
まとめ • 密度場に変換可能な形に距離場を拡張 • 従来の距離場ベースの手法では復元が困難なシーンでも高い性能を発揮 • 距離場が得られる場合の位置合わせの例として 疑似対応点によるReprojection Errorを提案 •
カメラ姿勢の初期値が悪い場合にも追従が可能であることを確認 • 詳細な形状の表現力、形状やカメラ姿勢推定の平滑性の両方を保持 13 概要 提案モデル 実験 まとめ 背景 プロジェクトページ インタラクティブセッションITA-2でも発表します 議論・ご質問等是非お越しください