Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NeDDF: Neural Density-Distance Field
Search
ueda
August 01, 2023
Science
0
36
NeDDF: Neural Density-Distance Field
ueda
August 01, 2023
Tweet
Share
More Decks by ueda
See All by ueda
MIRU2024 Neural Density-Distance Fieldを用いた ボリュームレンダリングの 透過率バウンドおよび高速化
i_ueda0319
0
48
NeuralFieldsメタサーベイ:CCC Summer 2023 in MIRUチュートリアル(配布版)
i_ueda0319
0
1.2k
Other Decks in Science
See All in Science
Ignite の1年間の軌跡
ktombow
0
150
データベース14: B+木 & ハッシュ索引
trycycle
PRO
0
450
機械学習 - ニューラルネットワーク入門
trycycle
PRO
0
850
システム数理と応用分野の未来を切り拓くロードマップ・エンターテインメント(スポーツ)への応用 / Applied mathematics for sports entertainment
konakalab
1
390
白金鉱業Meetup Vol.16_数理最適化案件のはじめかた・すすめかた
brainpadpr
4
2k
02_西村訓弘_プログラムディレクター_人口減少を機にひらく未来社会.pdf
sip3ristex
0
610
データベース12: 正規化(2/2) - データ従属性に基づく正規化
trycycle
PRO
0
970
CV_5_3dVision
hachama
0
150
Masseyのレーティングを用いたフォーミュラレースドライバーの実績評価手法の開発 / Development of a Performance Evaluation Method for Formula Race Drivers Using Massey Ratings
konakalab
0
190
My Favourite Book in 2024: Get Rid of Your Japanese Accent
lagenorhynque
1
110
データベース01: データベースを使わない世界
trycycle
PRO
1
780
データベース10: 拡張実体関連モデル
trycycle
PRO
0
980
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.7k
GraphQLの誤解/rethinking-graphql
sonatard
72
11k
Reflections from 52 weeks, 52 projects
jeffersonlam
352
21k
Docker and Python
trallard
46
3.6k
Speed Design
sergeychernyshev
32
1.1k
Visualization
eitanlees
148
16k
How to train your dragon (web standard)
notwaldorf
96
6.2k
Writing Fast Ruby
sferik
628
62k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
Making Projects Easy
brettharned
117
6.4k
The Cost Of JavaScript in 2023
addyosmani
53
8.9k
How STYLIGHT went responsive
nonsquared
100
5.8k
Transcript
NeDDF: Neural Density-Distance Fields ECCV2022 Accepted Paper Itsuki Ueda, Yoshihiro
Fukuhara, Hirokatsu Kataoka, Hiroaki Aizawa, Hidehiko Shishido, Itaru Kitahara 1
概要:Neural Density-Distance Field 2 概要 提案モデル 実験 まとめ Neural Fieldでは微分値の最適化が行えるこ
とを利用し、煙、毛玉、ガラスといった 境界面の定まらない被写体に対しても 密度の情報を損なわずに定義できるような 距離場を提案 密度場の「詳細な形状の表現力」、 距離場の「位置合わせの安定・平滑性」 の2つを両立可能 Distance Density Cusps Color 背景
背景:NeRF 撮影時と別視点からの映像を作成するタスクで高い性能を発揮 光沢など視線依存、ガラスや煙など半透明を高品質に復元 ×高品質なカメラ姿勢が得られることを前提にしている 光沢やガラスが視界に多いとこの前提条件を満たせない → 本研究では、このようなシーンでカメラ姿勢が推定できる、すなわち 位置合わせ(Fusion)が成立するようなモデルを提案したい! 3 概要
提案モデル 実験 まとめ 背景
背景:ニューラル場による形状表現 4 ニューラル場:位置を入力に、密度や距離などを出力する関数を 小規模なネットワークで回帰 概要 提案モデル 実験 まとめ 背景 密度場
距離場 煙や水など半透明な材質、髪や草など高周波な形状を表現できる 物体外部で勾配を持たないためカメラ姿勢推定などの位置合わせが困難 物体外でも勾配を持つため位置合わせやメッシュ化が容易 境界面の定義できる被写体に限定 本研究では距離場を煙やガラスなど非ソリッド物体で使用できるよう拡張
境界面のない被写体における距離場 5 概要 提案モデル 実験 まとめ 背景 ソリッド Distance Distance
非ソリッド
距離場の密度についての連続緩和 6 概要 提案モデル 実験 まとめ 背景 ソリッド Distance Distance
非ソリッド 透過率 区間遮光率 透過率 区間遮光率
距離場から密度情報の獲得 7 距離場が密度についての多項式の積分であることに着目し、密度と距離の関係式を導出 𝜎 𝐩 = 1− ∇D(𝐩) 2 D(𝐩)
概要 提案モデル 実験 まとめ 背景 ⚫ソリッドな空間では、距離場の勾配の大きさは物体内部で0、外部で1 ⚫非ソリッドな空間では、半透明領域で0~1の大きさの勾配をとる 距離場の勾配情報から密度が復元できるのではないか
距離場から密度情報の獲得 8 NeDDF NeuS(境界面仮定) NeRF(密度のみ) 煙や毛玉などの緩やかな密度変化 小さい距離勾配 光を透過するガラス玉のような低密度 大きい距離の極小値 距離場から微分可能な形で密度が得られることから
NeRFと同様のフローによる学習が可能 概要 提案モデル 実験 まとめ 背景
実験:映像品質 NeRF Synthetic Datasetで映像復元品質を検証 9 概要 提案モデル 実験 まとめ 背景
密度場 距離場 提案手法
実験:映像品質 • 従来の距離場ベース手法であるNeuSと比較 • ドラムの透過面や、観葉植物の薄い葉など高周波成分の表現が 実現されていることを確認 10 概要 提案モデル 実験
まとめ 背景
実験:追従精度 カメラ姿勢にランダムなノイズを加えてLocalization Photometric/Reprojection errorの一方または両方を用いる場合を比較 11 概要 提案モデル 実験 まとめ 背景
Photometric Errorのみ(iNeRF) Reprojection Errorのみ 両方の目的関数を併用
実験:追従精度 Reprojection errorによるlocalizationを行うことで 初期値が悪い場合にも追従が有効に機能する 12 概要 提案モデル 実験 まとめ 背景
まとめ • 密度場に変換可能な形に距離場を拡張 • 従来の距離場ベースの手法では復元が困難なシーンでも高い性能を発揮 • 距離場が得られる場合の位置合わせの例として 疑似対応点によるReprojection Errorを提案 •
カメラ姿勢の初期値が悪い場合にも追従が可能であることを確認 • 詳細な形状の表現力、形状やカメラ姿勢推定の平滑性の両方を保持 13 概要 提案モデル 実験 まとめ 背景 プロジェクトページ インタラクティブセッションITA-2でも発表します 議論・ご質問等是非お越しください