Block-NeRF: Scalable Large Scene Neural View Synthesis Matthew Tancik, Vincent Casser, Xinchen Yan, Sabeek Pradhan, Ben Mildenhall, Pratul Srinivasan, Jonathan T. Barron, Henrik Kretzschmar tomoaki_teshima tomoaki0705 tomoaki_teshima tomoaki0705

もうNeRFでおなかいっぱい だいじょうぶ、きょう最後のNeRFの論文だよ！ 2

NeRFのおさらい(誤り) 3

実際のNeRF 出てくるのはメッシュや点群ではなく、色の分布と密度の組み合わせ 4

Block NeRFたる部分 • Large Scale • 町まるごとみたいなのは、NeRF(2020)では難しい •Staticかどうか • 駐車車両、歩行者など動く対象ぶつは（略 • 見えの変化、時刻の変化 5

Large Scale model • 複数のModelに分割する • オーバーラップするように分割する 6

Visibility Prediction • そもそもその点が見えるかどうか“Visibility”を表すモデルfv 7

Transient objects • Semantic segmentation で動く物体を除去する • マスクを使ってtrainingの対象外とする 8

Appearance Embedding • NeRF-Wでも紹介された、Appearance Embedding • Exposureの違いも学習する 9

Appearance Embeddings • 時刻の違い、昼夜の違いなどを表現できる • 隣接するBlock NeRFを組み合わせる際にも調整用に使われる 10

Exposure Input 11

Pose estimation • NeRF(2020)はCOLMAPでカメラ位置を計算していた • 学習用データは車載カメラで収集された • We calculate the corresponding camera ray origins and directions in a common coordinate system • performing odometry using various sensors on the vehicle as the images are collected. • We assume that camera pose are provided • 初期位置としてGPSかなんかを使っている？ 12

Pose refinement • Previous NeRF based models [32,58,66,71]. • で研究されているPose Refinement(位置の最適化)を行う • 対象物体の形状を先に学習し、その後位置を最適化する 13

ざっくりした手法 • Block NeRFを町をカバーする分撮影して用意します • ほしい位置の近傍のBlock NeRFを選択します • 選択したBlock NeRFをうまいことマージする 14

Block NeRF selection • 指定位置の近傍のBlock NeRFだけ選択する • 近くてもVisibilityが低ければ選択しない • typically one to three Block-NeRFs left to merge. • 大規模な町でも実際マージするのは3個ぐらいの NeRF 15

Block NeRF compositing • 複数のモデルをマージする • 最終的な2D出力で色補間する • 重みはIDW (Invert Distance Weight） 16

Appearance matching • BaseのBlock NeRFの見えとマッチするように他のBlock NeRF を調整する 17

Ablation Study 18

Summary • 大規模NeRF • 基本的には小さいNeRFの組み合わせ • つなぎ目が目立たないようにPose Refinement、Appearance Embeddings、Exposureなどを調整 • 天候、時間の違いにも対応 • 同物体が写り込んでもノイズを抑えておいた 19