Block NeRF

Slide used in kantocv #cvsaisentan on 30/Apr/2023

Transcript

1. Block-NeRF: Scalable Large
   Scene Neural View Synthesis
   Matthew Tancik, Vincent Casser, Xinchen Yan, Sabeek
   Pradhan, Ben Mildenhall, Pratul Srinivasan, Jonathan T. Barron,
   Henrik Kretzschmar
   tomoaki_teshima tomoaki0705 tomoaki_teshima tomoaki0705
   

   View Slide

2. もうNeRFでおなかいっぱい
   だいじょうぶ、きょう最後のNeRFの論文だよ！
   2
   

   View Slide

3. NeRFのおさらい(誤り)
   3
   

   View Slide

4. 実際のNeRF
   出てくるのはメッシュや点群ではなく、色の分布と密度の組み合わせ
   4
   

   View Slide

5. Block NeRFたる部分
   • Large Scale
   • 町まるごとみたいなのは、NeRF(2020)では難しい
   •Staticかどうか
   • 駐車車両、歩行者など動く対象ぶつは（略
   • 見えの変化、時刻の変化
   5
   

   View Slide

6. Large Scale model
   • 複数のModelに分割する
   • オーバーラップするように分割する
   6
   

   View Slide

7. Visibility Prediction
   • そもそもその点が見えるかどうか“Visibility”を表すモデルfv
   7
   

   View Slide

8. Transient objects
   • Semantic segmentation で動く物体を除去する
   • マスクを使ってtrainingの対象外とする
   8
   

   View Slide

9. Appearance Embedding
   • NeRF-Wでも紹介された、Appearance Embedding
   • Exposureの違いも学習する
   9
   

   View Slide

10. Appearance Embeddings
    • 時刻の違い、昼夜の違いなどを表現できる
    • 隣接するBlock NeRFを組み合わせる際にも調整用に使われる
    10
    

    View Slide

11. Exposure Input
    11
    

    View Slide

12. Pose estimation
    • NeRF(2020)はCOLMAPでカメラ位置を計算していた
    • 学習用データは車載カメラで収集された
    • We calculate the corresponding camera ray origins and
    directions in a common coordinate system
    • performing odometry using various sensors on the vehicle as
    the images are collected.
    • We assume that camera pose are provided
    • 初期位置としてGPSかなんかを使っている？
    12
    

    View Slide

13. Pose refinement
    • Previous NeRF based models [32,58,66,71].
    • で研究されているPose Refinement(位置の最適化)を行う
    • 対象物体の形状を先に学習し、その後位置を最適化する
    13
    

    View Slide

14. ざっくりした手法
    • Block NeRFを町をカバーする分撮影して用意します
    • ほしい位置の近傍のBlock NeRFを選択します
    • 選択したBlock NeRFをうまいことマージする
    14
    

    View Slide

15. Block NeRF selection
    • 指定位置の近傍のBlock NeRFだけ選択する
    • 近くてもVisibilityが低ければ選択しない
    • typically one to three Block-NeRFs left to merge.
    • 大規模な町でも実際マージするのは3個ぐらいの
    NeRF
    15
    

    View Slide

16. Block NeRF compositing
    • 複数のモデルをマージする
    • 最終的な2D出力で色補間する
    • 重みはIDW (Invert Distance Weight）
    16
    

    View Slide

17. Appearance matching
    • BaseのBlock NeRFの見えとマッチするように他のBlock NeRF
    を調整する
    17
    

    View Slide

18. Ablation Study
    18
    

    View Slide

19. Summary
    • 大規模NeRF
    • 基本的には小さいNeRFの組み合わせ
    • つなぎ目が目立たないようにPose Refinement、Appearance
    Embeddings、Exposureなどを調整
    • 天候、時間の違いにも対応
    • 同物体が写り込んでもノイズを抑えておいた
    19
    

    View Slide