Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Block NeRF

Block NeRF

Slide used in kantocv #cvsaisentan on 30/Apr/2023

Aki Teshima

April 30, 2023
Tweet

More Decks by Aki Teshima

Other Decks in Technology

Transcript

  1. Block-NeRF: Scalable Large
    Scene Neural View Synthesis
    Matthew Tancik, Vincent Casser, Xinchen Yan, Sabeek
    Pradhan, Ben Mildenhall, Pratul Srinivasan, Jonathan T. Barron,
    Henrik Kretzschmar
    tomoaki_teshima tomoaki0705 tomoaki_teshima tomoaki0705

    View full-size slide

  2. もうNeRFでおなかいっぱい
    だいじょうぶ、きょう最後のNeRFの論文だよ!
    2

    View full-size slide

  3. NeRFのおさらい(誤り)
    3

    View full-size slide

  4. 実際のNeRF
    出てくるのはメッシュや点群ではなく、色の分布と密度の組み合わせ
    4

    View full-size slide

  5. Block NeRFたる部分
    • Large Scale
    • 町まるごとみたいなのは、NeRF(2020)では難しい
    •Staticかどうか
    • 駐車車両、歩行者など動く対象ぶつは(略
    • 見えの変化、時刻の変化
    5

    View full-size slide

  6. Large Scale model
    • 複数のModelに分割する
    • オーバーラップするように分割する
    6

    View full-size slide

  7. Visibility Prediction
    • そもそもその点が見えるかどうか“Visibility”を表すモデルfv
    7

    View full-size slide

  8. Transient objects
    • Semantic segmentation で動く物体を除去する
    • マスクを使ってtrainingの対象外とする
    8

    View full-size slide

  9. Appearance Embedding
    • NeRF-Wでも紹介された、Appearance Embedding
    • Exposureの違いも学習する
    9

    View full-size slide

  10. Appearance Embeddings
    • 時刻の違い、昼夜の違いなどを表現できる
    • 隣接するBlock NeRFを組み合わせる際にも調整用に使われる
    10

    View full-size slide

  11. Exposure Input
    11

    View full-size slide

  12. Pose estimation
    • NeRF(2020)はCOLMAPでカメラ位置を計算していた
    • 学習用データは車載カメラで収集された
    • We calculate the corresponding camera ray origins and
    directions in a common coordinate system
    • performing odometry using various sensors on the vehicle as
    the images are collected.
    • We assume that camera pose are provided
    • 初期位置としてGPSかなんかを使っている?
    12

    View full-size slide

  13. Pose refinement
    • Previous NeRF based models [32,58,66,71].
    • で研究されているPose Refinement(位置の最適化)を行う
    • 対象物体の形状を先に学習し、その後位置を最適化する
    13

    View full-size slide

  14. ざっくりした手法
    • Block NeRFを町をカバーする分撮影して用意します
    • ほしい位置の近傍のBlock NeRFを選択します
    • 選択したBlock NeRFをうまいことマージする
    14

    View full-size slide

  15. Block NeRF selection
    • 指定位置の近傍のBlock NeRFだけ選択する
    • 近くてもVisibilityが低ければ選択しない
    • typically one to three Block-NeRFs left to merge.
    • 大規模な町でも実際マージするのは3個ぐらいの
    NeRF
    15

    View full-size slide

  16. Block NeRF compositing
    • 複数のモデルをマージする
    • 最終的な2D出力で色補間する
    • 重みはIDW (Invert Distance Weight)
    16

    View full-size slide

  17. Appearance matching
    • BaseのBlock NeRFの見えとマッチするように他のBlock NeRF
    を調整する
    17

    View full-size slide

  18. Ablation Study
    18

    View full-size slide

  19. Summary
    • 大規模NeRF
    • 基本的には小さいNeRFの組み合わせ
    • つなぎ目が目立たないようにPose Refinement、Appearance
    Embeddings、Exposureなどを調整
    • 天候、時間の違いにも対応
    • 同物体が写り込んでもノイズを抑えておいた
    19

    View full-size slide