Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文解説 CVPR2022 NeRF関連

論文解説 CVPR2022 NeRF関連

Presentation for explaining NeRF-related papers presented at CVPR2022.

koharite

July 28, 2022
Tweet

More Decks by koharite

Other Decks in Research

Transcript

  1. 論⽂解説
    CVPR2022
    NeRF関連
    Takehiro Matsuda

    View full-size slide

  2. 2
    CVPRの近年の注⽬Keywordの遷移
    【学会聴講報告】CVPR2022からみるVision最先端トレンド より
    https://www.youtube.com/watch?app=desktop&v=SeioHA14ND8&feature=youtu.be

    View full-size slide

  3. 3
    NeRF デモ動画
    https://www.matthewtancik.com/nerf
    対象の任意視点からの画像を⾼精細に得られる。 ぱっと⾒て気になるレベルのHoleやArtifactが
    画像に表れていない。

    View full-size slide

  4. 4
    3次元情報の表現
    ボクセル
    ピクセルを3次元に拡張
    ○ 2次元画像処理からの拡張が容易
    × メモリ消費量が多く、2563くらいが限界
    点群
    点の集合で3次元シーンを表現
    ○ ボクセルよりコンパクト(物体表⾯のみを表現)
    × ⾯を表現できない
    × DNNで扱うのがやや難しい

    View full-size slide

  5. 5
    3次元情報の表現
    メッシュ
    三⾓形(多⾓形)の貼り合わせで3Dシーンを表現
    ○ メモリが少なくて良い
    × メッシュの張り合わせが職⼈的
    × DNNで扱うのが難しい
    Neural Field
    3次元座標pをニューラルネットワークfに与え、f(p)がモノがあるか、⾊、etc.などを表すようにす
    る。
    ○ コンパクトかつ柔軟(NNは形状が複雑なところの表現に多数のパラメータを使おうとするはず)
    ○ DNNと組み合わせるのが容易
    × レンダリングが遅い(多数の点をDNNで推論する必要がある)
    × 与えた範囲(シーン)ごとにネットワークを学習する必要がある
    × ⼈⼿での編集が難しい

    View full-size slide

  6. 7
    NeRF
    Neural Radiance Field
    𝜎 = 𝑁𝑁!(𝑥, 𝑦, 𝑧) 𝑐 = 𝑁𝑁"(𝑥, 𝑦, 𝑧, 𝜃, 𝜙)
    3D座標
    モノがありそ
    う度
    3D座標, 視線⽅向

    In essence, they take the DeepSDF architecture but regress not a signed distance function, but
    density and color.

    View full-size slide

  7. 8
    NeRFによる⾃由視点の再現
    液晶ディスプレイの映り込み、反射が視線により変わることを再現
    できている

    View full-size slide

  8. 9
    NeRF flow
    ① 学習画像からピクセルを選ぶ
    ② ピクセルを通る光線上でサンプリングし、その点のモノ
    がある度と⾊をNNにクエリする。
    ③ カメラから出発し、ピクセルに向かって進み、どのあた
    りでモノにぶつかるかの確率分布を計算する
    ④ ピクセルの⾊の期待値を計算する
    ⑤ GTのピクセルの⾊に近づくようにNNの学習を進める


    ③ ④

    View full-size slide

  9. 10
    NeRF in CVPR 2022
    • Block-NeRF
    NeRFによる⼤規模な範囲の⽣成(サンフランシシコのある地区)
    • Plenoxels
    ニューラルネットワークを使わずに微分可能ボリュームレンダリングの
    アーキテクチャで⾼速な⾃由視点画像⽣成が可能
    CVPR2022で発表された2つの論⽂を紹介する

    View full-size slide

  10. 11
    Block-NeRF デモ動画
    https://waymo.com/research/block-nerf/

    View full-size slide

  11. 12
    Block-NeRF
    Waymo(Google) carの360度Viewで⼤量の画像を撮影する。
    対象:San Francisco Alamo Square Neighbor (960x570m)
    各Block-NeRFは下記で学習
    18-28分のドライブ
    38-48の異なる⾛⾏データ
    64575-108216画像

    View full-size slide

  12. 13
    Block-NeRF Architecture
    NeRF-W(NeRF in the Wild)の⼿法導⼊
    天候やライティングの変化などのAppearanceの違いを
    別にできる
    Lighting and whether change
    Exposure change
    mip-NeRFをベースにする: incorporating anti-aliasing for multiscale rendering
    観光客がそれぞれ撮影したような画像から学習できる⼿法
    Appearance Embedding, Exposure Embeddingの導⼊

    View full-size slide

  13. 14
    Appearance Embedding
    推論時に変化させて、レンダリングも可能
    Appearance Embeddingにより⽇時の違いが
    あってもクリアなレンダリングを⾏える。

    View full-size slide

  14. 15
    移動物体へのマスク
    セグメンテーションモデル(Panoptic-deeplab)で移動物体(⾞や⼈)を検出しマスクをかける

    View full-size slide

  15. 16
    Block-NeRFsの統合
    街全体の画像再現をするため、35個
    のBlock-NeRFsを統合する。
    Visibilityを出⼒するネットワーク
    VisibilityがOKのNeRFをAppearnce Matthingをした上で、距離の逆数の重みで統合する

    View full-size slide

  16. 17
    Ablation study
    Learned pose refinement
    原論⽂のReferences[34,59,66,70]

    View full-size slide

  17. 18
    Plenoxels デモ動画

    View full-size slide

  18. 19
    Plenoxels
    Our results show that the key component in NeRF is the differentiable volumetric
    rendering, not the neural network.
    NeRFでは1GPUで学習に1⽇以上、レンダリングに1フレームあたり30秒以上かかる

    View full-size slide

  19. 20
    Plenoxels Flow
    Voxel opacitiesとSpherical harmonic coefficientsを最適化する。
    Plenoxels represent a scene as a sparse 3D grid with spherical harmonics.
    Plenoptic voxels: 近傍のVoxel
    球⾯調和関数:各視点での⾊の
    ⾒え⽅を表現する関数とする?
    3次元での近傍からの補間処理

    View full-size slide

  20. 21
    Optimization
    推論画像とGTのMSE
    RMSPropを⽤いて最適化計算
    ∆2x(v, d) shorthand for the squared difference between the dth value
    in voxel v := (i, j, k) and the dth value in voxel (i + 1, j, k)
    Total Variation正則化

    View full-size slide

  21. 22
    Result
    8 synthetic
    scenes
    8 real, forward-
    facing scenes
    4 real, 360°
    scenes

    View full-size slide

  22. 23
    参考⽂献
    • NeRF
    https://www.matthewtancik.com/nerf
    • Block-NeRF
    https://waymo.com/research/block-nerf/
    • Plenoxels
    https://alexyu.net/plenoxels/
    • SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せ
    る?? 〜
    https://www.slideshare.net/SSII_Slides/ssii2022-ss1-3d
    • 【学会聴講報告】CVPR2022からみるVision最先端トレンド
    https://www.youtube.com/watch?app=desktop&v=SeioHA14ND8&feature=youtu.be
    • NeRF at CVPR 2022
    https://dellaert.github.io/NeRF22/

    View full-size slide