Upgrade to Pro — share decks privately, control downloads, hide ads and more …

NeuralFieldsメタサーベイ:CCC Summer 2023 in MIRUチュートリ...

ueda
July 26, 2023

NeuralFieldsメタサーベイ:CCC Summer 2023 in MIRUチュートリアル(配布版)

MIRU 2023チュートリアル「NeuralFieldsメタサーベイ」(17:30-18:00 チュートリアル講演3-3)で使用したスライドの配布版です。

ueda

July 26, 2023
Tweet

More Decks by ueda

Other Decks in Technology

Transcript

  1. • Neural FIeldsとは • Neural Fieldsの発展の現在:NeRF拡張のブレイクスルーを紹介 ◦ 高速化 ◦ 分解能の操作

    ◦ カメラ姿勢の最適化 ◦ 遠景のモデル化 • Neural Fieldsの派生研究 この発表について
  2. 密度及び色を記述するニューラル場と微分可能なvolume renderingの組み合わせ NeRF ニューラル場 volume rendering ▪ 3次元座標や方向を入力に密度や色を出力す る関数をMLPなどのネットワークで回帰する表 現方法

    ▪ coordinate network、Implicit Neural Representationと呼ばれることも ▪ 密度と色情報をレイに沿ってサンプリングし、 レンダリング画像を生成する ▪ 微分可能な方程式によって、 3次元形状表現 とRGB画像を接続し、測光誤差 (Photometric Error)による最適化が可能になる https://arxiv.org/pdf/2003.08934.pdf
  3. オリジナルNeRFの制限と進歩 計算コストが高い 膨大な撮影枚数が必要 被写体が小さい 高精度のカメラ姿勢が必要 形状の獲得に半日、推論に数分 1シーンに200枚程度要求 Out2Inな視点での撮影に限定 前処理としてCOLMAPが前提 グリッドモデルの併用により

    5分以内での形状獲得、 120fpsでのレンダリングが可能 CLIP等の特徴量を未知視点で 一貫させることで 3~7枚程度での学習が可能 NeRFの分解能の操作可能性の発見で Coarse-to-FineなBAが実現し 条件によってはカメラ姿勢が不要 無限遠までをモデル化する座標系、 空間を分割したNeRFの学習の実現で 都市規模の復元が可能
  4. オリジナルNeRFの制限と進歩 計算コストが高い 膨大な撮影枚数が必要 被写体が小さい 高精度のカメラ姿勢が必要 形状の獲得に半日、推論に数分 1シーンに200枚程度要求 Out2Inな視点での撮影に限定 前処理としてCOLMAPが前提 グリッドモデルの併用により

    5分以内での形状獲得、 120fpsでのレンダリングが可能 CLIP等の特徴量を未知視点で 一貫させることで 3~7枚程度での学習が可能 NeRFの分解能の操作可能性の発見で Coarse-to-FineなBAが実現し 条件によってはカメラ姿勢が不要 無限遠までをモデル化する座標系、 空間を分割したNeRFの学習の実現で 都市規模の復元が可能 NeRF研究への参入障壁が軽減
  5. ◯サンプリング点の削減 AutoInt(CVPR2021): ボリュームレンダリングの積分構造を埋め込んだネットワークを作 成し、レイ両端の2点のサンプリングのみで定積分を計算可能 DONeRF(CVPR2021): 単眼デプス推定に基づいてサンプリング点配置の事前確率を設 定し、最大48倍の高速化 ◯ネットワークの分割 NSVF(CVPR2021): Sparse

    Voxel Octreeでモノのある箇所にのみNNを配置.NeRFより 10倍高速 DeRF (CVPR2021): Voronoi空間分割でシーンの分解方法を含め学習.NeRFより3倍高 速 KiloNeRF(ICCV2021): 数千オーダーの小規模なMLPに分割。NeRFより3000倍高速 高速化の経緯① 推論時の高速化
  6. ❏ NeRFでは高品質なカメラ姿勢が要求されるため,JointOptimization(iNeRF)を用いた 調整や推定が探索されてきた
 ❏ BARF以降,PEを介して低周波成分を対象にした学習初期の誘導が可能になった
 →CVPR2023ではBARFの拡張が多数提案
 ❏ DBARF(Yu et al.):汎化NeRFにBundle

    Adjustmentを導入
 ❏ L2G-NeRF(Yue et al.):ピクセル単位の対応に対して微分可能なパラメータ推定ソル バを用いてGlobalなBAを実施
 ❏ BAD-NeRF(Pen et al.):激しいモーションブラー画像や不正確なカメラポーズに強い BAを行うNeRFを提案
 カメラ姿勢推定
 28
  7. ❏ NeRFで3D(or 時系列で4D)をモデル化することが一般化
 ❏ NeRFを使うのは誰でもできる時代に
 ❏ 研究の方向性1:NeRFの適用可能性を広げる
 ❏ より簡単に,より高速に,より制約なく
 ❏

    特に簡単な工夫で高速化・高性能化・適用可能シナリオの拡大ができないかの
 試行錯誤が進められている印象
 ❏ 既存のパラメトリックな3Dモデルも活用(人体のSMPLなどが顕著)
 ❏ 研究の方向性2: 大規模化
 ❏ グリッドベースの特徴量記述を利用すれば都市レベルでできることがよく知られている
 ❏ 研究の方向性3: 複数シーン対応
 ❏ シーン単位学習から複数シーン同時最適化・未知シーンへの学習結果の活用
 ❏ 2Dやテキストの学習済みモデルをうまく利用
 ❏ 光線や2D画像など,3Dより軽量な単位の特徴量でシーンをまたぐ
 ❏ 研究の方向性4:これまでのCV研究の応用
 ❏ 2D CNNでの推論,パラメトリックな変形モデル,ルールベースの点群処理・画像処理など
 既に解けたタスクを3Dに持ち上げる道具として利用
 ❏ NeRFを使うとうまく「3D→2D」「2D→3D」のラベル・情報伝播ができる
 ❏ レンダリングを真面目に考えていることのメリット 
 Neural Field関連研究の動向まとめ
 31