Neural Fieldの紹介 - Speaker Deck

Neural Fieldの紹介

by Naoya Chiba

Slide 1

Slide 1 text

Neural Fieldの紹介大阪大学千葉

Slide 2

Slide 2 text

Neural Fieldとは空間中の（連続な）各点𝒙𝒙に対応した関数値𝒇𝒇 𝒙𝒙 をニューラルネットワークでモデル化 • 画像などは要素を列挙した離散な表現 • 関数として連続な表現として学習させる 2 𝑓𝑓 𝑖𝑖, 𝑗𝑗 , 𝑓𝑓𝑖𝑖,𝑗𝑗 など 𝑓𝑓 𝑥𝑥, 𝑦𝑦 画像：離散な表現 Neural Field：連続な関数で表現

Slide 3

Slide 3 text

Neural Fieldの登場した経緯ニューラルネットワークによる3Dデータ処理が発展（ボクセル，点群，メッシュなど）これらの表現には種々の限界（後述）があった精緻な三次元形状を記述できる＆ニューラルネットワークと相性のよい手法 → DeepSDF（等）が提案された（別の文脈で）NeRFが登場（後述）・発展 → これらが徐々に整理され，Neural Field系の技術として発展 3 2016-2018年頃 2019年 2020年

Slide 4

Slide 4 text

Neural Field以前の3D形状表現代表的な3D形状表現を紹介ボクセル • グリッド上に情報を並べて表現 • 空間解像度の3乗でメモリを消費するため空間解像度が上げにくい空間座標：離散データ点：離散表面の記述：あり 4 *: L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019 *ボクセルの例

Slide 5

Slide 5 text

Neural Field以前の3D形状表現代表的な3D形状表現を紹介点群 • 三次元点の座標の集合で形状を記述する • 非グリッドな記述でありメモリ効率よく空間解像度の高い表現 • 点群深層学習が発展 • 明示的に表面は記述していない空間座標：連続データ点：離散表面の記述：なし 5 *: L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019 *点群の例

Slide 6

Slide 6 text

Neural Field以前の3D形状表現代表的な3D形状表現を紹介メッシュ • 頂点・（辺・）面の集合で形状を記述 • 非グリッドな記述 • 頂点の座標が離散なので滑らかな表現は難しい空間座標：連続データ点：離散表面の記述：あり 6 *: L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019 *メッシュの例

Slide 7

Slide 7 text

Neural Fieldによる表面モデルボクセル・点群・メッシュなどは陽なデータ表現＝直接データ点を保持，記述これらの非構造データの処理も面白い課題，今回は省略 Neural Fieldを用いた表面モデル＝ Implicit Surface Representationが登場空間座標：連続データ点：連続離散な点について好きなだけクエリする表面の記述：あり 7 *: L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019 ボクセル点群メッシュ Neural Field *

Slide 8

Slide 8 text

Neural Fieldによる表面モデル Neural Fieldを用いた表面モデル • DeepSDF（今回主に紹介） • Occupancy Network • IM-Net がほぼ同時期（すべてCVPR2019）に提案ニューラルネットワークで陰に表面形状を記述するというアイデアは共通どのような関数を経由するか・表現の利用方法に差異 8

Slide 9

Slide 9 text

Fieldによる表面形状表現 Fieldによる表面形状の記述とは空間中の各点での値を返す関数の等高面で形状を記述 𝑓𝑓 𝑥𝑥; 𝜃𝜃 = 𝜏𝜏 • 𝜃𝜃: 形状を表すパラメータ • 𝑥𝑥: 座標 • 𝜏𝜏: 等高面の高さ 𝑓𝑓𝜃𝜃 𝜏𝜏 記述したい形状 9

Slide 10

Slide 10 text

Implicit Function系手法の紹介 •メタボール：濃度分布をもつ球の集合で形状を定義等高線で表面形状を表す •陰関数表現：メタボールの一般化 • 内側・外側で符号を変えることで向きを表現（Signed Distance Function: SDF） • SDFの勾配方向を計算することで法線も同時に得られる • Marching Cubes法などの等値面抽出手法でメッシュを再構成できる William E. Lorensen+, Marching Cubes: A high resolution 3D surface construction algorithm. SIGGRAPH1987. 10 Wikipedia: メタボール

Slide 11

Slide 11 text

DeepSDFの紹介形状ごとのSigned Distance Function (SDF)をニューラルネットワークで学習シンプルなネットワークで三次元形状が記述できる Neural Fieldなのでなめらかな表面が表せる Signed Distance Function (SDF) 𝑓𝑓 𝒙𝒙 � > 0（物体の外側） = 0（物体の表面） < 0（物体の内側） 11 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019.

Slide 12

Slide 12 text

DeepSDFでのモデル単一形状を記述する場合座標を入力，SDFを出力すればよい複数形状を記述する場合形状ごとの潜在ベクトル（Code）と座標を入力， SDFを出力する単一形状の場合複数形状の場合 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019. 12

Slide 13

Slide 13 text

ネットワーク構造ネットワークの構成 • SDF自体を学習するため，ネットワークの構造はシンプル • 基本的には単純なMLP 形状を表現するコード三次元点 SDFの出力値 13 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019.

Slide 14

Slide 14 text

Codeの決め方オートデコーダー • 形状ごとにCodeを設定 • デコーダーを同時にCodeも最適化 • 初期値はランダムに与える • 推論時は与えられたサンプル点の集合から Codeについて最適化，SDFを得る 14 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019.

Slide 15

Slide 15 text

学習方法ロス関数 L1ロス with clamp，SDFの値を −𝛿𝛿, 𝛿𝛿 の範囲に限定 ℒ = clamp 𝑓𝑓𝜃𝜃 𝑥𝑥 , 𝛿𝛿 − clamp 𝑠𝑠, 𝛿𝛿 • clamp ⋅, 𝛿𝛿 : 値を −𝛿𝛿, 𝛿𝛿 に限定 • 𝑠𝑠: 教師信号学習する点のサンプリング • 一つの形状についていくつものサンプル点を与えて学習 • 表面付近を重点的にサンプリング＆空間全体でサンプリング 15

Slide 16

Slide 16 text

出力の例既存手法との比較良好な再構成結果が得られている 16 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019.

Slide 17

Slide 17 text

出力の例片面点群から全体形状の補完見えていない部分も再現している 17 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019.

Slide 18

Slide 18 text

出力の例形状補間の例なめらかに補間できている 18 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019.

Slide 19

Slide 19 text

表面点群のみからSDFを学習 Implicit Geometric Regularization [A.Gropp+, ICML2020] • 表面点群（＝Implicit Functionのゼロ面上の点）から Implicit FunctionによりSDFを学習 • 適切な初期化と空間中での勾配に関する制約（SDFの勾配があらゆる点で1になる）を用いて学習 19 A. Gropp+. Implicit Geometric Regularization for Learning Shapes. ICML2020.

Slide 20

Slide 20 text

他の表面モデル 20 Occupancy Network • SDFではなくその点での占有率でモデル化 • 占有しているかどうかの二値分類と考え， Cross-entropy Lossで学習 • エンコーダーと組み合わせ，画像からの 3D再構成や低解像度のボクセル表現からの超解像も実現 L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019

Slide 21

Slide 21 text

他の表面モデル 21 Occupancy Network • Neural Fieldの特徴として，解像度によらずパラメータ数が一定であることを強調 • メッシュとして表面形状をきれいに出力する手法 Multiresolution IsoSurface Extractionも提案 L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019

Slide 22

Slide 22 text

他の表面モデル IM-Net • 占有率でモデル化，（重み付き）L2 Lossで学習 • 生成モデルとして使うことに重点 • 学習の過程や潜在ベクトル空間での補間の性質が良い 22 Z. Chen+. Learning Implicit Fields for Generative Shape Modeling, CVPR2019

Slide 23

Slide 23 text

表面モデルから体積モデルへ Neural Fieldのアイデアが3D表現を革新シンプルなネットワークで複雑な形状をモデル化できるようになった表面モデルのlimitation • 半透明・構造色を含むシーンには対応していない • 3Dの教師データが必要 → NeRF (Neural Radiance Field) の登場 • 体積（Volumetric）ベースのモデル • 多視点画像のみから任意視点画像生成を可能に • 視点依存性にも対応 • （オリジナルのNeRFでは）シーンごとに最適化， DeepSDFのようにCodeで制御しない 23

Slide 24

Slide 24 text

NeRFの紹介 NeRF (Neural Radiance Field) [Ben Mildenhall+, ECCV2020] • 新規視点画像生成（Novel View Synthesis）を行うあるシーンの多視点画像を学習しておき，そのシーンの任意視点での画像を推定できるように • アプローチ • Radiance Field （放射輝度場）をNNでモデル化 • Volume Renderingを深層学習フレームワーク上で計算，シーンごとに勾配ベースで最適化 24 B. Mildenhall+. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV2020.

Slide 25

Slide 25 text

Radiance FieldとVolume Rendering Radiance Field ＝ある点・ある視点についての放射輝度 NeRFでは色と密度でモデル化色：𝑐𝑐 𝐫𝐫 𝑡𝑡 , 𝐝𝐝 … 色については座標と見る角度𝐝𝐝に依存密度： 𝜎𝜎 𝐫𝐫 𝑡𝑡 … 密度は座標にのみ依存 Radiance FieldについてVolume Renderingすると • 見る角度で色が変わるシーンに対応 • 霧・煙などにも対応できる 25

Slide 26

Slide 26 text

Volume Rendering 画像＝光線に対応した画素の輝度値を並べたもの画素の輝度値＝光線上の放射輝度を足し合わせたものカメラカメラ画像平面 26

Slide 27

Slide 27 text

Volume Rendering 画像＝光線に対応した画素の輝度値を並べたもの画素の輝度値＝光線上の放射輝度を足し合わせたもの放射輝度（Radiance）の考え方・・・空間中の各点から光が放出 •方向には依存 •ライティングは固定 27

Slide 28

Slide 28 text

Volume Rendering 光線上の放射輝度を足し合わせたもの 28 影響小：ここは素通り影響大：ここで反射影響小：ここは隠れている 𝑇𝑇 𝑡𝑡 = exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 ある点までの密度の積分：どれくらい既に隠れているか

Slide 29

Slide 29 text

Volume Rendering 画像＝光線に対応した画素の輝度値を並べたもの画素の輝度値＝光線上の放射輝度を足し合わせたもの 29 𝐶𝐶 𝐫𝐫 = � 𝑡𝑡𝑛𝑛 𝑡𝑡𝑓𝑓 𝑇𝑇 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑡𝑡 𝑐𝑐 𝐫𝐫 𝑡𝑡 , 𝐝𝐝 𝑑𝑑𝑑𝑑 𝑇𝑇 𝑡𝑡 = exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 その点の密度その点の色（方向を考慮）そこまでの密度画素の色これを深層学習フレームワークで実装し微分可能なボリュームレンダリングを実現， NeRFの最適化が可能になった

Slide 30

Slide 30 text

Volume Rendering 光線上の放射輝度を足し合わせたもの 30 𝐶𝐶 𝐫𝐫 = � 𝑡𝑡𝑛𝑛 𝑡𝑡𝑓𝑓 𝑇𝑇 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑡𝑡 𝑐𝑐 𝐫𝐫 𝑡𝑡 , 𝐝𝐝 𝑑𝑑𝑑𝑑 𝑇𝑇 𝑡𝑡 = exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 その点の密度その点の色（方向を考慮）そこまでの密度画素の色その部分まで見通せる＆その点で密度が高い → その点での放射輝度を採用密度小さい → 影響小

Slide 31

Slide 31 text

Volume Rendering 光線上の放射輝度を足し合わせたもの 31 𝐶𝐶 𝐫𝐫 = � 𝑡𝑡𝑛𝑛 𝑡𝑡𝑓𝑓 𝑇𝑇 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑡𝑡 𝑐𝑐 𝐫𝐫 𝑡𝑡 , 𝐝𝐝 𝑑𝑑𝑑𝑑 𝑇𝑇 𝑡𝑡 = exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 その点の密度その点の色（方向を考慮）そこまでの密度画素の色その部分まで見通せる＆その点で密度が高い → その点での放射輝度を採用見通せる＆密度大 → 影響大

Slide 32

Slide 32 text

Volume Rendering 光線上の放射輝度を足し合わせたもの 32 𝐶𝐶 𝐫𝐫 = � 𝑡𝑡𝑛𝑛 𝑡𝑡𝑓𝑓 𝑇𝑇 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑡𝑡 𝑐𝑐 𝐫𝐫 𝑡𝑡 , 𝐝𝐝 𝑑𝑑𝑑𝑑 𝑇𝑇 𝑡𝑡 = exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 その点の密度その点の色（方向を考慮）そこまでの密度画素の色その部分まで見通せる＆その点で密度が高い → その点での放射輝度を採用見通せない → 𝑇𝑇 𝑡𝑡 が小さい → 影響小

Slide 33

Slide 33 text

余談：レンダリング方程式レンダリング方程式 𝐿𝐿𝑜𝑜 𝑥𝑥, 𝜔𝜔𝑜𝑜 = 𝐿𝐿𝑒𝑒 𝑥𝑥, 𝜔𝜔𝑜𝑜 + ∫ 𝑆𝑆2 𝑓𝑓 𝑥𝑥, 𝜔𝜔𝑖𝑖 , 𝜔𝜔𝑜𝑜 𝐿𝐿𝑖𝑖 𝑥𝑥, 𝜔𝜔𝑖𝑖 𝜔𝜔𝑖𝑖 ⋅ 𝑛𝑛 d𝜔𝜔𝑖𝑖 • 𝐿𝐿𝑜𝑜 : ある点である方向に出てくる光 • 𝐿𝐿𝑒𝑒 : その点でその方向への発光 • 𝐿𝐿𝑖𝑖 : その点でその方向への出力光に関する，ある方向からの入力光 • 𝑥𝑥: 着目点の座標 • 𝜔𝜔𝑜𝑜 : 光の出る方向 • 𝜔𝜔𝑖𝑖 : 光の入る方向 • 𝑛𝑛: 法線方向 • 𝑆𝑆2: 球面全体について 33

Slide 34

Slide 34 text

余談：レンダリングでの定式化との関係レンダリング方程式 𝐿𝐿𝑜𝑜 𝑥𝑥, 𝜔𝜔𝑜𝑜 = 𝐿𝐿𝑒𝑒 𝑥𝑥, 𝜔𝜔𝑜𝑜 + ∫ 𝑆𝑆2 𝑓𝑓 𝑥𝑥, 𝜔𝜔𝑖𝑖 , 𝜔𝜔𝑜𝑜 𝐿𝐿𝑖𝑖 𝑥𝑥, 𝜔𝜔𝑖𝑖 𝜔𝜔𝑖𝑖 ⋅ 𝑛𝑛 d𝜔𝜔𝑖𝑖 NeRFでは単純化して 𝐿𝐿𝑜𝑜 𝑥𝑥, 𝜔𝜔𝑜𝑜 = 𝑁𝑁𝑁𝑁 𝑥𝑥, 𝜔𝜔𝑜𝑜 → 入射光に関して放射輝度が変化しない（＝ライティングは一定）と仮定 34

Slide 35

Slide 35 text

余談：レンダリングでの定式化との関係ボリュームレンダリング方程式（数式自体はやたらややこしいので省略）表面での反射（レンダリング方程式）に加え， • 光の吸収 • 光の散乱（in scattering / out scattering） • 発光の影響を考える．これを光線にしたがって積分（NeRFでやっていること）すると，観測される輝度値になる（さらに余談：この文脈で密度𝜎𝜎は散乱係数と呼ばれる） 35

Slide 36

Slide 36 text

NeRFのモデル化の限界 •シーンについて • 単独のシーンについて最適化 • 複数のシーンは扱えない • 変形を含むシーン（時系列など）は扱えない •光学現象について • 密度と放射輝度でモデル化 • 方向による輝度値変化（鏡面反射や構造光）は扱える • 散乱を含むシーン（煙など）は扱える • ただし実際やってみるといずれもきれいには最適化できない，あくまでモデルとして可能であるの意味 • ライティングの変化は扱えない 36

Slide 37

Slide 37 text

NeRFのモデルとロス関数 NNによるモデル • 入力：位置・光線の角度 • 出力：色・密度ロス関数：輝度値を比較（L2ロス） 37 B. Mildenhall+. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV2020.

Slide 38

Slide 38 text

NeRFの工夫 Hierarchical Volume Sampling 粗いレンダリングでどこにあるかを推定してから，密なレンダリングで重点的にサンプリング Positional Encoding 座標・光線方向を高周波・高次元な表現に変換してから NNの入力とする 38 nerf2D: https://github.com/ankurhanda/nerf2D 2DでのPositional Encodingの例正解画像 Positional Encodingあり Positional Encodingなし

Slide 39

Slide 39 text

ネットワーク構造シンプルなMLPでRadiance Fieldをモデル化光線上の各点についてクエリし Volume Renderingする座標の入力視点角度の入力密度の出力色の出力 39 Ben Mildenhall+. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV2020. ここで方向を入れるので，色のみ視点依存

Slide 40

Slide 40 text

別の歴史的背景メッシュベースの微分可能レンダリング • Neural 3D Mesh Renderer • 画像上からパラメータの勾配を計算（勾配が通るようにBack Prop.を書き換え） • メッシュの頂点座標やテクスチャを最適化できるように 40 H. Kato+. Neural 3D Mesh Renderer. CVPR2018.

Slide 41

Slide 41 text

出力の例細かい箇所まで良好な画像を出力正解出力正解出力シーンシーン 41 Ben Mildenhall+. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV2020.

Slide 42

Slide 42 text

カメラ姿勢の最適化 NeRFは微分可能レンダリング Radiance Fieldだけでなく，ほかのパラメータに微分を伝える（→勾配法で最適化する）ことが可能にカメラ姿勢推定の例 42 I. Ueda+. Neural Density-Distance Fields. ECCV2022.

Slide 43

Slide 43 text

NeRFのネットワーク構造シンプルなMLPでRadiance Fieldをモデル化光線上の各点についてクエリし Volume Renderingする座標の入力視点角度の入力密度の出力色の出力 43 Ben Mildenhall+. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV2020.

Slide 44

Slide 44 text

NeRFを空間方向に分解する一つのMLPでモデル化すると重い → 部分ごとに分割して情報を保持すれば良い MLP 視点 𝑑𝑑 � 密度 𝜎𝜎 色 𝑐𝑐 MLP等 � 密度 𝜎𝜎 色 𝑐𝑐 うまいデータ構造 NeRFの模式図グリッドを用いたRFの模式図座標 𝑥𝑥 視点 𝑑𝑑 座標 𝑥𝑥 44

Slide 45

Slide 45 text

小さいNeRFに分割 NeRFをそのままグリッドで部分ごとに分割 • kiloNeRF, FastNeRFなど • 各座標でのRadiance Fieldの評価で，毎回全体のMLPを計算しない • 座標に対応した軽量な MLPのみ評価することで大幅に高速化 C. Reiser+. KiloNeRF: Speeding up Neural Radiance Fields with Thousands of Tiny MLPs. ICCV2021. 45

Slide 46

Slide 46 text

スパースボクセルボクセルに分割して物体のあるところだけ特徴量を割り当てる • NSVF：物体がある領域に特徴量を割り当て，後段に軽量なMLPを通してRFをモデル化 • 段階的に解像度を上げて物体が存在する部分だけ保持スパースボクセルの例（NSVF） L. Liu+. Neural Sparse Voxel Fields. NeurIPS2020. 46

Slide 47

Slide 47 text

Slide 48

Slide 48 text

スパースボクセルボクセルに分割して物体のあるところだけ特徴量を割り当てる • SNeRF：学習済みのNeRFをスパースボクセル表現に変換してレンダリングを高速化 P. Hedman+. Baking Neural Radiance Fields for Real-Time View Synthesis. ICCV2021. 48

Slide 49

Slide 49 text

スパースボクセルボクセルに分割して物体のあるところだけ特徴量を割り当てる • Plenoxels： Radiance Fieldをそのままスパースボクセルとしてモデル化（MLPなし） • カラーを球面調和関数でモデル化 S. Fridovich-Keil & A. Yu+. Plenoxels: Radiance Fields without Neural Networks. CVPR2022. 49

Slide 50

Slide 50 text

Octree 適応的に切り分けた空間分割で特徴量をボクセル上に配置する • NGLOD：各解像度の特徴量の和を利用 • PlenOctree: NeRFをOctreeに変換，高速なレンダリング T. Takikawa+. Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Surfaces. CVPR2021. 50

Slide 51

Slide 51 text

Hash / Codebook ハッシュ / コードを用いてコンパクトな特徴量表現 • Instant-NGP Multiresolution Hash Encodingでハッシュ化・特徴量をルックアップ • VQAD: Softmaxで頂点のコードを学習可能にし最適化 T. Müller+. Instant Neural Graphics Primitives with a Multiresolution Hash Encoding. SIGGRAPH2022. T. Takikawa+. Variable Bitrate Neural Fields. SIGGRAPH2022. 51

Slide 52

Slide 52 text

低次元に分解各面（など）に分解して再構成 • Tri-plane：各面の特徴量を足し合わせてその点での特徴量を記述，軽量なMLPでRFを出力 Hybrid Representationと命名 E. R. Chan+. Efficient Geometry-aware 3D Generative Adversarial Networks. CVPR2022. 52

Slide 53

Slide 53 text

低次元に分解各面（など）に分解して再構成 • TensoRF: テンソル分解によって各点のRadiance Fieldをベクトル・行列積の和としてモデル化 MLPを経由せず，線形変換でRFに変換 A. Chen+. TensoRF: Tensorial Radiance Fields. ECCV2022. 53

Slide 54

Slide 54 text

2Dでの応用例 Local Implicit Image Function (LIIF) • 画像を2DのNeural Fieldで記述 • 各座標値を入力，輝度値を返すようにモデル化 • 着目範囲をセルとして与える工夫 • 細かくサンプリングすることで超解像を実現 54 Y. Chen+. Learning Continuous Image Representation with Local Implicit Image Function. CVPR2021.

Slide 55

Slide 55 text

Neural Fieldとも考えられる構造 Parametric Continuous Convolutions 非グリッドな環境（点群を想定）での畳み込み 1. 局所領域を選択 2. 注目点との相対座標→その点での重みを出力相対座標を入力して関数を返すことで連続な表現に＝Neural Fieldと同じアイデア Grid Convolution Continuous Convolution 55 S. Wang+. Deep Parametric Continuous Convolutional Neural Networks. CVPR2018.

Slide 56

Slide 56 text

Neural Fieldに近いアイデア点群における物体検出手法 VoteNet • 点群を入力し，各点が属する物体の中心座標を推定 • 点群上で定義された「物体中心を指すベクトル場」とみなせる • 空間全体に拡張するとNeural Field 56 C. R. Qi+. Deep Hough Voting for 3D Object Detection in Point Clouds. ICCV2019.

Slide 57

Slide 57 text

まとめ •NeRFに至る研究の背景について， Neural Fieldの観点から紹介「空間中の各点に対応した関数値」をニューラルネットワークでモデル化 • 表面モデルのDeepSDF • 体積モデルのNeRF •NeRFが想定する光学的なモデルと， Neural Fieldによる実現について紹介 •特徴量のグリッド表現を紹介さまざまな工夫によって高速な学習・推論を実現 57