ニューラル場 (Neural Field)
3D座標 p とニューラルネットワーク f について，
f (p) が座標 p の3D情報 (モノがあるか，⾊，etc. ) を表す
- e.g. f (p) = 1 のときモノの内部， f (p) = 0 のとき外部
- e.g. f (p) = 0 のときモノの表⾯（このとき前スライドと⼀致）
#28
ボクセル 点群 メッシュ ニューラル場 [Mescheder+ 2019]
陰関数表現の⼀種で，
関数にNNを使ったもの
ニューラル場の教師付き学習
ニューラル場に変換したい3Dモデルを持っているとき，
それを直に教師データとして⽤いて NN を最適化すればよい
✔ シンプルな教師付き学習
✗ 現実的に「3Dモデルを持っている」ことは稀
#39
3次元座標 p
p が物体の内部
である確率 σ
y
(p)
NN
正解ラベル
σ
t
(p)
正解との違い
⼊⼒ 推論値 ⽬的関数 教師
最適化
画像からニューラル場を最適化
複数視点からの写真があるとき，視点の情報を既知として，
ニューラル場を描画した画像と，写真が合うように NN を最適化
（三次元再構成）
#41
視点情報 v
その視点からの
画像 I
y
(v)
NNを⽤いて
描画
観測画像
I
t
(v)
正解との違い
⼊⼒ 推論値 ⽬的関数 教師
最適化
初期化
- ピクセルの色 y = 0
- レイがものに衝突していない確率 T = 1
for i in 0 … inf
1. p
i
の密度 σ
i
と⾊ c
i
を NN から得る σ
i
= NN
σ
(p
i
)，c
i
= NN
c
(p
i
)
2. 次のサンプリング点までの距離 δ
i
= p
i+1
- p
i
を計算
3. 点 p
i
が不透明な（レイがぶつかる）確率 α
i
= 1 - exp(-σ
i
δ
i
) を計算
4. ぶつかる率に⽐例して⾊を加算 y += T α
i
c
i
5. レイが p
i+1
に到達する確率を計算 T := T (1 - α
i
)
ニューラル場の描画: ピクセル⾊の決定
#43
p
0
p
1
p
2
ここから出発 前進していく
ボリュームレンダリングという
密度が濃いほど
衝突しやすい
[Mildenhall+ 2020]
Slide 44
Slide 44 text
微分可能レンダリング
描画関数が微分可能でないとNNを勾配法で最適化できない
- 3Dモデル θ を描画（レンダリング）する関数 R について
(∂R(θ)/∂θ) が計算できるとき R を微分可能レンダリングという
- 数学⽤語の「微分可能」とは意味が異なる
#44
視点情報 v
その視点からの画
像 I
y
(v)
NNを⽤いて描
画
観測画像
I
t
(v)
正解との違い
⼊⼒ 推論値 ⽬的関数 教師
最適化
微分可能な
描画関数
微分可能な
損失関数
誤差逆伝播可能と
いうこと
Slide 45
Slide 45 text
登場する式
- σ
i
= NN
σ
(p
i
)，c
i
= NN
c
(p
i
)
- δ
i
= p
i+1
- p
i
，α
i
= 1 - exp(-σ
i
δ
i
)
- y += T α
i
c
i
，T := T (1 - α
i
)
つまり，NN，四則演算，指数関数
ボリュームレンダリングは微分可能か
#45
どれも，誤差逆伝播を妨げる計算
（離散的な選択など）ではない
素直に微分可能
きわめて⾼性能な⾃由視点画像⽣成⼿法
- ⾃由視点画像⽣成: 与えられた視点 v に対する画像 I(v) を⽣成
- 点の⾊は⾒る向きによって異なってもよい，とモデル化することが特徴
σ = NN
σ
(p), c = NN
c
(p, d)
- 微分可能ボリュームレンダリングの有⽤性を知らしめたことも⼤きな貢献
Neural Radiance Field (NeRF) [Mildenhall+ 2020]
#47
p の密度
（モノがありそう度）
3D座標
p の色
見ている向き
よい3D形状を
求めるのは目的
ではない
疎で⾼解像度のボクセルを使えば，そもそも NN を⼀切使わなくてもよい
- NeRFと同程度の性能
- 最適化が100倍くらい⾼速
疎なボクセル，NNなし
#60
[Yu+ 2022]
正解 NeRF++ Plenoxels (No NN)
Slide 61
Slide 61 text
NeRF と同じくボリュームレンダリングするが，
透過度と⾊を NN に覚えさせるのではなく，陽に記録しておくところが異なる
for i in 0 … inf
1. レイ上の i 番⽬のガウシアンの透過度 α
i
と⾊ c
i
を読み出す
2. ぶつかる率に⽐例して⾊を加算 y += T α
i
c
i
3. レイが i + 1 番⽬のガウシアンに到達する確率を計算 T := T (1 - α
i
)
各ガウシアンの透過度，⾊，位置，⼤きさ，傾きを勾配法で最適化する
3D Gaussian Splatting
#61
NeRFと
同じ
Figure from [URL]
3D構造を推定するNNが簡単に設計できるとカンタン
- 例: ⾝体や⼿については，いくつかのパラメータを受け取り形状‧ポーズを出
⼒するモデルが広く⽤いられている
パラメトリック形状モデル
#73
MANO hand model [Romero+ 2017]
SMPL body model [Loper+ 2015]
NNはそのパラメータを予測すればよい
三次元再構成のおもしろさ
1. ディープラーニングでポン，では解きにくい
a. 幾何的な拘束条件，反射特性モデル，etc.
b. 逆コンピュータグラフィクス
c. 「常識」をどこから獲得し，どう活⽤していくか
2. 「三次元」の難しさ
a. ⾔語 (1D) や画像 (2D) より，計算‧メモリの削減に⼯夫が必要
3. 実応⽤への近さ
a. エンタメ: 映像制作，ゲーム
b. 知的情報処理: ⾃動運転，ロボット
#103
Waterfall (M. C. Escher)