Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
2023/4/22 NeRFが空間を理解する仕組み さくたま NeRF LT会
Slide 2
Slide 2 text
2023/4/22 自己紹介: さくたま 1 ▣ 慶應義塾大学 修士1年 ▣ 藤代研究室 (CG / Visualization) ▣ 3次元再構成，NeRFを研究し始めた ▣ AR好き ▣ LiSA ドラマー @ sakutama_11
Slide 3
Slide 3 text
2023/4/22 内容 今日話すこと ▣ NeRFのざっくりした仕組み 話さないこと ▣ 機械学習の細かい話 ▣ レンダリングの細かい話 2
Slide 4
Slide 4 text
2023/4/22 今日のゴール 3 なんとなくNeRFが何やってるか想像できる！ どうやったら上手く絵が出来そうか？分析できる！ CV, CG, 機械学習，わからない人でもなんとなくわかる！ 正確性よりわかりやすさ重視で説明します！ ※詳しい方はぜひ間違い探し(さくたまが認知してるものもしてないものも) をして教えてください
Slide 5
Slide 5 text
2023/4/22 NeRFは何をするもの？ 4 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
Slide 6
Slide 6 text
2023/4/22 撮った動画を前処理する 7 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
Slide 7
Slide 7 text
2023/4/22 撮った動画を前処理する 8 動画から各フレームを 切り出す カメラの位置を推定する
Slide 8
Slide 8 text
2023/4/22 撮った動画を前処理する 9 動画から各フレームを 切り出す カメラの位置を推定する ブラさない
Slide 9
Slide 9 text
2023/4/22 撮った動画を前処理する 10 カメラの位置を推定する 特徴点
Slide 10
Slide 10 text
2023/4/22 撮った動画を前処理する 11 カメラの位置を推定する 特徴点 視差
Slide 11
Slide 11 text
2023/4/22 撮った動画を前処理する 12 カメラの位置を推定する • 特徴点の位置関係の変化から カメラ位置を逆算 特徴点
Slide 12
Slide 12 text
2023/4/22 Neural Radiance Field を作る 13 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
Slide 13
Slide 13 text
2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える？？」 Radiance Fieldとは 15 「90%の濃さの黄色です」 位置(x, y, z) 方向(θ, φ) 色と密度(r, g, b, a)
Slide 14
Slide 14 text
2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える？？」 Radiance Fieldとは 16 「90%の濃さの黄色です」 位置(x, y, z) 方向(θ, φ) 色と密度(r, g, b, a) 同じ点を別の方向から見る
Slide 15
Slide 15 text
2023/4/22 Radiance Fieldから絵を作る 17 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
Slide 16
Slide 16 text
2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 18 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
Slide 17
Slide 17 text
2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 19 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
Slide 18
Slide 18 text
2023/4/22 Radiance Fieldから絵を作る仕組み 20 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
Slide 19
Slide 19 text
2023/4/22 Radiance Fieldから絵を作る仕組み 21 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定 半透明が表現できる
Slide 20
Slide 20 text
2023/4/22 答えているのはニューラルネットワーク AI “Neural” Radiance Field 22 「この位置はこっちから何色に見える？？」 「90%の濃さの黄色です」
Slide 21
Slide 21 text
2023/4/22 答えているのはニューラルネットワーク →正解データをもとに学習 AI “Neural” Radiance Field 23 「この位置はこっちから何色に見える？？」 「90%の濃さの黄色です」
Slide 22
Slide 22 text
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 24 比較
Slide 23
Slide 23 text
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 25 入力画像 レンダリング画像
Slide 24
Slide 24 text
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 26 入力画像 レンダリング画像 撮影中に空間が 変化しない このカメラでは〇〇が正解って 言ったのに！ このカメラは××って言った！ • 自分の影 • 通行人 • 明るさ補正
Slide 25
Slide 25 text
2023/4/22 まとめ 27 27 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置 NeRFの深い話や新しいNeRFについてもぜひ語り合いたい！