Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【NeRF撮り方LT会】NeRFが空間を理解する仕組み
Search
さくたま
April 22, 2023
Technology
1
1.4k
【NeRF撮り方LT会】NeRFが空間を理解する仕組み
さくたま
April 22, 2023
Tweet
Share
More Decks by さくたま
See All by さくたま
Unity Android XR入門
sakutama_11
0
170
AR×ドラムで切り拓く音楽表現【XRKaigi 2024】
sakutama_11
0
19
「ARドラム」の裏側 【Iwaken Lab. Tech Conference】
sakutama_11
1
2.1k
SwiftUIで作るvisionOS向けTabViewUIの知見
sakutama_11
1
400
8th Wall × Babylon.jsでhavok physics 【Babylon.js ゆるほめLT会 vol.2】
sakutama_11
0
690
Other Decks in Technology
See All in Technology
Building Products in the LLM Era
ymatsuwitter
10
6.1k
Raycast AI APIを使ってちょっと便利な拡張機能を作ってみた / created-a-handy-extension-using-the-raycast-ai-api
kawamataryo
0
150
あれは良かった、あれは苦労したB2B2C型SaaSの新規開発におけるCloud Spanner
hirohito1108
2
780
Helm , Kustomize に代わる !? 次世代 k8s パッケージマネージャー Glasskube 入門 / glasskube-entry
parupappa2929
0
270
エンジニアの育成を支える爆速フィードバック文化
sansantech
PRO
3
1.1k
AIエージェント元年
shukob
0
120
表現を育てる
kiyou77
1
230
NFV基盤のOpenStack更新 ~9世代バージョンアップへの挑戦~
vtj
0
230
CDKのコードを書く環境を作りました with Amazon Q
nobuhitomorioka
1
110
ホワイトボードチャレンジ 説明&実行資料
ichimichi
0
130
Iceberg Meetup Japan #1 : Iceberg and Databricks
databricksjapan
0
160
Developers Summit 2025 浅野卓也(13-B-7 LegalOn Technologies)
legalontechnologies
PRO
1
1.3k
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
114
50k
Being A Developer After 40
akosma
89
590k
Designing for humans not robots
tammielis
250
25k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
Faster Mobile Websites
deanohume
306
31k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
KATA
mclloyd
29
14k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
BBQ
matthewcrist
87
9.5k
Producing Creativity
orderedlist
PRO
344
39k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.4k
Transcript
2023/4/22 NeRFが空間を理解する仕組み さくたま NeRF LT会
2023/4/22 自己紹介: さくたま 1 ▣ 慶應義塾大学 修士1年 ▣ 藤代研究室 (CG
/ Visualization) ▣ 3次元再構成,NeRFを研究し始めた ▣ AR好き ▣ LiSA ドラマー @ sakutama_11
2023/4/22 内容 今日話すこと ▣ NeRFのざっくりした仕組み 話さないこと ▣ 機械学習の細かい話 ▣ レンダリングの細かい話
2
2023/4/22 今日のゴール 3 なんとなくNeRFが何やってるか想像できる! どうやったら上手く絵が出来そうか?分析できる! CV, CG, 機械学習,わからない人でもなんとなくわかる! 正確性よりわかりやすさ重視で説明します! ※詳しい方はぜひ間違い探し(さくたまが認知してるものもしてないものも)
をして教えてください
2023/4/22 NeRFは何をするもの? 4 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
2023/4/22 撮った動画を前処理する 7 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
2023/4/22 撮った動画を前処理する 8 動画から各フレームを 切り出す カメラの位置を推定する
2023/4/22 撮った動画を前処理する 9 動画から各フレームを 切り出す カメラの位置を推定する ブラさない
2023/4/22 撮った動画を前処理する 10 カメラの位置を推定する 特徴点
2023/4/22 撮った動画を前処理する 11 カメラの位置を推定する 特徴点 視差
2023/4/22 撮った動画を前処理する 12 カメラの位置を推定する • 特徴点の位置関係の変化から カメラ位置を逆算 特徴点
2023/4/22 Neural Radiance Field を作る 13 動画 NeRF 未知の視点から 見た画像
色々な方向から 撮影した画像 +カメラ位置
2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える??」 Radiance Fieldとは 15 「90%の濃さの黄色です」 位置(x, y, z)
方向(θ, φ) 色と密度(r, g, b, a)
2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える??」 Radiance Fieldとは 16 「90%の濃さの黄色です」 位置(x, y, z)
方向(θ, φ) 色と密度(r, g, b, a) 同じ点を別の方向から見る
2023/4/22 Radiance Fieldから絵を作る 17 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像
+カメラ位置
2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 18 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 19 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 Radiance Fieldから絵を作る仕組み 20 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 Radiance Fieldから絵を作る仕組み 21 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
半透明が表現できる
2023/4/22 答えているのはニューラルネットワーク AI “Neural” Radiance Field 22 「この位置はこっちから何色に見える??」 「90%の濃さの黄色です」
2023/4/22 答えているのはニューラルネットワーク →正解データをもとに学習 AI “Neural” Radiance Field 23 「この位置はこっちから何色に見える??」 「90%の濃さの黄色です」
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 24 比較
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 25 入力画像 レンダリング画像
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 26 入力画像 レンダリング画像 撮影中に空間が
変化しない このカメラでは〇〇が正解って 言ったのに! このカメラは××って言った! • 自分の影 • 通行人 • 明るさ補正
2023/4/22 まとめ 27 27 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像
+カメラ位置 NeRFの深い話や新しいNeRFについてもぜひ語り合いたい!