Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【NeRF撮り方LT会】NeRFが空間を理解する仕組み
Search
さくたま
April 22, 2023
Technology
1
1.3k
【NeRF撮り方LT会】NeRFが空間を理解する仕組み
さくたま
April 22, 2023
Tweet
Share
More Decks by さくたま
See All by さくたま
「ARドラム」の裏側 【Iwaken Lab. Tech Conference】
sakutama_11
1
1.5k
SwiftUIで作るvisionOS向けTabViewUIの知見
sakutama_11
1
370
8th Wall × Babylon.jsでhavok physics 【Babylon.js ゆるほめLT会 vol.2】
sakutama_11
0
630
Other Decks in Technology
See All in Technology
ISUCONに強くなるかもしれない日々の過ごしかた/Findy ISUCON 2024-11-14
fujiwara3
8
870
生成AIが変えるデータ分析の全体像
ishikawa_satoru
0
110
OCI 運用監視サービス 概要
oracle4engineer
PRO
0
4.8k
20241120_JAWS_東京_ランチタイムLT#17_AWS認定全冠の先へ
tsumita
2
260
Making your applications cross-environment - OSCG 2024 NA
salaboy
0
190
スクラムチームを立ち上げる〜チーム開発で得られたもの・得られなかったもの〜
ohnoeight
2
350
Amplify Gen2 Deep Dive / バックエンドの型をいかにしてフロントエンドへ伝えるか #TSKaigi #TSKaigiKansai #AWSAmplifyJP
tacck
PRO
0
380
アジャイルでの品質の進化 Agile in Motion vol.1/20241118 Hiroyuki Sato
shift_evolve
0
130
Can We Measure Developer Productivity?
ewolff
1
150
100 名超が参加した日経グループ横断の競技型 AWS 学習イベント「Nikkei Group AWS GameDay」の紹介/mediajaws202411
nikkei_engineer_recruiting
1
170
障害対応指揮の意思決定と情報共有における価値観 / Waroom Meetup #2
arthur1
5
470
適材適所の技術選定 〜GraphQL・REST API・tRPC〜 / Optimal Technology Selection
kakehashi
1
400
Featured
See All Featured
Building an army of robots
kneath
302
43k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
38
1.8k
Build The Right Thing And Hit Your Dates
maggiecrowley
33
2.4k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
27
840
Embracing the Ebb and Flow
colly
84
4.5k
[RailsConf 2023] Rails as a piece of cake
palkan
52
4.9k
Statistics for Hackers
jakevdp
796
220k
Documentation Writing (for coders)
carmenintech
65
4.4k
Optimising Largest Contentful Paint
csswizardry
33
2.9k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
Scaling GitHub
holman
458
140k
Transcript
2023/4/22 NeRFが空間を理解する仕組み さくたま NeRF LT会
2023/4/22 自己紹介: さくたま 1 ▣ 慶應義塾大学 修士1年 ▣ 藤代研究室 (CG
/ Visualization) ▣ 3次元再構成,NeRFを研究し始めた ▣ AR好き ▣ LiSA ドラマー @ sakutama_11
2023/4/22 内容 今日話すこと ▣ NeRFのざっくりした仕組み 話さないこと ▣ 機械学習の細かい話 ▣ レンダリングの細かい話
2
2023/4/22 今日のゴール 3 なんとなくNeRFが何やってるか想像できる! どうやったら上手く絵が出来そうか?分析できる! CV, CG, 機械学習,わからない人でもなんとなくわかる! 正確性よりわかりやすさ重視で説明します! ※詳しい方はぜひ間違い探し(さくたまが認知してるものもしてないものも)
をして教えてください
2023/4/22 NeRFは何をするもの? 4 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
2023/4/22 撮った動画を前処理する 7 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
2023/4/22 撮った動画を前処理する 8 動画から各フレームを 切り出す カメラの位置を推定する
2023/4/22 撮った動画を前処理する 9 動画から各フレームを 切り出す カメラの位置を推定する ブラさない
2023/4/22 撮った動画を前処理する 10 カメラの位置を推定する 特徴点
2023/4/22 撮った動画を前処理する 11 カメラの位置を推定する 特徴点 視差
2023/4/22 撮った動画を前処理する 12 カメラの位置を推定する • 特徴点の位置関係の変化から カメラ位置を逆算 特徴点
2023/4/22 Neural Radiance Field を作る 13 動画 NeRF 未知の視点から 見た画像
色々な方向から 撮影した画像 +カメラ位置
2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える??」 Radiance Fieldとは 15 「90%の濃さの黄色です」 位置(x, y, z)
方向(θ, φ) 色と密度(r, g, b, a)
2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える??」 Radiance Fieldとは 16 「90%の濃さの黄色です」 位置(x, y, z)
方向(θ, φ) 色と密度(r, g, b, a) 同じ点を別の方向から見る
2023/4/22 Radiance Fieldから絵を作る 17 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像
+カメラ位置
2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 18 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 19 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 Radiance Fieldから絵を作る仕組み 20 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 Radiance Fieldから絵を作る仕組み 21 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
半透明が表現できる
2023/4/22 答えているのはニューラルネットワーク AI “Neural” Radiance Field 22 「この位置はこっちから何色に見える??」 「90%の濃さの黄色です」
2023/4/22 答えているのはニューラルネットワーク →正解データをもとに学習 AI “Neural” Radiance Field 23 「この位置はこっちから何色に見える??」 「90%の濃さの黄色です」
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 24 比較
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 25 入力画像 レンダリング画像
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 26 入力画像 レンダリング画像 撮影中に空間が
変化しない このカメラでは〇〇が正解って 言ったのに! このカメラは××って言った! • 自分の影 • 通行人 • 明るさ補正
2023/4/22 まとめ 27 27 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像
+カメラ位置 NeRFの深い話や新しいNeRFについてもぜひ語り合いたい!