Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【NeRF撮り方LT会】NeRFが空間を理解する仕組み
Search
さくたま
April 22, 2023
Technology
1
1.1k
【NeRF撮り方LT会】NeRFが空間を理解する仕組み
さくたま
April 22, 2023
Tweet
Share
More Decks by さくたま
See All by さくたま
SwiftUIで作るvisionOS向けTabViewUIの知見
sakutama_11
1
290
8th Wall × Babylon.jsでhavok physics 【Babylon.js ゆるほめLT会 vol.2】
sakutama_11
0
480
Other Decks in Technology
See All in Technology
Dungeons and Dragons and Rails
joelq
0
250
サービス開発におけるVue3とTypeScriptの親和性について
tsukuha
10
1.8k
CloudflareとHonoを使って飲食店のレビューができるLINEアプリを作った
shinaps
1
130
5分で分かる(かもしれない) Vector engine for OpenSearch Serverless
tsukuboshi
1
420
複雑なビジネスルールに挑む:正確性と効率性を両立するfp-tsのチーム活用術 / Strike a balance between correctness and efficiency with fp-ts
kakehashi
5
3.6k
回り回って効いてくる副次的効果としての技術広報/techpr
nishiuma
1
190
PHP 9 に備えよ - 動的プロパティ、どうすればいぃ?
taisukearase
0
350
能動学習のいろは:書籍「Human-in-the-Loop機械学習」3〜5章
hiroyoshiito
0
290
【リラン】AIの光と闇?失敗しないために知っておきたいAIリスクとその対応 ①政府の動き編
tkhresk
0
140
多言語化対応における TypeScript の型定義を通して開発のしやすさについて考えた / TSKaigi TypeScript Multilingualization
nabeliwo
2
390
B2C、B2B プロダクトマネジメントの違い(および思考の罠) / B2C, B2B PM and reduction fallacy
ykmc09
5
2.4k
[2024년 5월 세미나] 생성형 AI와 함께하는 데이터 분석가 커리어
datarian
0
1.2k
Featured
See All Featured
Happy Clients
brianwarren
92
6.4k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
20
1.8k
Building Your Own Lightsaber
phodgson
100
5.7k
KATA
mclloyd
16
12k
How GitHub Uses GitHub to Build GitHub
holman
468
290k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
117
18k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
7k
Build your cross-platform service in a week with App Engine
jlugia
226
17k
Optimizing for Happiness
mojombo
370
69k
VelocityConf: Rendering Performance Case Studies
addyosmani
321
23k
We Have a Design System, Now What?
morganepeng
43
6.8k
Transcript
2023/4/22 NeRFが空間を理解する仕組み さくたま NeRF LT会
2023/4/22 自己紹介: さくたま 1 ▣ 慶應義塾大学 修士1年 ▣ 藤代研究室 (CG
/ Visualization) ▣ 3次元再構成,NeRFを研究し始めた ▣ AR好き ▣ LiSA ドラマー @ sakutama_11
2023/4/22 内容 今日話すこと ▣ NeRFのざっくりした仕組み 話さないこと ▣ 機械学習の細かい話 ▣ レンダリングの細かい話
2
2023/4/22 今日のゴール 3 なんとなくNeRFが何やってるか想像できる! どうやったら上手く絵が出来そうか?分析できる! CV, CG, 機械学習,わからない人でもなんとなくわかる! 正確性よりわかりやすさ重視で説明します! ※詳しい方はぜひ間違い探し(さくたまが認知してるものもしてないものも)
をして教えてください
2023/4/22 NeRFは何をするもの? 4 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
2023/4/22 撮った動画を前処理する 7 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
2023/4/22 撮った動画を前処理する 8 動画から各フレームを 切り出す カメラの位置を推定する
2023/4/22 撮った動画を前処理する 9 動画から各フレームを 切り出す カメラの位置を推定する ブラさない
2023/4/22 撮った動画を前処理する 10 カメラの位置を推定する 特徴点
2023/4/22 撮った動画を前処理する 11 カメラの位置を推定する 特徴点 視差
2023/4/22 撮った動画を前処理する 12 カメラの位置を推定する • 特徴点の位置関係の変化から カメラ位置を逆算 特徴点
2023/4/22 Neural Radiance Field を作る 13 動画 NeRF 未知の視点から 見た画像
色々な方向から 撮影した画像 +カメラ位置
2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える??」 Radiance Fieldとは 15 「90%の濃さの黄色です」 位置(x, y, z)
方向(θ, φ) 色と密度(r, g, b, a)
2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える??」 Radiance Fieldとは 16 「90%の濃さの黄色です」 位置(x, y, z)
方向(θ, φ) 色と密度(r, g, b, a) 同じ点を別の方向から見る
2023/4/22 Radiance Fieldから絵を作る 17 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像
+カメラ位置
2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 18 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 19 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 Radiance Fieldから絵を作る仕組み 20 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 Radiance Fieldから絵を作る仕組み 21 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
半透明が表現できる
2023/4/22 答えているのはニューラルネットワーク AI “Neural” Radiance Field 22 「この位置はこっちから何色に見える??」 「90%の濃さの黄色です」
2023/4/22 答えているのはニューラルネットワーク →正解データをもとに学習 AI “Neural” Radiance Field 23 「この位置はこっちから何色に見える??」 「90%の濃さの黄色です」
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 24 比較
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 25 入力画像 レンダリング画像
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 26 入力画像 レンダリング画像 撮影中に空間が
変化しない このカメラでは〇〇が正解って 言ったのに! このカメラは××って言った! • 自分の影 • 通行人 • 明るさ補正
2023/4/22 まとめ 27 27 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像
+カメラ位置 NeRFの深い話や新しいNeRFについてもぜひ語り合いたい!