Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【NeRF撮り方LT会】NeRFが空間を理解する仕組み
Search
さくたま
April 22, 2023
Technology
1
1.6k
【NeRF撮り方LT会】NeRFが空間を理解する仕組み
さくたま
April 22, 2023
Tweet
Share
More Decks by さくたま
See All by さくたま
Unity Android XR入門
sakutama_11
0
250
AR×ドラムで切り拓く音楽表現【XRKaigi 2024】
sakutama_11
0
58
「ARドラム」の裏側 【Iwaken Lab. Tech Conference】
sakutama_11
1
2.2k
SwiftUIで作るvisionOS向けTabViewUIの知見
sakutama_11
1
420
8th Wall × Babylon.jsでhavok physics 【Babylon.js ゆるほめLT会 vol.2】
sakutama_11
0
770
Other Decks in Technology
See All in Technology
生成AI活用の組織格差を解消する 〜ビジネス職のCursor導入が開発効率に与えた好循環〜 / Closing the Organizational Gap in AI Adoption
upamune
7
5.3k
改めてAWS WAFを振り返る~業務で使うためのポイント~
masakiokuda
2
260
データグループにおけるフロントエンド開発
lycorptech_jp
PRO
1
110
american aa airlines®️ USA Contact Numbers: Complete 2025 Support Guide
aaguide
0
180
ネットワーク保護はどう変わるのか?re:Inforce 2025最新アップデート解説
tokushun
0
210
Reach American Airlines®️ Instantly: 19 Calling Methods for Fast Support in the USA
flyamerican
1
170
KubeCon + CloudNativeCon Japan 2025 Recap
ren510dev
1
390
OPENLOGI Company Profile for engineer
hr01
1
34k
2025-07-06 QGIS初級ハンズオン「はじめてのQGIS」
kou_kita
0
170
ゼロからはじめる採用広報
yutadayo
3
950
B2C&B2B&社内向けサービスを抱える開発組織におけるサービス価値を最大化するイニシアチブ管理
belongadmin
1
7.1k
20250705 Headlamp: 專注可擴展性的 Kubernetes 用戶界面
pichuang
0
270
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
25
1.7k
Music & Morning Musume
bryan
46
6.6k
Agile that works and the tools we love
rasmusluckow
329
21k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
A better future with KSS
kneath
238
17k
Six Lessons from altMBA
skipperchong
28
3.9k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
BBQ
matthewcrist
89
9.7k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Bash Introduction
62gerente
613
210k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
Transcript
2023/4/22 NeRFが空間を理解する仕組み さくたま NeRF LT会
2023/4/22 自己紹介: さくたま 1 ▣ 慶應義塾大学 修士1年 ▣ 藤代研究室 (CG
/ Visualization) ▣ 3次元再構成,NeRFを研究し始めた ▣ AR好き ▣ LiSA ドラマー @ sakutama_11
2023/4/22 内容 今日話すこと ▣ NeRFのざっくりした仕組み 話さないこと ▣ 機械学習の細かい話 ▣ レンダリングの細かい話
2
2023/4/22 今日のゴール 3 なんとなくNeRFが何やってるか想像できる! どうやったら上手く絵が出来そうか?分析できる! CV, CG, 機械学習,わからない人でもなんとなくわかる! 正確性よりわかりやすさ重視で説明します! ※詳しい方はぜひ間違い探し(さくたまが認知してるものもしてないものも)
をして教えてください
2023/4/22 NeRFは何をするもの? 4 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
2023/4/22 撮った動画を前処理する 7 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
2023/4/22 撮った動画を前処理する 8 動画から各フレームを 切り出す カメラの位置を推定する
2023/4/22 撮った動画を前処理する 9 動画から各フレームを 切り出す カメラの位置を推定する ブラさない
2023/4/22 撮った動画を前処理する 10 カメラの位置を推定する 特徴点
2023/4/22 撮った動画を前処理する 11 カメラの位置を推定する 特徴点 視差
2023/4/22 撮った動画を前処理する 12 カメラの位置を推定する • 特徴点の位置関係の変化から カメラ位置を逆算 特徴点
2023/4/22 Neural Radiance Field を作る 13 動画 NeRF 未知の視点から 見た画像
色々な方向から 撮影した画像 +カメラ位置
2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える??」 Radiance Fieldとは 15 「90%の濃さの黄色です」 位置(x, y, z)
方向(θ, φ) 色と密度(r, g, b, a)
2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える??」 Radiance Fieldとは 16 「90%の濃さの黄色です」 位置(x, y, z)
方向(θ, φ) 色と密度(r, g, b, a) 同じ点を別の方向から見る
2023/4/22 Radiance Fieldから絵を作る 17 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像
+カメラ位置
2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 18 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 19 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 Radiance Fieldから絵を作る仕組み 20 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 Radiance Fieldから絵を作る仕組み 21 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
半透明が表現できる
2023/4/22 答えているのはニューラルネットワーク AI “Neural” Radiance Field 22 「この位置はこっちから何色に見える??」 「90%の濃さの黄色です」
2023/4/22 答えているのはニューラルネットワーク →正解データをもとに学習 AI “Neural” Radiance Field 23 「この位置はこっちから何色に見える??」 「90%の濃さの黄色です」
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 24 比較
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 25 入力画像 レンダリング画像
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 26 入力画像 レンダリング画像 撮影中に空間が
変化しない このカメラでは〇〇が正解って 言ったのに! このカメラは××って言った! • 自分の影 • 通行人 • 明るさ補正
2023/4/22 まとめ 27 27 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像
+カメラ位置 NeRFの深い話や新しいNeRFについてもぜひ語り合いたい!