NeRFの基本知識とLumaAIの使い方

AR FukuokaでのNeRFの説明をさせていただきました．
話す内容としては，NeRFの概要，NeRFの撮影方法，LumaAIの使い方，NeRFの応用例についてお話しします．

Transcript

1. NeRFの基礎知識と LumaAIの使い方 Aster
2. 自己紹介 Aster IwakenLab所属 修士1年 趣味 : NeRF旅 「XR・NeRFを使って,誰もが魅了する 作品・映像を作りたい!!!」 Twitter : @Beehibiki
3. このような映像を作成できるNeRFについて紹介
4. 目次 • NeRFの概要 • NeRFの撮影方法 • LumaAIの使い方 • NeRFの応用
5. NeRFの概要
6. ざっくりNeRFとは 複数の画像から、そのシーンの三次元形状を復元し、 新しい視点からの画像を生成する技術 入力:単一の連続した5次元座標(空間位置(x,y,z)と視線方向(θ,φ)) 出力:その空間位置における体積密度と色
7. 新しい視点からの画像を生成するまでの流れ NeRFの入力として位置・方向を使用しているだけで 位置・方向の推定に関してはNeRFではない． 複数の視点から画 像を撮る 画像データから その画像がどの位置・ 方向から撮られたか推定す る． NeRF 新しい視点からの 画像を生成する．
8. NeRF 位置・方向を入力にしているため，1つのカメラが間違った 位置にあると、すべてのレンダリングが失敗する可能性がある. カメラの位置と向きがどのように計算されるかを理解することでどう いう画像が必要かわかるため，非常に重要
9. 位置・方向の推定について 複数の画像を入力として,被写体の座標情報やカメラの撮影情報を 推定するツールであるCOLMAPを使用している．
10. 位置・方向の推定について Colmap の心臓部は SIFT (Scale Invariant Feature Transform)と呼ばれる 特徴検出アルゴリズムが使用されている. 対照的な境界線,角,または先端を持つ画像が必要 空の雲,白い壁,光沢のある反射素材などの特徴に関しては位置推定が難しい 入力画像の注意点 • 視差を意識する • 遠近感をつける • 撮影枚数
11. NeRFの流れ 1. COLMAPにより推定した様々なカメラ座標を取得 2. 上記のカメラ座標と、それに伴う視線方向をニューラルネットワークへの入力とし、 色と体積密度の情報を推定 3. 色と体積密度の情報をボリュームレンダリング技術を使って2D画像に変換 4. 変換した2D画像と正解画像との2乗誤差を求める 5. 誤差逆伝搬法を用いてニューラルネットワークの重みを更新 新しい視点からの画像を生成することが可能に
12. NeRFの目標 与えられた画像集合から、モデルFθ(x,d)=(c,σ)を構築すること
13. NeRFの流れ 青丸の視点から見たときに赤丸の位置の色は何色？
14. NeRFの流れ ニューラルネットワークを用いて色を推定
15. NeRFの流れ 70％でオレンジかな
16. NeRFの流れ この流れを入力画像のレイ方向の全座標・全てのピクセルで行う.
17. ボリュームレンダリングによる画像化 推定した色と密度の情報を使ってボリュームレンダリングを行い, 画像を生成する.
18. ボリュームレンダリング ある位置oにカメラがあるときに、そのカメラによって撮影される画像のピクセルの値は 光線方向に色と密度を足し合わせることで決まる． 優先度高 優先度低 tf tn tn〜tfがレンダリングの範囲 o 色と密度によるピクセルの値の求め方
19. ボリュームレンダリング カメラの座標から遠い位置の色に関しても計算しているからこそ， 反射する物体・半透明な物体でも表現できる． ただし，COLMAPによるカメラ推定が難しい 優先度高 優先度低 tf t n o 足し合わせる
20. ニューラルネットワークの更新 正解データ レンダリング結果 比較 • 変換した2D画像と正解画像との2乗誤差を求める • 誤差逆伝搬法を用いてニューラルネットワークの重みを更新
21. NeRFの流れ 1. COLMAPにより推定した様々なカメラ座標を取得 2. 上記のカメラ座標と、それに伴う視線方向をニューラルネットワークへの入力とし、 色と体積密度の情報を推定 3. 色と体積密度の情報をボリュームレンダリング技術を使って2D画像に変換 4. 変換した2D画像と正解画像との2乗誤差を求める 5. 誤差逆伝搬法を用いてニューラルネットワークの重みを更新 新しい視点からの画像を生成することが可能に
22. NeRFの撮影方法
23. NeRFの撮影方法 NeRFの撮影方法として2つある. • ビデオを撮る->画像として切り分け (LumaAIの場合は切り分けしないでいい） • 複数の写真を撮る 素早く撮影したい場合はビデオ 人が多い場所の場合は写真
24. 何を撮る上でも注意するべき点 • 静止体 • 露出が一定である • さまざまな角度と視点 • 特徴点の多さ • 撮影スピード • 撮影距離 • 画像枚数 元動画を見ながら説明していきます
25. 撮る前に考えること • 天気 ->曇天 = いい天気 • 特徴点が多いかどうか • 他の人の多さ • スキャンしやすいか • 広すぎないか 特徴点の宝庫 人のノイズ多い
26. 露出を一定にしないと上手くカメラ推定が出来ない
27. 露出を一定にしないと上手くカメラ推定が出来ない もし晴天で撮りたいときは、遠近両方撮るのではなく、 近くだけで撮るようにしよう
28. 手の影にも注意！！！
29. 条件的にも良さげだし、撮るかー ✖ まずは足運びを考えよう
30. 足運びを考える重要性 • 時間配分を考える(LumaAIの場合4k 60fpsだと 10分以内) • 物理的に撮影が出来ない場所がないか • 視点が足りない部分はないか
31. モーションブラーを意識する • iPhoneだと4K 60 fpsで撮るのがおすすめ • 普段歩く時の半分以下のスピードを • カメラの向きを変えるのもゆっくり
32. LumaAIの使い方
33. LumaAIとは？ NeRFを用いて複数の写真もしくはビデオからシーンを再構成するサービス
34. LumaAIの使い方 現在以下の2つの方法で使うことができる. 1.iPhoneアプリ 2.Web upload Androidアプリに関しては開発予定がないとのこと
35. LumaAIの使い方 現在以下の2つの方法で使うことができる. 1.iPhoneアプリ 2.Web upload Androidアプリに関しては開発予定がないとのこと
36. 3つのキャプチャーモードがある • GUIDED • FREEFORM • UPLOAD
37. GUIDED 物体を中心に3周して、物体を生成するモード 背景よりも小物などの物体用
38. GUIDED 距離感やどういう視点が 必要なのか知れるため初心者にお勧め
39. FREEFORM • 物体を3周することができない • 背景も合わせて綺麗に撮りたい • 素早く撮りたい • GUIDEDに慣れてきた 場合にお勧め ガイドなしで自由に撮るモード
40. FREEFORM • 中心にあるもののほうがきれいに撮れるため、水色 の円に対象を合わせる • カメラの移動が早いと黄色くなるので、水色を意識 する • カメラ位置が可視化できるので、撮れていない場合 を確認しながら撮影する
41. UPLOAD 誰でも簡単に動画をアップロードするだけでいい.
42. LumaAIの使い方 現在以下の2つの方法で使うことができる. 1.iPhoneアプリ 2.Web upload Androidアプリに関しては開発予定がないとのこと
43. Web Upload Androidユーザーや360度カメラなど様々なカメラの画像・ビデオを処理 する人向け カメラワークに関しては、Web版のほうが凝れる
44. カスタムパスの使い方 カメラの設定 カメラの位置の秒数の設定 映像をレンダリング
45. カスタムパスの使い方
46. ドリーズームの設定
47. ドリーズームの設定
48. 止めの設定
49. 止めの設定
50. Unreal Engine5 ×LumaAI
51. NeRFの応用例
52. NeRFの発展 • Instant-ngp ◦ 独自のネットワークアーキテクチャを導入することで、より高速な学習とレンダリング を実現 • Block-NeRF ◦ ボリュームをブロックに分割し、各ブロックに対して別々のニューラルネットワークを学習すること で、より高精度で高速なレンダリングを可能に • Artistic Radiance Field ◦ アーティスティックな3Dシーンの生成を目的とした手法 • Dynamic-NeRF ◦ NeRFを動画に拡張するための手法. ◦ 時間軸を考慮して、動的な3Dシーンの再構成を行うことが可能 • Human Radiance Field ◦ 人物を対象としたNeRFの拡張手法. ◦ 人体の形状や色の変化に適したニューラルネットワークを導入.
53. NeRFの応用例 LumaAI nerfstudio Instant-NGP Artistic Radiance Field Dream Fusion Turbo-NeRF
54. 新しいNeRFの一例 人＋遠景での新しい表現ができる． Hos-NeRF 1つの単眼映像からダイナミックな人・物体シー ンのNeRFを再構成する手法