Tweet
Tweet

Slide 1

Slide 1 text

Visual Computing (VC) 2023チュートリアル 微分可能レンダラのつくりかた ～理論から 実装まで～ 2023/09/17 芝浦工業大学・豊洲キャンパス 14:30-15:30 佐藤浩之 滝本佑介 Digital Human Lab, Tokyo Research Center, Huawei 𝜕 𝜕𝜃

Slide 2

Slide 2 text

Huawei紹介

Slide 3

Slide 3 text

Huawei紹介 • スマホ，通信が有名 • 近年は法人向けクラウドサービスに注力 3

Slide 4

Slide 4 text

Huawei Japan紹介 • R&D拠点 • 横浜 • 船橋 • 大阪 • 東京（品川）：メディア • 音系：ノイズキャンセリングイヤホン等 • PV：https://www.youtube.com/watch?v=wcj4G2wUiDM • Huawei公式ASMR (!?)：https://www.youtube.com/watch?v=0_Lg5rP_rRU • カメラ系：スマホ向け等 • CG系：デジタルヒューマン HUAWEI FreeBuds Pro 2 (2022) 4

Slide 5

Slide 5 text

HuaweiのCG • 中国本社：数拠点 • 海外研究所：たくさん 日本：デジタルヒューマンサービスに向けた開発よりの研究開発 5 MetaStudio

Slide 6

Slide 6 text

日本のDigital Human Lab アニメーション ユーザーによる編集 リコンストラクション ＝インバースレンダリング レンダリング＋AI CG Rendering CG + AI 入力：画像 デジタルヒューマン プラットフォーム 6 Vulkan実装の 内製微分可能レンダラ EG2022 VC2022招待講演

Slide 7

Slide 7 text

本編

Slide 8

Slide 8 text

微分可能レンダラ/レンダリングとは • 画像のロスをBackwardできるレンダラ/レンダリング • 勾配ベースの最適化（SGD, Adam等）で3Dシーンを最適化できる 3Dシーンパラメータ 𝜃 レンダー画像 ターゲット画像 2D画像 8 Backward （パラメータ更新） 微分可能 レンダラ ロス 𝜕 𝜕𝜃 Forward (通常のレンダリング)

Slide 9

Slide 9 text

微分可能レンダラ/レンダリングとは • 画像のロスをBackwardできるレンダラ/レンダリング • 勾配ベースの最適化（SGD, Adam等）で3Dシーンを最適化できる 3Dシーンパラメータ 𝜃 レンダー画像 ターゲット画像 2D画像 9 Backward （パラメータ更新） 微分可能 レンダラ ロス 𝜕 𝜕𝜃 Forward (通常のレンダリング)

Slide 10

Slide 10 text

微分可能レンダラ/レンダリングとは • 画像のロスをBackwardできるレンダラ/レンダリング • 勾配ベースの最適化（SGD, Adam等）で3Dシーンを最適化できる 3Dシーンパラメータ 𝜃 レンダー画像 ターゲット画像 2D画像 10 Backward （パラメータ更新） 微分可能 レンダラ ロス 𝜕 𝜕𝜃 Forward (通常のレンダリング)

Slide 11

Slide 11 text

微分可能レンダリングだけでできること： ３Dシーンの最適化 テクスチャ 頂点位置 カメラポーズ 3DMM （パラメトリックモデル） ライト https://github.com/ascust/3DMM-Fitting-Pytorch SoftRas [Liu+ 2019] PyTorch3D [Ravi+ 2020] Nvdiffrec [Munkberg+ 2022] Dressi [Takimoto+ 2022] などなど、レンダリングに登場する概念は（ほぼ）全て最適化できる 11

Slide 12

Slide 12 text

最近のCG/CVのトレンド： 画像（2D）・テキスト → 3D • 画像でロスを計算して3DにBackwardするモジュールとして 微分可能レンダリングが使われている！ Magic3D [Lin+ 2023] NeRF 生成AI / LLM + Diffusion Model [Mildenhall+ 2020] 12

Slide 13

Slide 13 text

本講演のゴール •微分可能レンダリングを •知る（佐藤） •つくる（滝本） 13

Slide 14

Slide 14 text

本講演のゴール •微分可能レンダリングを •知る（佐藤） •つくる（滝本） 14

Slide 15

Slide 15 text

自己紹介 佐藤浩之 • Digital Human Lab, Tokyo Research Center, Huawei • 3Dコンピュータビジョンとグラフィックスの研究開発 • 学歴 • 2007-2011 東北大学工学部 • 本当は哲学を学びたかった • 文学部哲学科卒の教授の元で関数型言語を研究 • 2011-2013 東京大学大学院修士 • AI(Deep以前)が面白そうと思い進化計算を研究 • 職歴 • 2013-2017 キヤノン株式会社 • 成り行きで3Dコンピュータビジョンをやりはじめる • 2017-現職 • グラフィックスもやらざるを得なくなる • 好きなCG系研究者 • Alec Jacobson, Olga Sorkine-Hornung , Kun Zhou 15 残念ながら今回の話にはほとんど出てこない……

Slide 16

Slide 16 text

微分可能レンダリングを知る 1. 導入 2. リアルタイムレンダリングと自動微分 ◆ラスタライズの微分可能性 3. 微分可能レンダリングの2種類の勾配 1. シェーディング勾配 2. シルエット勾配 ◆様々な手法の紹介 4. まとめ 16

Slide 17

Slide 17 text

微分可能レンダリングを知る 1. 導入 2. リアルタイムレンダリングと自動微分 ◆ラスタライズの微分可能性 3. 微分可能レンダリングの2種類の勾配 1. シェーディング勾配 2. シルエット勾配 ◆様々な手法の紹介 4. まとめ 17

Slide 18

Slide 18 text

用語と前置き • 微分可能レンダリング：Differentiable Rendering、DR • 微分可能レンダラ：Differentiable Renderer、DR • 2種類ある • 画像生成ネットワーク • 古典的レンダリングパイプラインを拡張 RenderNet [Nguyen-Phuoc+ 2018] [Kips+ 2022] 18 DRがどちらを指す かは文脈による

Slide 19

Slide 19 text

メッシュは使いやすいが微分可能レンダリングが難しい 19 本講演ではメッシュのラスタライゼーションベース 微分可能レンダリングを解説 クオリティ CGツールのサポート × 標準フォーマットなし ◎ 標準フォーマット多数 微分可能レンダリング 容易 レイに添ったサンプリング→足し算と掛け算 →明らかに微分可能＆密な勾配 難しい Explicitな面の存在により 不連続性＝微分不能性が発生 NeRF [Mildenhall+ 2020] （≒ボリューム） メッシュ ◎ △～◎ https://github.com/facebookresearch/pytorch3d

Slide 20

Slide 20 text

微分可能レンダリングを知る 1. 導入 2. リアルタイムレンダリングと自動微分 3. 微分可能レンダリングの2種類の勾配 1. シェーディング勾配 2. シルエット勾配 ◆様々な手法の紹介 4. まとめ 20

Slide 21

Slide 21 text

ラスタライゼーションベースの リアルタイムレンダリング • メッシュが主な入力 • ハードウェアラスタライザを用いた高速な(30fps~)レンダリング • インタラクティブ性が求められるアプリケーションで用いられる • レイトレーシングよりもクオリティは劣る • • ビュワー • 編集ツールのビューポート • Blender (Eevee), Maya • ゲームエンジン • Unity, UnrealEngine 3Dビューアー （Windows） Xcode (mac) Meshlab ビュワーの例 21

Slide 22

Slide 22 text

リアルタイムレンダリングの グラフィックスパイプライン 頂点属性 レンダー画像 頂点毎の計算 離散化 カメラ 位置 Tex coord. … モデルビュー 変換 22 Ｘ Y Z 離散的なピクセルを生成 三角形を塗る 投影変換 ラスタライズ シェーディング ポストプロセス ライト テクスチャ 3Dから3Dの変換 最終的にカメラ座 標に変換 3Dから2Dに変換 三角形内部は スカスカ 離散的な ピクセルを生成 三角形を塗る テクスチャ サンプルと 陰影計算 見た目を向上 輪郭をボカす(アン チエイリアス)等 https://nvlabs.github.io/nvdiffrast/ ※アニメーション、テッセレーショ ン、ジオメトリシェーダetcは省略 ピクセル毎の計算

Slide 23

Slide 23 text

リアルタイムレンダリングの グラフィックスパイプライン 頂点属性 レンダー画像 頂点毎の計算 離散化 カメラ 位置 Tex coord. … モデルビュー 変換 23 Ｘ Y Z 離散的なピクセルを生成 三角形を塗る 投影変換 ラスタライズ シェーディング ポストプロセス ライト テクスチャ 3Dから3Dの変換 最終的にカメラ座 標に変換 3Dから2Dに変換 三角形内部は スカスカ 離散的な ピクセルを生成 三角形を塗る テクスチャ サンプルと 陰影計算 見た目を向上 輪郭をボカす(アン チエイリアス)等 https://nvlabs.github.io/nvdiffrast/ 微分可能にするには？ ※アニメーション、テッセレーショ ン、ジオメトリシェーダetcは省略 ピクセル毎の計算

Slide 24

Slide 24 text

計算機による微分計算 • 記号微分（symbolic differentiation） • 人間と同じようなやり方で記号的に微分する • 例：Wolfram alpha • https://ja.wolframalpha.com/ • 数値微分（numerical differentiation） • 微分の定義そのもの • 近似値しか求まらない • 差分hがハイパーパラメータ、不安定になることも • 自動微分（automatic differentiation, AD） • Forward mode • Ceres solver • Reverse mode • PyTorch, TensorFlow, JAX のデフォルト 24

Slide 25

Slide 25 text

計算機による微分計算 • 記号微分（symbolic differentiation） • 人間と同じようなやり方で記号的に微分する • 例：Wolfram alpha • https://ja.wolframalpha.com/ • 数値微分（numerical differentiation） • 微分の定義そのもの • 近似値しか求まらない • 差分hがハイパーパラメータ、不安定になることも • 自動微分（automatic differentiation, AD） • Forward mode • Ceres solver • Reverse mode • PyTorch, TensorFlow, JAX のデフォルト 高速で高精度 25

Slide 26

Slide 26 text

自動微分(AD)で用いられる計算グラフ • 計算の過程をグラフで表現 𝐿 𝑥 =(log 𝑥 − 1)2 26

Slide 27

Slide 27 text

自動微分(AD)で用いられる計算グラフ • 計算の過程をグラフで表現 𝐿 𝑥 =(log 𝑥 − 1)2 27 (log 𝑥 − 1)2 = 𝑦 − 1 2 = 𝑧2 = 𝑙 = 𝐿 𝑥

Slide 28

Slide 28 text

自動微分(AD)で用いられる計算グラフ • 計算の過程をグラフで表現 𝐿 𝑥 =(log 𝑥 − 1)2 x log 1 Subtract y z Multiply l L 28 (log 𝑥 − 1)2 = 𝑦 − 1 2 = 𝑧2 = 𝑙 = 𝐿 𝑥

Slide 29

Slide 29 text

自動微分(AD)で用いられる計算グラフ • 計算の過程をグラフで表現 𝐿 𝑥 =(log 𝑥 − 1)2 Forward: 入力から計算グラフを順に辿ってロスを計算 x log 1 Subtract y z Multiply l L 29 (log 𝑥 − 1)2 = 𝑦 − 1 2 = 𝑧2 = 𝑙 = 𝐿 𝑥

Slide 30

Slide 30 text

Reverse mode AD（Reverse modeの自動微分） x log 1 Subtract y z Multiply l L (log 𝑥 − 1)2 = 𝑦 − 1 2 = 𝑧2 = 𝑙 = 𝐿 𝑥 Forward: 入力から計算グラフを順に辿ってロスを計算 30

Slide 31

Slide 31 text

Reverse mode AD（Reverse modeの自動微分） x log 1 Subtract y z Multiply l L (log 𝑥 − 1)2 = 𝑦 − 1 2 = 𝑧2 = 𝑙 = 𝐿 𝑥 Forward: 入力から計算グラフを順に辿ってロスを計算 PyTorch: loss.backward() 31

Slide 32

Slide 32 text

Reverse mode AD（Reverse modeの自動微分） x log 1 Subtract y z Multiply l L (log 𝑥 − 1)2 = 𝑦 − 1 2 = 𝑧2 = 𝑙 = 𝐿 𝑥 Forward: 入力から計算グラフを順に辿ってロスを計算 𝜕𝑙 𝜕𝑧 = 2𝑧 𝜕𝑧 𝜕𝑦 = 1 𝜕𝑦 𝜕𝑥 = 1 𝑥 𝜕𝐿 𝜕𝑙 = 1 𝜕𝐿 𝜕𝑧 𝜕𝐿 𝜕𝑦 𝜕𝐿 𝜕𝑥 PyTorch: loss.backward() 32

Slide 33

Slide 33 text

Reverse mode AD（Reverse modeの自動微分） x log 1 Subtract y z Multiply l L (log 𝑥 − 1)2 = 𝑦 − 1 2 = 𝑧2 = 𝑙 = 𝐿 𝑥 Forward: 入力から計算グラフを順に辿ってロスを計算 𝜕𝑙 𝜕𝑧 = 2𝑧 𝜕𝑧 𝜕𝑦 = 1 𝜕𝑦 𝜕𝑥 = 1 𝑥 𝜕𝐿 𝜕𝑙 = 1 𝜕𝐿 𝜕𝑧 𝜕𝐿 𝜕𝑦 𝜕𝐿 𝜕𝑥 Backward: ロスから計算グラフを逆に辿って入力の勾配値を計算 𝜕𝐿 𝜕𝑥 ቚ 𝑥=𝑥′ = 𝜕𝐿 𝜕𝑙 𝜕𝑙 𝜕𝑧 𝜕𝑧 𝜕𝑦 𝜕𝑦 𝜕𝑥 ቚ {𝑙=𝑙′, 𝑧=𝑧′ 𝑦=𝑦′, 𝑥=𝑥′} = 2𝑧 ቚ 𝑧=𝑧′ 1 𝑥 ቚ 𝑥=𝑥′ = 2(log 𝑥 − 1) 𝑥 ቚ 𝑥=𝑥′ チェインルール 解析解 計算した値 PyTorch: loss.backward() 33

Slide 34

Slide 34 text

Reverse mode AD（Reverse modeの自動微分） x log 1 Subtract y z Multiply l L (log 𝑥 − 1)2 = 𝑦 − 1 2 = 𝑧2 = 𝑙 = 𝐿 𝑥 Forward: 入力から計算グラフを順に辿ってロスを計算 𝜕𝑙 𝜕𝑧 = 2𝑧 𝜕𝑧 𝜕𝑦 = 1 𝜕𝑦 𝜕𝑥 = 1 𝑥 𝜕𝐿 𝜕𝑙 = 1 𝜕𝐿 𝜕𝑧 𝜕𝐿 𝜕𝑦 𝜕𝐿 𝜕𝑥 PyTorch: optimizer.step() 更新: 勾配値で入力を更新 Backward: ロスから計算グラフを逆に辿って入力の勾配値を計算 𝜕𝐿 𝜕𝑥 ቚ 𝑥=𝑥′ = 𝜕𝐿 𝜕𝑙 𝜕𝑙 𝜕𝑧 𝜕𝑧 𝜕𝑦 𝜕𝑦 𝜕𝑥 ቚ {𝑙=𝑙′, 𝑧=𝑧′ 𝑦=𝑦′, 𝑥=𝑥′} = 2𝑧 ቚ 𝑧=𝑧′ 1 𝑥 ቚ 𝑥=𝑥′ = 2(log 𝑥 − 1) 𝑥 ቚ 𝑥=𝑥′ チェインルール 解析解 計算した値 PyTorch: loss.backward() 34

Slide 35

Slide 35 text

リアルタイムレンダリングの グラフィックスパイプライン 頂点属性 レンダー画像 頂点毎の計算 離散化 カメラ 位置 Tex coord. … モデルビュー 変換 35 Ｘ Y Z 離散的なピクセルを生成 三角形を塗る 投影変換 ラスタライズ シェーディング ポストプロセス ライト テクスチャ 3Dから3Dの変換 最終的にカメラ座 標に変換 3Dから2Dに変換 三角形内部は スカスカ 離散的な ピクセルを生成 三角形を塗る テクスチャ サンプルと 陰影計算 見た目を向上 輪郭をボカす(アン チエイリアス)等 https://nvlabs.github.io/nvdiffrast/ ※アニメーション、テッセレーショ ン、ジオメトリシェーダetcは省略 ピクセル毎の計算

Slide 36

Slide 36 text

リアルタイムレンダリングの グラフィックスパイプライン 頂点属性 レンダー画像 頂点毎の計算 離散化 カメラ 位置 Tex coord. … モデルビュー 変換 36 Ｘ Y Z 離散的なピクセルを生成 三角形を塗る 投影変換 ラスタライズ シェーディング ポストプロセス ライト テクスチャ 3Dから3Dの変換 最終的にカメラ座 標に変換 3Dから2Dに変換 三角形内部は スカスカ 離散的な ピクセルを生成 三角形を塗る テクスチャ サンプルと 陰影計算 見た目を向上 輪郭をボカす(アン チエイリアス)等 https://nvlabs.github.io/nvdiffrast/ ※アニメーション、テッセレーショ ン、ジオメトリシェーダetcは省略 ピクセル毎の計算 行列演算 =足し算＆掛け算 =微分可能

Slide 37

Slide 37 text

リアルタイムレンダリングの グラフィックスパイプライン 頂点属性 レンダー画像 頂点毎の計算 離散化 カメラ 位置 Tex coord. … モデルビュー 変換 37 Ｘ Y Z 離散的なピクセルを生成 三角形を塗る 投影変換 ラスタライズ シェーディング ポストプロセス ライト テクスチャ 3Dから3Dの変換 最終的にカメラ座 標に変換 3Dから2Dに変換 三角形内部は スカスカ 離散的な ピクセルを生成 三角形を塗る テクスチャ サンプルと 陰影計算 見た目を向上 輪郭をボカす(アン チエイリアス)等 https://nvlabs.github.io/nvdiffrast/ ※アニメーション、テッセレーショ ン、ジオメトリシェーダetcは省略 ピクセル毎の計算 行列演算 =足し算＆掛け算 =微分可能 行列演算 （+Z割り算） =微分可能

Slide 38

Slide 38 text

リアルタイムレンダリングの グラフィックスパイプライン 頂点属性 レンダー画像 頂点毎の計算 離散化 カメラ 位置 Tex coord. … モデルビュー 変換 38 Ｘ Y Z 離散的なピクセルを生成 三角形を塗る 投影変換 ラスタライズ シェーディング ポストプロセス ライト テクスチャ 3Dから3Dの変換 最終的にカメラ座 標に変換 3Dから2Dに変換 三角形内部は スカスカ 離散的な ピクセルを生成 三角形を塗る テクスチャ サンプルと 陰影計算 見た目を向上 輪郭をボカす(アン チエイリアス)等 https://nvlabs.github.io/nvdiffrast/ ※アニメーション、テッセレーショ ン、ジオメトリシェーダetcは省略 ピクセル毎の計算 頂点毎から ピクセル毎への変換 微分可能？ 行列演算 =足し算＆掛け算 =微分可能 行列演算 （+Z割り算） =微分可能

Slide 39

Slide 39 text

ラスタライズ（広義）は2ステップからなる 1. ラスタライズ（狭義）： ピクセルが対応する三角形IDを求める 2. Barycentric補間： 1. ピクセルが対応するBarycentric coordinateの計算（三角形内の相対的な位置、面積比） • u, v, wの3パラメータ（和が1なので実質2パラメータ） 2. 頂点属性を線形補間 out vec4 FragColor; uniform sampler2D color_tex; in vec2 TexCoords; void main() { vec3 color = texture(color_tex, TexCoords).rgb; FragColor = vec4(color, 1.0); } 補完まで終わっている！ https://www.scratchapixel.com/lessons/3d- basic-rendering/rasterization-practical- implementation/perspective-correct- interpolation-vertex-attributes.html GLSLの例 • GPUで効率的に行われる • フラグメントシェーダの入力の時点で自動で補完まで済んでいる • “通常の”シェーダ開発者は意識する必要はない 𝑝𝑖 = u𝑣0 + v𝑣1 + w𝑣2 ピクセルiの値 三角形の各頂点属性 39

Slide 40

Slide 40 text

ラスタライズ（広義）を自動微分で書いたら？ • ラスタライズ（狭義） • ハードウェアラスタライザによるラスタライズは高速だが微分不能 • ソフトウェア（自動微分）によるラスタライズは遅い（しかも結局微分不能） • ニューラルネットワーク用のテンソルベースの自動微分ライブラリによる実装は特に遅い • shape:（ピクセル数, Face数, Gbuffer数） • テンソル演算のブロードキャストの枠組みではIf分岐を全て評価する必要がありさらにはbreakによる処理 の打ち切りができない ↔ Culling • 弊チームで実装経験あり、1Kで一枚描くのに1時間くらい？ • 結局ハードウェアラスタライザと同様に三角形IDを計算→整数値でありBackwardで役に立たない • Barycentric補間 • Barycentric coordinateの計算も線形補間も自動微分で問題なく書ける • 結論の先取り：ラスタライズ（狭義）は微分不能でよい ハードウェアラスタライザを使ってよい 40

Slide 41

Slide 41 text

リアルタイムレンダリングの グラフィックスパイプライン 頂点属性 レンダー画像 頂点毎の計算 離散化 カメラ 位置 Tex coord. … モデルビュー 変換 41 Ｘ Y Z 離散的なピクセルを生成 三角形を塗る 投影変換 ラスタライズ （広義） シェーディング ポストプロセス ライト テクスチャ 3Dから3Dの変換 最終的にカメラ座 標に変換 3Dから2Dに変換 三角形内部は スカスカ 離散的な ピクセルを生成 三角形を塗る テクスチャ サンプルと 陰影計算 見た目を向上 輪郭をボカす(アン チエイリアス)等 https://nvlabs.github.io/nvdiffrast/ ※アニメーション、テッセレーショ ン、ジオメトリシェーダetcは省略 ピクセル毎の計算 行列演算 =足し算＆掛け算 =微分可能 行列演算 （+Z割り算） =微分可能

Slide 42

Slide 42 text

リアルタイムレンダリングの グラフィックスパイプライン 頂点属性 レンダー画像 頂点毎の計算 離散化 カメラ 位置 Tex coord. … モデルビュー 変換 42 Ｘ Y Z 離散的なピクセルを生成 三角形を塗る 投影変換 ラスタライズ （広義） シェーディング ポストプロセス ライト テクスチャ 3Dから3Dの変換 最終的にカメラ座 標に変換 3Dから2Dに変換 三角形内部は スカスカ 離散的な ピクセルを生成 三角形を塗る テクスチャ サンプルと 陰影計算 見た目を向上 輪郭をボカす(アン チエイリアス)等 https://nvlabs.github.io/nvdiffrast/ ※アニメーション、テッセレーショ ン、ジオメトリシェーダetcは省略 ピクセル毎の計算 ラスタライズ（狭義）は微分不能 Barycentric補間は微分可能 行列演算 =足し算＆掛け算 =微分可能 行列演算 （+Z割り算） =微分可能

Slide 43

Slide 43 text

リアルタイムレンダリングの グラフィックスパイプライン 頂点属性 レンダー画像 頂点毎の計算 離散化 カメラ 位置 Tex coord. … モデルビュー 変換 43 Ｘ Y Z 離散的なピクセルを生成 三角形を塗る 投影変換 ラスタライズ （広義） シェーディング ポストプロセス ライト テクスチャ 3Dから3Dの変換 最終的にカメラ座 標に変換 3Dから2Dに変換 三角形内部は スカスカ 離散的な ピクセルを生成 三角形を塗る テクスチャ サンプルと 陰影計算 見た目を向上 輪郭をボカす(アン チエイリアス)等 https://nvlabs.github.io/nvdiffrast/ ※アニメーション、テッセレーショ ン、ジオメトリシェーダetcは省略 ピクセル毎の計算 ラスタライズ（狭義）は微分不能 Barycentric補間は微分可能 行列演算 =足し算＆掛け算 =微分可能 行列演算 （+Z割り算） =微分可能 ピクセル毎の計算 微分可能

Slide 44

Slide 44 text

リアルタイムレンダリングの グラフィックスパイプライン 頂点属性 レンダー画像 頂点毎の計算 離散化 カメラ 位置 Tex coord. … モデルビュー 変換 44 Ｘ Y Z 離散的なピクセルを生成 三角形を塗る 投影変換 ラスタライズ （広義） シェーディング ポストプロセス ライト テクスチャ 3Dから3Dの変換 最終的にカメラ座 標に変換 3Dから2Dに変換 三角形内部は スカスカ 離散的な ピクセルを生成 三角形を塗る テクスチャ サンプルと 陰影計算 見た目を向上 輪郭をボカす(アン チエイリアス)等 https://nvlabs.github.io/nvdiffrast/ ※アニメーション、テッセレーショ ン、ジオメトリシェーダetcは省略 ピクセル毎の計算 ラスタライズ（狭義）は微分不能 Barycentric補間は微分可能 行列演算 =足し算＆掛け算 =微分可能 行列演算 （+Z割り算） =微分可能 ピクセル毎の計算 微分可能 これも ピクセル毎の計算 微分可能

Slide 45

Slide 45 text

グラフィックスパイプラインを計算グラフの観点から 頂点属性 投影変換 Backward可能 離散化 カメラ ターゲット画像 Backward不能 位置 Texture coord. … モデルビュー変換 45

Slide 46

Slide 46 text

グラフィックスパイプラインを計算グラフの観点から 頂点属性 投影変換 Backward可能 離散化 ラスタライズ(狭義) CUDA, OpenGL, Vulkan, … カメラ ターゲット画像 Backward不能 位置 Texture coord. … モデルビュー変換 46 ラスタライズ（広義）

Slide 47

Slide 47 text

グラフィックスパイプラインを計算グラフの観点から 頂点属性 投影変換 三角形ID 三角形ID : 5 頂点ID : (0, 10, 11) Backward可能 離散化 ラスタライズ(狭義) CUDA, OpenGL, Vulkan, … カメラ ターゲット画像 Backward不能 位置 Texture coord. … モデルビュー変換 47 https://nvlabs.github.io/nvdiffrast/ ラスタライズ（広義）

Slide 48

Slide 48 text

グラフィックスパイプラインを計算グラフの観点から 頂点属性 投影変換 三角形ID 三角形ID : 5 頂点ID : (0, 10, 11) Barycentric補間 Backward可能 離散化 ラスタライズ(狭義) CUDA, OpenGL, Vulkan, … カメラ ターゲット画像 Backward不能 位置 Texture coord. … モデルビュー変換 48 https://nvlabs.github.io/nvdiffrast/ ラスタライズ（広義）

Slide 49

Slide 49 text

グラフィックスパイプラインを計算グラフの観点から 頂点属性 投影変換 三角形ID 三角形ID : 5 頂点ID : (0, 10, 11) Barycentric補間 Texture coord. Backward可能 離散化 ラスタライズ(狭義) CUDA, OpenGL, Vulkan, … カメラ ターゲット画像 Backward不能 位置 Texture coord. … モデルビュー変換 49 https://nvlabs.github.io/nvdiffrast/ = u + v + w ラスタライズ（広義）

Slide 50

Slide 50 text

グラフィックスパイプラインを計算グラフの観点から 頂点属性 投影変換 三角形ID 三角形ID : 5 頂点ID : (0, 10, 11) Barycentric補間 Texture coord. テクスチャ サンプル Backward可能 離散化 ラスタライズ(狭義) CUDA, OpenGL, Vulkan, … カメラ ターゲット画像 Backward不能 位置 Texture coord. … モデルビュー変換 50 テクスチャ https://nvlabs.github.io/nvdiffrast/ = u + v + w ラスタライズ（広義）

Slide 51

Slide 51 text

グラフィックスパイプラインを計算グラフの観点から 頂点属性 投影変換 三角形ID 三角形ID : 5 頂点ID : (0, 10, 11) シェーディング Barycentric補間 Texture coord. テクスチャ サンプル Backward可能 離散化 ラスタライズ(狭義) CUDA, OpenGL, Vulkan, … カメラ ライト ターゲット画像 Backward不能 位置 Texture coord. … モデルビュー変換 51 テクスチャ https://nvlabs.github.io/nvdiffrast/ = u + v + w ラスタライズ（広義）

Slide 52

Slide 52 text

グラフィックスパイプラインを計算グラフの観点から 頂点属性 投影変換 三角形ID 三角形ID : 5 頂点ID : (0, 10, 11) シェーディング Barycentric補間 Texture coord. テクスチャ サンプル Backward可能 離散化 ラスタライズ(狭義) CUDA, OpenGL, Vulkan, … カメラ ライト ターゲット画像 Backward不能 位置 Texture coord. … モデルビュー変換 52 テクスチャ https://nvlabs.github.io/nvdiffrast/ ポストプロセス ブラーやアンチエイリアス = u + v + w ラスタライズ（広義）

Slide 53

Slide 53 text

グラフィックスパイプラインを計算グラフの観点から 頂点属性 レンダー画像 投影変換 三角形ID 三角形ID : 5 頂点ID : (0, 10, 11) シェーディング Barycentric補間 Texture coord. テクスチャ サンプル Backward可能 離散化 ラスタライズ(狭義) CUDA, OpenGL, Vulkan, … カメラ ライト ターゲット画像 Backward不能 位置 Texture coord. … モデルビュー変換 53 テクスチャ https://nvlabs.github.io/nvdiffrast/ ポストプロセス ブラーやアンチエイリアス = u + v + w ラスタライズ（広義）

Slide 54

Slide 54 text

グラフィックスパイプラインを計算グラフの観点から 頂点属性 レンダー画像 投影変換 三角形ID 三角形ID : 5 頂点ID : (0, 10, 11) シェーディング Barycentric補間 Texture coord. テクスチャ サンプル Backward可能 離散化 ラスタライズ(狭義) CUDA, OpenGL, Vulkan, … ロス計算 カメラ ライト ターゲット画像 Backward不能 位置 Texture coord. … モデルビュー変換 54 テクスチャ https://nvlabs.github.io/nvdiffrast/ ポストプロセス ブラーやアンチエイリアス = u + v + w ラスタライズ（広義）

Slide 55

Slide 55 text

グラフィックスパイプラインを計算グラフの観点から 頂点属性 レンダー画像 投影変換 三角形ID 三角形ID : 5 頂点ID : (0, 10, 11) シェーディング Barycentric補間 Texture coord. テクスチャ サンプル Backward可能 離散化 ラスタライズ(狭義) CUDA, OpenGL, Vulkan, … ロス計算 カメラ ライト ターゲット画像 Backward不能 位置 Texture coord. … ピクセルのロスは 1. Barycentric補間 2. ポストプロセス（ブラーやアンチエイリアス） によって頂点属性までBackwardされる モデルビュー変換 55 テクスチャ https://nvlabs.github.io/nvdiffrast/ ポストプロセス ブラーやアンチエイリアス = u + v + w ラスタライズ（広義）

Slide 56

Slide 56 text

グラフィックスパイプラインを計算グラフの観点から 頂点属性 レンダー画像 投影変換 三角形ID 三角形ID : 5 頂点ID : (0, 10, 11) シェーディング Barycentric補間 Texture coord. テクスチャ サンプル Backward可能 離散化 ラスタライズ(狭義) CUDA, OpenGL, Vulkan, … ロス計算 カメラ ライト ターゲット画像 Backward不能 位置 Texture coord. … ピクセルのロスは 1. Barycentric補間 2. ポストプロセス（ブラーやアンチエイリアス） によって頂点属性までBackwardされる モデルビュー変換 56 テクスチャ https://nvlabs.github.io/nvdiffrast/ ポストプロセス ブラーやアンチエイリアス = u + v + w ラスタライズ（広義） シェーディング勾配

Slide 57

Slide 57 text

グラフィックスパイプラインを計算グラフの観点から 頂点属性 レンダー画像 投影変換 三角形ID 三角形ID : 5 頂点ID : (0, 10, 11) シェーディング Barycentric補間 Texture coord. テクスチャ サンプル Backward可能 離散化 ラスタライズ(狭義) CUDA, OpenGL, Vulkan, … ロス計算 カメラ ライト ターゲット画像 Backward不能 位置 Texture coord. … ピクセルのロスは 1. Barycentric補間 2. ポストプロセス（ブラーやアンチエイリアス） によって頂点属性までBackwardされる モデルビュー変換 57 テクスチャ https://nvlabs.github.io/nvdiffrast/ ポストプロセス ブラーやアンチエイリアス = u + v + w ラスタライズ（広義） シェーディング勾配 シルエット勾配

Slide 58

Slide 58 text

微分可能レンダリングを知る 1. 導入 2. リアルタイムレンダリングと自動微分 3. 微分可能レンダリングの2種類の勾配 1. シェーディング勾配 2. シルエット勾配 ◆様々な手法の紹介 4. まとめ 58

Slide 59

Slide 59 text

微分可能レンダリングの2種類の勾配 59 1. シェーディング勾配： 画像中の色が変化するパラメータを最適化可能 • テクスチャ、ライト、法線… • 色の変化に基づいて形状も最適化可能な場合あり、シェー ディング手法に依存 • 可能な場合でも勾配は弱い、形状の変化に対して色の変化が小さいため • シルエット、unlit&フラットなテクスチャ等色がフラットなシェーディ ングでは形状は最適化不能 2. シルエット勾配： 画像中の形状が変化するパラメータを最適化可能 • 頂点位置、パラメトリックモデル、カメラパラ メータ… • カメラのビュー方向（Z方向）の形状は最適化できない（シルエットに 関係ないため）ので，シェーディング勾配に頼る必要がある [Nicolet + 2021] による分類 𝜕 𝜕𝜃 勾配の種類によって 何ができるか大きく変わる！ Barycentric補間のBackwardに対応 ポストプロセスのBackwardに対応

Slide 60

Slide 60 text

シルエット勾配がない＝ポストプロセスがない場合 左上にずれている ターゲット画像 投影変換後 レンダー画像 （ポストプロセスなし） 画像中で頂点を左上方向に動かす勾配がない! ピクセル単位のロス ? ラスタライズ＆ Barytentric補間 … 60

Slide 61

Slide 61 text

シルエット勾配がある ＝ラスタライズ前のジオメトリ情報を使うポストプロセスがある場合 ロスを減らす＝色を白くするには 三角形エッジまでの距離 が近くなればよい 距離が近くなる方向に頂点 を移動すればよい 左上にずれている ターゲット画像 投影変換後 シェーディング後 … ラスタライズ ＆Barytentric補間 ＆シェーディング ジオメトリ情報を使うポストプロセス ブラーやアンチエイリアス ボケた レンダー画像 ラスタライズ前のジオメトリ情報を使うポストプロセスにより ジオメトリが移動すべき方向が色にエンコードされる！ ラスタライズ前のジオメトリを 参照してピクセルと距離計算 61

Slide 62

Slide 62 text

単純にブラーすればシルエット勾配が出る？ 62 ほぼ同じ絵だが 計算過程が異なる ピクセルとピクセルの距離 で重みが決まる →色を見てもジオメトリの情報は何もわからない “普通の”ブラー（ガウシアンブラー、ボックスブラー、etc） ピクセルとジオメトリ間の距離 で重みが決まる →ジオメトリの移動すべき方向が色に反映！ シェーディング後 ラスタライズ前の ジオメトリ情報 Backward可能 ブラー ブラー DRのブラー … カーネルの畳み込み 距離計算 シルエット勾配 でBackward シェーディング勾配 でBackward

Slide 63

Slide 63 text

微分可能レンダリングを知る 1. 導入 2. リアルタイムレンダリングと自動微分 3. 微分可能レンダリングの2種類の勾配 1. シェーディング勾配 2. シルエット勾配 ◆様々な手法の紹介 4. まとめ 63

Slide 64

Slide 64 text

シルエット勾配の生成方法 64 tf_mesh_renderer [Genova+ 2018] シェーディング勾配のみ Backward可能

Slide 65

Slide 65 text

シルエット勾配の生成方法 65 tf_mesh_renderer [Genova+ 2018] シェーディング勾配のみ Backward可能 Forwardそのまま Backwardを疑似的に生成 OpenDR [Loper & Black 2014] NMR [Kato+ 2018] ネットワークの学習用に スクリーンスペースで勾配が届く範囲を拡張

Slide 66

Slide 66 text

シルエット勾配の生成方法 66 tf_mesh_renderer [Genova+ 2018] シェーディング勾配のみ Backward可能 Forwardそのまま Backwardを疑似的に生成 OpenDR [Loper & Black 2014] NMR [Kato+ 2018] ネットワークの学習用に スクリーンスペースで勾配が届く範囲を拡張 ピクセルと三角形を計算グラフ上で繋ぐ ForwardとBackward一致

Slide 67

Slide 67 text

シルエット勾配の生成方法 67 tf_mesh_renderer [Genova+ 2018] シェーディング勾配のみ Backward可能 Forwardそのまま Backwardを疑似的に生成 OpenDR [Loper & Black 2014] NMR [Kato+ 2018] ネットワークの学習用に スクリーンスペースで勾配が届く範囲を拡張 ピクセルと三角形を計算グラフ上で繋ぐ ForwardとBackward一致 ピクセルとジオメトリを直接距離計算で繋ぐ

Slide 68

Slide 68 text

SoftRas [Liu+ 2019] ReDA [Zhu+ 2020] HardSoftRas/Dressi [Takimoto+ 2022] PyTorch3D [Ravi+ 2020] DIB-R [Chen+ 2019] ハードウェアラスタライザで高速化 シルエット内部の アーティファクトを抑制 範囲閾値により 計算量削減 Soft Rasterization GenDR [Zhu+ 2022] 距離計算方法等を分析 線形が一番良い 顔用に拡張 セグメンテーションマスク等 スクリーンスペース＆デプス方向、広範囲にブラー シルエット勾配の生成方法 68 tf_mesh_renderer [Genova+ 2018] シェーディング勾配のみ Backward可能 Forwardそのまま Backwardを疑似的に生成 OpenDR [Loper & Black 2014] NMR [Kato+ 2018] ネットワークの学習用に スクリーンスペースで勾配が届く範囲を拡張 ピクセルと三角形を計算グラフ上で繋ぐ ForwardとBackward一致 ピクセルとジオメトリを直接距離計算で繋ぐ

Slide 69

Slide 69 text

SoftRas [Liu+ 2019] ReDA [Zhu+ 2020] HardSoftRas/Dressi [Takimoto+ 2022] PyTorch3D [Ravi+ 2020] DIB-R [Chen+ 2019] ハードウェアラスタライザで高速化 シルエット内部の アーティファクトを抑制 範囲閾値により 計算量削減 Soft Rasterization GenDR [Zhu+ 2022] 距離計算方法等を分析 線形が一番良い 顔用に拡張 セグメンテーションマスク等 スクリーンスペース＆デプス方向、広範囲にブラー シルエット勾配の生成方法 69 tf_mesh_renderer [Genova+ 2018] シェーディング勾配のみ Backward可能 Forwardそのまま Backwardを疑似的に生成 OpenDR [Loper & Black 2014] NMR [Kato+ 2018] ネットワークの学習用に スクリーンスペースで勾配が届く範囲を拡張 Anti-aliasing nvdiffrast [Laine+ 2020] グラフィックスパイプラインと整合性あり 数学的に微分可能 エッジの一部、1ピクセル未満のブラー ピクセルと三角形を計算グラフ上で繋ぐ ForwardとBackward一致 ピクセルとジオメトリを直接距離計算で繋ぐ

Slide 70

Slide 70 text

SoftRas [Liu+ 2019] ReDA [Zhu+ 2020] HardSoftRas/Dressi [Takimoto+ 2022] PyTorch3D [Ravi+ 2020] DIB-R [Chen+ 2019] ハードウェアラスタライザで高速化 シルエット内部の アーティファクトを抑制 範囲閾値により 計算量削減 Soft Rasterization GenDR [Zhu+ 2022] 距離計算方法等を分析 線形が一番良い 顔用に拡張 セグメンテーションマスク等 スクリーンスペース＆デプス方向、広範囲にブラー シルエット勾配の生成方法 70 tf_mesh_renderer [Genova+ 2018] シェーディング勾配のみ Backward可能 Forwardそのまま Backwardを疑似的に生成 OpenDR [Loper & Black 2014] NMR [Kato+ 2018] ネットワークの学習用に スクリーンスペースで勾配が届く範囲を拡張 Anti-aliasing nvdiffrast [Laine+ 2020] グラフィックスパイプラインと整合性あり 数学的に微分可能 エッジの一部、1ピクセル未満のブラー ピクセル位置を補間で求めて繋ぐ 補間で求めたピクセル位置にカーネルを畳み込む 三角形以外にも適用可能 rasterize-then-splat [Cole+ 2021] ピクセルと三角形を計算グラフ上で繋ぐ ForwardとBackward一致 ピクセルとジオメトリを直接距離計算で繋ぐ

Slide 71

Slide 71 text

SoftRas [Liu+ 2019] ReDA [Zhu+ 2020] HardSoftRas/Dressi [Takimoto+ 2022] PyTorch3D [Ravi+ 2020] DIB-R [Chen+ 2019] ハードウェアラスタライザで高速化 シルエット内部の アーティファクトを抑制 範囲閾値により 計算量削減 Soft Rasterization GenDR [Zhu+ 2022] 距離計算方法等を分析 線形が一番良い 顔用に拡張 セグメンテーションマスク等 スクリーンスペース＆デプス方向、広範囲にブラー シルエット勾配の生成方法 71 tf_mesh_renderer [Genova+ 2018] シェーディング勾配のみ Backward可能 Forwardそのまま Backwardを疑似的に生成 OpenDR [Loper & Black 2014] NMR [Kato+ 2018] ネットワークの学習用に スクリーンスペースで勾配が届く範囲を拡張 Anti-aliasing nvdiffrast [Laine+ 2020] グラフィックスパイプラインと整合性あり 数学的に微分可能 エッジの一部、1ピクセル未満のブラー ピクセル位置を補間で求めて繋ぐ 補間で求めたピクセル位置にカーネルを畳み込む 三角形以外にも適用可能 rasterize-then-splat [Cole+ 2021] ピクセルと三角形を計算グラフ上で繋ぐ ForwardとBackward一致 ピクセルとジオメトリを直接距離計算で繋ぐ 1 2 3 4

Slide 72

Slide 72 text

Backwardを疑似的に生成： OpenDR & Neural 3D Mesh Renderer (NMR) • Forward：普通に絵を描く • Backward：疑似的にシルエット勾配を生成する • Backwardだけポストプロセスをするイメージ • 欠点 • 数学的に微分可能でない＝BackwardがForwardの導関数ではない • 調節が難しい • 自動微分で書けない 72 OpenDR [Looper & Black 2014] NMR [Kato+ 2018] Forward Backward Backward XY方向に広げる 少しだけ広げる SoftRas [Liu+ 2019]の比較図 SoftRas [Liu+ 2019]の比較図 これまで説明してきた手法とはアプ ローチが異なるが、DRの歴史的に重要 1

Slide 73

Slide 73 text

SoftRas：スクリーンスペース＆デプス 方向で広範囲にブラー • スクリーンスペース距離とデプス値に基づい て、近いほど濃くなるように三角形の色を混 ぜるポストプロセス • 全ピクセルで全三角形の色を混ぜる • (height, width, 全三角形数 (デプスバッファ))のテンソルを確 保する必要あり 73 三角形エッジとピクセルの 2Dスクリーンスペース距離でブラー オクルージョンされている三角形も考慮し、 デプス方向に色をブレンド 距離にシグモイド をかけて色を減衰 デプスの逆数に基づいた重み 2

Slide 74

Slide 74 text

SoftRas：スクリーンスペース＆デプス 方向で広範囲にブラー • 利点 • 最適化もネットワーク学習も上手くいく • 色のボケ具合と勾配がリンクしているのでハイパーパ ラメータをチューニングしやすい • 欠点 • ハードウェアラスタライザが使えず遅い • レンダリングされた絵がボケていてクオリティが低い • 古典的レンダリングと矛盾 • 遠くの色が混ざる • 透明でない物体も透ける 74 2

Slide 75

Slide 75 text

SoftRasの発展形 • PyTorch3D • スクリーンスペースとデプスバッファの閾 値を導入して計算量を削減 • DIB-R • シルエット内部のアーティファクトを抑制 • HardSoftRas/Dressi • ハードウェアラスタライザで高速化 • [PR] 実装はクローズドだが世界最速 75 DIB-R SoftRas 2

Slide 76

Slide 76 text

2018～2020年（NMRやSoftRasが広く使われだした頃）の 微分可能レンダリングの雰囲気（主観） 76 CV ML 3

Slide 77

Slide 77 text

2018～2020年（NMRやSoftRasが広く使われだした頃）の 微分可能レンダリングの雰囲気（主観） 77 CV ML [Kanazawa+ 2018] ついにレンダリングも 微分可能になった！ ビジョン系の学習 が上手くいってる！ 3

Slide 78

Slide 78 text

2018～2020年（NMRやSoftRasが広く使われだした頃）の 微分可能レンダリングの雰囲気（主観） 78 CV ML [Kanazawa+ 2018] ついにレンダリングも 微分可能になった！ ビジョン系の学習 が上手くいってる！ 3Dでもどんどんネットワー ク学習していこうぜ！ 3

Slide 79

Slide 79 text

2018～2020年（NMRやSoftRasが広く使われだした頃）の 微分可能レンダリングの雰囲気（主観） 79 CV ML CVPRとNeurIPSの論文 が楽しみだな！！！ [Kanazawa+ 2018] ついにレンダリングも 微分可能になった！ ビジョン系の学習 が上手くいってる！ 3Dでもどんどんネットワー ク学習していこうぜ！ 3

Slide 80

Slide 80 text

2018～2020年（NMRやSoftRasが広く使われだした頃）の 微分可能レンダリングの雰囲気（主観） 80 CV ML CG CVPRとNeurIPSの論文 が楽しみだな！！！ [Kanazawa+ 2018] ついにレンダリングも 微分可能になった！ ビジョン系の学習 が上手くいってる！ 3Dでもどんどんネットワー ク学習していこうぜ！ 3

Slide 81

Slide 81 text

2018～2020年（NMRやSoftRasが広く使われだした頃）の 微分可能レンダリングの雰囲気（主観） 81 CV ML CG CVPRとNeurIPSの論文 が楽しみだな！！！ [Kanazawa+ 2018] ついにレンダリングも 微分可能になった！ ビジョン系の学習 が上手くいってる！ 3Dでもどんどんネットワー ク学習していこうぜ！ 3

Slide 82

Slide 82 text

2018～2020年（NMRやSoftRasが広く使われだした頃）の 微分可能レンダリングの雰囲気（主観） 82 CV ML CG CVPRとNeurIPSの論文 が楽しみだな！！！ [Kanazawa+ 2018] ついにレンダリングも 微分可能になった！ ビジョン系の学習 が上手くいってる！ 3Dでもどんどんネットワー ク学習していこうぜ！ 3

Slide 83

Slide 83 text

2018～2020年（NMRやSoftRasが広く使われだした頃）の 微分可能レンダリングの雰囲気（主観） 83 CV ML CG CVPRとNeurIPSの論文 が楽しみだな！！！ [Kanazawa+ 2018] ついにレンダリングも 微分可能になった！ ビジョン系の学習 が上手くいってる！ 3Dでもどんどんネットワー ク学習していこうぜ！ 意訳： NMRやSoftRasは遅くて、絵が綺麗ではない グラフィックス分野の知見を活用しきれていない 3

Slide 84

Slide 84 text

84 84 3

Slide 85

Slide 85 text

85 85 3

Slide 86

Slide 86 text

86 86 3

Slide 87

Slide 87 text

87 87 3

Slide 88

Slide 88 text

88 北欧のリアルタイムグラフィックスの達人たち！ （StyleGAN, PGGAN, Noise2Noise等の作者でもある） 88 3

Slide 89

Slide 89 text

nvdiffrast ：アンチエイリアスでブラー • Contribution 1: アンチエイリアス • 前面、一部のエッジ、1ピクセル未満のスクリーンスペー ス距離に基づくブラー • 処理自体はSoftRasに近いが、範囲を絞っている • シルエット勾配のBackward用にジオメトリ情報を計算に組み入れる 必要があるため、Geometric anti-aliasingを選択 • 数学的に微分可能 (Analytic Anti-Aliasing) • 古典的グラフィックスパイプラインに使われているポス トプロセスであり絵のクオリティが上がる ↔SoftRasの絵はクオリティが低い • ラスタライズはOpenGLで行うため高速 • 最近CUDAラスタライザも実装された模様 • 複数GPUでOpenGLが動かない場合に対応 • （なぜVulkanにしなかったのか……） 89 3

Slide 90

Slide 90 text

nvdiffrast ：アンチエイリアスでブラー • Contribution2: DRライブラリに必須のAPIを特定 • ドキュメントが非常に良く書かれている、一見の価値あり • https://nvlabs.github.io/nvdiffrast/ • CGの達人によるエレガントな微分可能レンダラ • 古典的グラフィックスパイプラインを理論的に綺麗に維持しつ つ形状も最適化できる • 欠点 • アンチエイリアスの性質的に一部のピクセルしかブラーされない →シルエット勾配がスパースになり形状最適化が不安定 • しかしこの欠点もlarge steps [Nicolet + 2021]で解消され最強に（後半で解説） • 数学的に微分可能だが自動微分で書かれておらず 手動で導関数を記述している • 例：BarycentricはForwardはラスタライザ、BackwardはCUDAで計算．速度は出 るが…… 90 nvdiffrast特有のスパースな勾配 Dressi [Takimoto + 2022]の比較より 3

Slide 91

Slide 91 text

rasterize-then-splat ： ピクセル位置を補完で求めて繋ぐ GBufferを微分不能にラスタライズしてから 1. ピクセル位置をジオメトリ情報から補間に基づいて求める • この処理によりピクセルとジオメトリが繋がる 2. “普通のブラー”をかけ色をボカす (Splat) • 点群レンダリング手法 Surface splatting [Zwicker+ 2001]にインスパイア • 利点：GBufferさえあれば適用できるので • ハードウェアラスタライザが使える • 三角形に限らず適用できる（パラメトリックカーブやSDF等） • 欠点 • 実際使ってみると不安定、ロバスト性に欠ける • TensorFlowGraphics, PyTorch3Dに実装されている 91 補間によって求めたピクセル位置間の距離 でウェイトを定義し 畳み込む ジオメトリ情報から 補間によってピクセル位置を計算 ２ ２ 1 4

Slide 92

Slide 92 text

微分可能レンダリングを知る 1. 導入 2. リアルタイムレンダリングと自動微分 3. 微分可能レンダリングの2種類の勾配 1. シェーディング勾配 2. シルエット勾配 ◆様々な手法の紹介 4. まとめ 92

Slide 93

Slide 93 text

前半のまとめ • シェーディング勾配：Barycentric補間 • テクスチャやライトが最適化できる • シルエット勾配：ジオメトリ情報を用いた ポストプロセス • ジオメトリやカメラパラメータが最適化できる • オープンな微分可能レンダラで最もエレガントなのはnvdiffrast（主観） • [PR] 我々が内製した はエレガントで最速だがクローズド • おすすめオープン実装 • ネットワーク学習用：PyTorch3D、DIB-R (Kaolin) • 最適化用：nvdiffrast + large steps [Nicolet+ 2021]（後半で説明） 93 令和5年9月現在 微分可能レンダリングの2種類の勾配

Slide 94

Slide 94 text

後半に向けた問題提起 • ここまで見てきた手法は微分可能“レンダラ”なのに普通のレン ダラやCGツールとは全然別物 • シェーダで実装される部分がPyTorchやCUDAで実装されている • 微分可能レンダラを“普通のレンダラ”に近づけられないか？ • 後半へ続く…… 94

Slide 95

Slide 95 text

本講演のゴール •微分可能レンダリングを •知る（佐藤） •つくる（滝本） 95

Slide 96

Slide 96 text

自己紹介 滝本佑介 • Digital Human Lab,Tokyo Research Center, Huawei • 3Dグラフィックスの研究開発 • 学歴 • 2013-2017 慶應義塾大学 理工学部 • Human Interaction用のロボットの制御を研究 • 2017-2019 慶應義塾大学大学院修士 • 自然言語処理の研究 • 2019- 慶應義塾大学大学院博士課程 • 現在も在学中 • 職歴 • 2014-2019 Light Transport Enterainment Inc. • アルバイトを通じてCGに携わる • 2017- 現職 • そのままグラフィックが専門になる 96

Slide 97

Slide 97 text

深層学習フレームワークを用いたDR実装 • 既存のDR • / など • PyTorchやTensorflow等の深層学習フレームワーク上に実装 • メリット • 自動微分など既存の仕組みを 活用できる • →DRに固有な部分のみを考え れば良い • デメリット • 効率が悪く、遅い • あくまで深層学習用だから • ベンダー依存 • CUDA → NVIDIA GPU必須 • Backwardがバグを含みやすい • forward/backwardを手書き 97

Slide 98

Slide 98 text

深層学習フレームワークを用いたDR実装 • しかしDRは非常に遅かった • PyTorch3D • 単純なシーンでも約10fps • Nvdiffrastの登場で改善されたが、 それでも通常の3DCGには及ばない • 3DCGではリアルタイム(1~4K 60fps以上)が当たり前 • ゲームエンジン/ CGツール • GPU上のGraphics専用API 単純なシーン なら数百fps • 効率が悪く、遅い • あくまで深層学習用だから • ベンダー依存 • CUDA → NVIDIA GPU必須 • Backwardがバグを含みやすい • forward/backwardを手書き 98

Slide 99

Slide 99 text

深層学習フレームワークを用いたDR実装 • 深層学習フレームワーク上のDRが遅い理由 • 効率が悪く、遅い • あくまで深層学習用だから • ベンダー依存 • CUDA → NVIDIA GPU必須 • Backwardがバグを含みやすい • forward/backwardを手書き • 1 . Software Rasterization • Nvdiffrast以外はCUDA上のfor loop • Hardware Rasterizerは非常に強力 • 2. 複雑な計算グラフを扱いきれない • 深層学習のレイヤー構造はほぼ直列 • DRは細かな演算が大量の複雑なグラフ U-Net DR 99 1000以上の 関数

Slide 100

Slide 100 text

深層学習フレームワークを用いたDR実装 • DRはCUDA依存だった • 依存する深層学習フレームワーク のせい • 回避のしようがない • 非アカデミックでは特定の企業の製品に 依存するのは危険 • ３DCGソフトは任意のGPUで当たり前のように動く • - • ベンダを跨いだオープンなAPIの上に実装されているから • 無論例外もあるが、何かしらの回避策があるもの • 効率が悪く、遅い • あくまで深層学習用だから • ベンダー依存 • CUDA → NVIDIA GPU必須 • Backwardがバグを含みやすい • forward/backwardを手書き 100

Slide 101

Slide 101 text

深層学習フレームワークを用いたDR実装 • 自動微分が便利だからフレームワークを使っているはずなのに DR部分は微分を手動で記述 • 手書きbackwardはバグの温床 • 間違っていても気が付きにくい • なんとなくで動いてしまう • 効率が悪く、遅い • あくまで深層学習用だから • ベンダー依存 • CUDA → NVIDIA GPU必須 • Backwardがバグを含みやすい • forward/backwardを手書き 101 • 本質的に自動微分では書けないところ • (狭義の)Rasterization ↪ Backwardは定義されない • 自動微分でかけるのに手書きをしているところ • Blurring / Antialiasing • Texture Sampling • Barycentric Interpolation ↪ 本来は必要ないはずなのに、速度を出すために悪あがき

Slide 102

Slide 102 text

3DCG SoftwareとしてのDR • Graphics APIでDR特化の自動微分ライブラリを実装する • その上にDRのforwardのみを記述する • 既存DRの問題点 • 効率が悪く、遅い • あくまで深層学習用だから • ベンダー依存 • CUDA → NVIDIA GPU必須 • Backwardがバグを含みやすい • forward/backwardを手書き • DRも3DCGソフトとして記述 すれば良い • GPUが提供するGraphics Pipelineで高速に動作 • ベンダに依らないAPI 102 • 全てを自動微分で書けば良い • 間違いの無い微分

Slide 103

Slide 103 text

Vulkanを用いたDR • 現代においてクロスプラットホームなGraphics APIはVulkan以外に無い OpenGL DirectX 12 Metal Vulkan 自由度 低 高 高 高 プラット フォーム 多 Windows Mac 多 • Graphics APIとしてVulkanを採用 • Vulkanとは • 最新のGraphic API • OpenGLの後継 • 多種多様なOS / GPUでサポート • Low Level • GLSL(コード)をコンパイルして SPIR-V(バイナリ)をGPU上で実 行する 103

Slide 104

Slide 104 text

Vulkanを用いたDR • 機能的には申し分ないVulkanの欠点 • 非常に複雑 • 多くの人は三角形を描画するまでで力尽きるらしい • 下手な実装はかえって遅くなる • 複雑なVulkan上で複雑な自動微分ライブラリを実装するのは難しい • →多層構造の実装にする 104

Slide 105

Slide 105 text

VulkanDRのレイヤー構造 • ユーザが記述する • ≒アプリケーション • 本チュートリアルが扱うところ • ベンダとOSの仕事 GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 Vulkan DRを層構造で実装する 105

Slide 106

Slide 106 text

Vulkan入門 • VulkanはC言語のAPI • https://github.com/KhronosGroup/Vulkan-Headers • 非常に低レイヤー VkInstanceCreateInfo createInfo{}; createInfo.sType = VK_STRUCTURE_TYPE_INSTANCE_CREATE_INFO; VkApplicationInfo appInfo{}; appInfo.sType = VK_STRUCTURE_TYPE_APPLICATION_INFO; appInfo.pApplicationName = "AppName"; appInfo.applicationVersion = VK_MAKE_VERSION(0, 0, 0); appInfo.pEngineName = "EngineName"; appInfo.engineVersion = VK_MAKE_VERSION(0, 0, 0); appInfo.apiVersion = VK_API_VERSION_1_0; createInfo.pApplicationInfo = &appInfo; VkInstance instance; VkResult result = vkCreateInstance(&createInfo, nullptr, &instance); if (vkCreateInstance(&createInfo, nullptr, &instance) != VK_SUCCESS) { throw std::runtime_error("failed to create instance!"); } 例: VkInstanceの作成 • 空のInstanceCreateInfoを作り • CreateInfoを表すEnumをセット • CreateInfoのメンバに必要な空の structureを作り • StructureのEnumをセット • メンバを記述して • CreateInfoにアドレスをセット • 空のInstanceを作り • CreateInfoを渡すことでInstanceが確保 される 記述量が多すぎて現実的ではない 106 GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 107

Slide 107 text

C++ Vulkan入門 現実的な記述量 • C言語版は記述量が異常に多くなってしまうので Khronos公式のC++ Wrapperを使用する • VulkanHppとVulkanRAIIの2種類 • https://github.com/KhronosGroup/Vulkan-Headers • or • VulkanHpp • std::uniqueをベースにしたC++らしい記述スタイル (vk namespace) • VulkanRAII • VulkanHppを更にwrap (vk::raii namespace) • コンストラクタ/デストラクタでリソース管理 • 弊社ではVulkanHppを使用 vk::ApplicationInfo app_info = {"AppName", app_version, "EngineName", engine_version}; vk::UniqueInstance instance = vk::createInstanceUnique({{}, &app_info}); 例: VkInstanceの作成 107 GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 108

Slide 108 text

Vulkanで複雑なグラフを計算する • Vulkanで複雑な計算グラフを扱うには？ • 多入力多出力が可能なShader • Fragment Shader • Graphics Pipelineの一部 • ピクセル毎に独立の2D処理 • Compute Shader • Compute Pipeline • ピクセルに縛られない自由なテンソル処理が可能 • Graphics Pipelineの方が最適化の仕組みが揃っている • RenderPass と Subpass など • Compute Shaderの高い自由度はDRには不必要 • DRには高々２D Image + 複数channelで十分 • Vetrex Attribute等 1Dバッファは2D Imageに保存可能 • Vulkanで性能を求めるならGraphics Pipeline → Fragment Shader 108 GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 109

Slide 109 text

RenderPassとSubpass • 1つのFragment Shaderに全ての計算を入れるのが最速 • しかし同一ピクセルの値にしかアクセスできない • 異なるピクセルの値を使用するにはShaderを分割する • 多段のShaderを効率的に実行する仕組み → RenderPass & Subpass RenderPass [512x512] SubPass Vertex Shader Tessellation Shader Geometry Shader Rasterizer Fragment Shader ... 109 ... SubPass Vertex Shader Tessellation Shader Geometry Shader Rasterizer Fragment Shader RenderPass [128x128] GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 110

Slide 110 text

RenderPassとSubpass • Input Attachment • Subpassの為にFragment Shaderに導入された新しい入力タイプ • OpenGLには無い • 前段のFragment Shaderの同一pixelの出力を効率的に受け取る • OpenGLではTexture Fetchを使用するしかなかった • モバイル系のGPUで有効 • RenderPass内のSubpassは非同期に実行される • Dependencyを明示する必要がある • Vulkanのドライバが自動で行ってくれる 110 GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 111

Slide 111 text

SubpassによるDeferred Shading • Subpassの非同期機能は効率的なDeferred Shadingのため • ある程度のImageのIOを想定している 111 →小規模な計算グラフとみなせる GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 112

Slide 112 text

SubpassによるDeferred Shading • Subpassの非同期機能は効率的なDeferred Shadingのため • ある程度のImageのIOを想定している 112 →小規模な計算グラフとみなせる • RenderPass / Subpassの枠組み上にDRの巨大な計算グラフを実装する • = DRを記述した計算グラフは究極のDeferred Shading GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 113

Slide 113 text

DR用のSubpass • DRの為に使用するSubpassの使い方は2通り • 1. 汎用的な計算 • Fragment Shaderのみを利用する • 他のシェーダは多入力多出力が不可能 • 2. Rasterize • Hardware Rasterizerを利用する • Vertex ShaderとFragment Shader • 普通のレンダリングと同様 SubPass Vertex Shader Rasterizer Fragment Shader SubPass Vertex Shader Rasterizer Fragment Shader 113 GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 114

Slide 114 text

RenderPass / Subpassの設定要素 114 • Attachment 入出力Image情報 • Image type • Load / Store • Image layout 遷移 (メモリアクセスの最適化) • Dependency Subpassの依存関係 • Source • Destination できるだけ〇〇Optimal 型を利用する vk::Format::eR32Sfloat // 1ch float vk::Format::eR32G32B32A32Sfloat // 4ch float {vk::AttachmentLoadOp::eLoad, vk::AttachmentStoreOp::eDontCare} // 入力 {vk::AttachmentLoadOp::eDontCare, vk::AttachmentStoreOp::eDontCare} // 出力 {vk::AttachmentLoadOp::eClear, vk::AttachmentStoreOp::eDontCare} // 出力 (0-filled) vk::ImageLayout::eShaderReadOnlyOptimal // 入力 vk::ImageLayout::eColorAttachmentOptimal // 出力 vk::ImageLayout::eTransferDstOptimal // (CPUからの)転送 vk::ImageLayout::eGeneral // 汎用 = 最適化されていない {vk::PipelineStageFlagBits::eColorAttachmentOutput, vk::AccessFlagBits::eColorAttachmentWrite} // Fragment Shaderからの出力 {vk::PipelineStageFlagBits::eFragmentShader, vk::AccessFlagBits::eInputAttachmentRead} // Fragment Shaderへの入力 GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 115

Slide 115 text

計算グラフ の表現 • 計算グラフを作るためのインターフェースを作る • PyTorchの系譜を参考にした書き方 • 例) y = sin(x) 115 class Variable { VType type = VType::FLOAT; Size2D size = {512, 512}; } Variable x auto y = F::Sin(x) FunctionをGLSLがサポートする Native関数について必要なだけ 記述する 約100個 namespace F { Variable Sin(Variable x) { return SinFunction().forward(x) } } class SinFunction { Variable forward(Variable x) { return Variable{x.type, x.size} } string glsl_code = "{out}=sin({inp0})" } 出力のVariable 情報を定義 対応するGLSLスニペット (パワー) GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 116

Slide 116 text

• 数々の細かな設定を Vulkanに施す 計算グラフのVulkan実行 116 RenderPass Subpass … … … Variable a auto b = F::Sin(a) ... auto z = x * y ... 計算グラフ パッキング • RenderPass/Subpass の条件を守りながら、 可能な限り大きな集合 を作る • 同一のImageサイズ • RenderPass/Subpass共に • 入出力Imageの数 • デバイスに依存 • メモリ同期の制約 • Texture Samplingの参照 元と先は異なるpass RenderPass Subpassに変換 • GLSLコードを文字列 処理で生成する GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ Function & Variable

Slide 117

Slide 117 text

計算グラフ上で自動微分 (AD) • Vulkan ADが完成117 • 計算グラフをVulkan上で実行できるようになったので、 自動微分ライブラリ (VulkanAD) を作成する • PyTorch等と同様に、Function毎に微分を事前定義する • Forwardの計算グラフが入力されると、Forwardと Backwardが繋がった計算グラフが出力される y = F::Sin(x) BuildBackward gx = gy * F::Cos(x) こちらの関係も 約100個記述する Forward Forward Backward BuildBackward GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 118

Slide 118 text

VulkanADを用いたDR • ようやくDRを実装する • 自動微分のお陰で、ほぼ一般的なレンダラを書くだけでDifferentiableになる 118 GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 119

Slide 119 text

微分可能シェーディング • しかしDRのシェーディングは、閲覧用のレンダラと一致する必要がある • 異なればターゲット画像の見た目が再現されない • 「Physically-based Shading (PBS)」が一般的だが、解釈が様々で皆違う 119 • シェーディングもAD上に実装すればよいだけ GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 120

Slide 120 text

微分可能シェーディング • しかしDRのシェーディングは、閲覧用のレンダラと一致する必要がある • 異なればターゲット画像の見た目が再現されない • 「Physically-based Shading (PBS)」が一般的だが、解釈が様々で皆違う 120 • 既存のレンダラのシェーダコードをDR上に写経する Vulkan AD 微分可能 Shader • シェーディングもAD上に実装すればよいだけ GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 121

Slide 121 text

微分可能シェーディング • しかしDRのシェーディングは、閲覧用のレンダラと一致する必要がある • 異なればターゲット画像の見た目が再現されない • 「Physically-based Shading (PBS)」が一般的だが、解釈が様々で皆違う 121 • 既存のレンダラのシェーダコードをDR上に写経する Vulkan AD 微分可能 Shader • シェーディングもAD上に実装すればよいだけ GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ • コストが高いのでトランスパイラを実装する

Slide 122

Slide 122 text

GLSL → Vulkan AD のトランスパイラ • 弊チームには独自開発されたリアルタイムレンダラがあった • OpenGL/GLSL実装 • BlenderのCyclesをベースにしたマテリアル定義 • Disney BSDFの亜種 122 • GLSL実装のPBSをVulkan ADの記法に変換する トランスパイラを実装 • Python • 関数の対応テーブルがあれば可能 Blender's Principled BSDF GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 123

Slide 123 text

GLSL → Vulkan AD のトランスパイラ • 元となったOpenGLレンダラとVulkanDRで同一の レンダリングが可能になった 123 OpenGL/GLSL VulkanDR からのトランスパイルも 書けばできるはず (ライセンスに注意) GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 124

Slide 124 text

DRを用いた最適化問題 • 実装したDR上に最適化問題を定義する • レンダリングパイプライン + 目的関数 (Loss) 頂点情報 材質 カメラ 出力画像 目標画像 DR Loss ライト • 定義したDR関数を使用して最適化問題を記述する • レンダリングパイプラインの部品を意識する程度の粒度 124 GPU Vulkan 計算グラフ 自動微分 DR 最適化問題 今ここ

Slide 125

Slide 125 text

最適化の具体例の紹介 125

Slide 126

Slide 126 text

マテリアル最適化の例 • ターンテーブル上に乗せた物体をスマートフォンのカメラで撮影 • フラッシュライト on/offの2回 • 差分を取ることで周囲からのライトを除去 • ジオメトリは固定 • ColmapとOpenMVSで推定 • マテリアルを最適化 • Base color • Metallic • Roughness • Specular • Specular tint • Normal 126

Slide 127

Slide 127 text

DRでジオメトリを最適化するには • DRによって2Dの色情報が3Dの頂点位置にまで伝搬する • しかしNaiveに実装するとメッシュが崩壊する • 正則化が必要 • Laplacian正則化 • ある頂点と隣接頂点の平均位置の差分を最小化する • Large Steps [Nicolet+2021] • 初期状態のラプラシアンを保持するように形状変化を行う • 元論文での実装はCUDAによる疎なLinear Solverを用いているが、 VulkanADには荷が重い • VulkanADでは共役勾配法を実装することで実現 127 https://docs.blender.org/manual/en/latest/model ing/modifiers/deform/laplacian_deform.html

Slide 128

Slide 128 text

VulkanAD上のLarge Steps [Nicolet+ 2021] によるジオメトリ最適化 正則化なし Laplacian Large Steps 128

Slide 129

Slide 129 text

VulkanAD上のLarge Steps [Nicolet+ 2021] によるジオメトリ最適化 正則化なし Laplacian Large Steps 129

Slide 130

Slide 130 text

VulkanAD上のLarge Steps [Nicolet+ 2021] によるジオメトリ最適化 正則化なし Laplacian Large Steps 130

Slide 131

Slide 131 text

VulkanAD上のLarge Steps [Nicolet+ 2021] によるジオメトリ最適化 正則化なし Laplacian Large Steps 131

Slide 132

Slide 132 text

VulkanAD上のLarge Steps [Nicolet+ 2021] によるジオメトリ最適化 正則化なし Laplacian Large Steps 132

Slide 133

Slide 133 text

トポロジーの異なる物体を扱う • Tetrahedraを用いた、初期形状を与えない 形状最適化 [Munkberg+ 2022] • 元実装はもちろんCUDA • 制約のあるVulkan ADでも頑張れば実装可能 133 NeRFのような事がメッシュでもできる • Large Stepによる最適化より、安定的な最適化が可能になったが、 初期形状を与えなければならない • 球から始めたらトーラスにはならない

Slide 134

Slide 134 text

トポロジーの異なる物体を扱う • Tetrahedraを用いた、初期形状を与えない 形状最適化 [Munkberg+ 2022] • 元実装はもちろんCUDA • 制約のあるVulkan ADでも頑張れば実装可能 134 NeRFのような事がメッシュでもできる • Large Stepによる最適化より、安定的な最適化が可能になったが、 初期形状を与えなければならない • 球から始めたらトーラスにはならない

Slide 135

Slide 135 text

トポロジーの異なる物体を扱う • Tetrahedraを用いた、初期形状を与えない 形状最適化 [Munkberg+ 2022] • 元実装はもちろんCUDA • 制約のあるVulkan ADでも頑張れば実装可能 135 NeRFのような事がメッシュでもできる • Large Stepによる最適化より、安定的な最適化が可能になったが、 初期形状を与えなければならない • 球から始めたらトーラスにはならない

Slide 136

Slide 136 text

トポロジーの異なる物体を扱う • Tetrahedraを用いた、初期形状を与えない 形状最適化 [Munkberg+ 2022] • 元実装はもちろんCUDA • 制約のあるVulkan ADでも頑張れば実装可能 136 NeRFのような事がメッシュでもできる • Large Stepによる最適化より、安定的な最適化が可能になったが、 初期形状を与えなければならない • 球から始めたらトーラスにはならない

Slide 137

Slide 137 text

トポロジーの異なる物体を扱う • Tetrahedraを用いた、初期形状を与えない 形状最適化 [Munkberg+ 2022] • 元実装はもちろんCUDA • 制約のあるVulkan ADでも頑張れば実装可能 137 NeRFのような事がメッシュでもできる • Large Stepによる最適化より、安定的な最適化が可能になったが、 初期形状を与えなければならない • 球から始めたらトーラスにはならない

Slide 138

Slide 138 text

トポロジーの異なる物体を扱う • Tetrahedraを用いた、初期形状を与えない 形状最適化 [Munkberg+ 2022] • 元実装はもちろんCUDA • 制約のあるVulkan ADでも頑張れば実装可能 138 NeRFのような事がメッシュでもできる • Large Stepによる最適化より、安定的な最適化が可能になったが、 初期形状を与えなければならない • 球から始めたらトーラスにはならない

Slide 139

Slide 139 text

後半のまとめ • Vulkan上にフラグメントシェーダでDR用の自動微分 ライブラリを実現した • 高速 • ベンダー非依存 • 正確なbackward • VulkanDRにより、マテリアル・ジオメトリの最適化 が高速に行えるようになった • Nvdiffrastの2倍から数倍 139 Desktop Laptop Mobile

Slide 140

Slide 140 text

雑多な話題 現状と今後の展望 140

Slide 141

Slide 141 text

ラスタライゼーションベースの微分可能レンダラの比較 tf_mesh_ren derer Neural 3D Mesh Renderer SoftRas/DIB- R/PyTorch3D Nvdiffast Nvdiffrast + Large steps rasterize- then-splat Dressi 年 2018 2018 2019/2019/2020 2020 2021 2021 2022 頂点属性 任意 任意 任意 任意 位置のみ 任意 任意 スクリーンス ペース距離 × △ 〇 〇 〇 〇 ピクセル位置を補間で計算 〇 古典的レンダリ ングパイプライ ンとの整合性 〇 × × 〇 〇 × × Forward/Backw ard一致 〇 × 〇 〇 〇 〇 〇 シェーディング 必要 不要 不要 不要 不要 必要 不要 ロバスト性 × △ 〇 △ ◎ × 〇 シェーディング勾配 Dense Dense Dense Dense Dense Dense Dense シルエット勾配 None Sparse Dense Sparse Dense Dense Dense 遮蔽面の勾配 × × 〇 × （nvdiffmodeling用に半透明物体対応してい るが透明でない物体の裏面向けではない） × × 〇 複数枚デプスバッファ × × 〇 〇 〇 〇 〇 実装 OpenGL/CUDA CUDA CUDA OpenGL/CUDA OpenGL/CUDA OpenGL/CUDA Vulkan 速度 ◎ △ × ◎ ◎ ◎ ◎ 最適化向け ネットワーク学習向け 141

Slide 142

Slide 142 text

レイトレーシングDR 1. シェーディング勾配及び計算グラフの接続性 • BVHによるレイと三角形の衝突判定（ラスタライズ（狭 義）相当）は微分不能、Barycentric補間経由でBackward できる 2. シルエット勾配 • エッジ近辺を重点的にサンプリング • エッジサンプリング [Li+ 2018] • Path-Space Differentiable Rendering [Zhao+ 2020] • サンプリング対象を滑らかな関数に変更 • Reparametrization [Loubet+ 2019] • Warping function [Bangaru+ 2020] [Bangaru+ 2020]の分類図 142 ラスタライゼーションDRと比較して • より正確にレンダリング方程式を解ける • 反射や屈折を含んだ最適化ができる • 同じ絵のクオリティを出すのに 10倍～100倍以上遅い

Slide 143

Slide 143 text

三角形以外のプリミティブ • 点群 • 体積がない点を円盤、球、SH等として距離計算 しつつ拡がりを持たせて描く • 点IDでBackwardするというメッシュ同様のテク ニックが使えるのでハードウェアラスタライザを 使った高速な微分可能レンダリングが可能 • SDF • 陰関数であり、メッシュや点群とは異なるアプ ローチが必要 • NaïveなSphere Tracingでは探索点＝Backward される点がスパースになることが問題 • レイトレDRと同様にreparameterizationのテク ニックが有効 [Vicini+ 2022] [Bangaru+ 2022] DSS [Yifan+ 2019 ] [Zhang+ 2022] Pulsar [Lassner+ 2020 ] 143

Slide 144

Slide 144 text

DR界隈勢力図 Academia Industry レイトレーシング ※DR基盤技術に着目 ※NeRF系、CV&ML系応用は除く ⚫ Mitsuba 3 / 2 ⚫ Dr. Jit / Enoki ⚫ Large Steps ⚫ And more… ⚫ Path-Space DR Prof. Wenzel Jakob Prof. Tzu-Mao Li Prof. Shuang Zhao ⚫ Redner ⚫ Reparameterization ⚫ Taich (not DR) ⚫ Neural 3D Mesh Renderer ⚫ SoftRas ⚫ nvdiffrast ⚫ DIB-R ⚫ Kaolin ⚫ OpenDR ⚫ Dressi ⚫ PyTorch3D ⚫ RGBXY Derivatives N. A. ⚫ Rasterize-then-splat ⚫ TensorFlow Graphics ラスタライゼーション 144 144

Slide 145

Slide 145 text

最近の面白かったDR論文： 初期値が遠くても最適化できるDROT[Xing+ 2022] • 課題：ターゲット画像で初期値がジオメトリ的に遠 いとスクリーンスペース勾配が発生せず最適化でき ない • Optimal Transport（Sinkhorn）で 陽にピクセルマッチングを行う →ピクセルレベルで位置を合わせてから最適化する • これ自体の実装も既存のDRに組み込むのも容易 145 Hybrid： 後半は普通の DRでRefine Basic： 提案手法のみ

Slide 146

Slide 146 text

微分可能レンダリングの元祖は？ • OpenDR [Loper & Black 2014]だと思われていたが …… • 実は“Model-based 3D Hand Pose Estimation from Monocular Video” [de la Gorce+ 2011] がDRの元祖らしい • 著者の公式リポジトリ＆主張 • https://github.com/martinResearch/DEODR • 2008年に実装したと書いてあるので、本当は同じ著者の” Model- based hand tracking with texture, shading and self- occlusions”[de la Gorce+ 2008]が最初？しかし大人の事情？で PAMI2011には引用されていない 146

Slide 147

Slide 147 text

微分可能レンダリング以前: 手の3Dトラッキングを例にして • 形状がほぼ変わらない前提でカルマンフィ ルタでトラッキング • 微分可能なガウシアンの3Dモデルをデプ スに対してフィッティング • カラーとデプスをレンダリングして画像の ロスを進化計算で最適化 [Oikonomidis+ 2011] [Sridhar+ 2013] [Stenger+ 2006] 3D形状の変形をカラー画像のロスだけで扱うのが難しかった が、近年では微分可能レンダリングのおかげで簡単になった 147

Slide 148

Slide 148 text

ラスタライゼーションベースの 微分可能レンダリングの現状 • 解決 • 最適化やネットワークの学習に使える広範囲の勾配 ←NMRやSoftRasで解決 • 古典的レンダリングパイプラインとの整合性 ←nvdiffrastで解決 • Graphics Pipelineを活用したDR ← で解決 • 未解決 • 勾配ベース最適化に起因する局所解 • 例：マテリアルとライトの分離 • カラー画像“だけ”からのカメラパラメータとジオメトリの復元 • COLMAPによるカメラパラメータの初期化、パラメトリックモデル、良い初期形状、追加の シルエット画像等が必要な手法が多い • Structure-from-Motion (SfM) + Multi-View Stereo (MVS)のビジョン系の古典的パイプライン に勝てない 148

Slide 149

Slide 149 text

ラスタライゼーションベースの 微分可能レンダリングの今後の展望 • レイトレーシングDRやNeRFと共存できるのか？ • スピード面での優位性はしばらく続く！まだいける！ • （古典的レンダリングとは絵が違う） 最適化に適している微分可能レンダリング はまだまだ研究の余地がある • 微分可能シェーディング：レンダリングエンジンの移行が容易に • 例：Unreal Engine（UE）のシェーダのPyTorch化 • 課題：UnityやBlenderで作ったモデルをUEに持ち込むとシェーダが違うため見た目（色）が変わる • 現在：アーティストのよる手作業のマテリアル等の調整が必要 • 微分可能UEシェーダで最適化＆近似すれば自動化できる • インタラクティブ性を活用したDRアプリケーションは未知数 • 例：ユーザ入力に合わせてリアルタイムで最適化＆プレビュー、エクスポート 149 SoftRas 絵はボケているが、勾配が広い DROT 絵はぐちゃぐちゃだが、初期 値に対してロバスト

Slide 150

Slide 150 text

謝辞 • VC関係者の皆様 • 武原光 • Dressi論文の著者の皆様 • Digital Human Teamの皆様 150

Slide 151

Slide 151 text

おわり だが微分可能レンダリングの旅は続く……

Slide 152

Slide 152 text

参考資料

Slide 153

Slide 153 text

微分可能レンダリングに関する日本語の資料 • “微分可能レンダリング（CVIM研究会 チュートリアル）” In CVIM/PRMU 2022年3月研究会. • https://docs.google.com/presentation/d/1nbyUBucCTFP2- sVLFeo2gP76L3EJTImMFXLmV7OifxI/edit?pli=1#slide=id.p • あのクルマのマテリアルを再現！？微分可能レンダラを用いた 計測BRDFフィッティング (CEDEC2023) • https://cedec.cesa.or.jp/2023/session/detail/s6426cba8d4036 153

Slide 154

Slide 154 text

[PR] に関する資料 • EG library：本文、supplemental material、デモ動画 • https://diglib.eg.org/handle/10.1111/cgf14455 • Willey（EG libraryと同じ内容の出版社版） • https://onlinelibrary.wiley.com/doi/10.1111/cgf.14455 • arxiv • https://arxiv.org/abs/2204.01386 • 発表の録画 • https://www.youtube.com/watch?v=8T_BIMrzfwk 154 後半のVulkan実装に関する内容をより詳細に記載

Slide 155

Slide 155 text

自動微分について • PyTorchの自動微分の公式解説 by Preferred Networks • Overview of PyTorch Autograd Engine • https://pytorch.org/blog/overview-of-pytorch-autograd-engine/ • How Computational Graphs are Constructed in PyTorch • https://pytorch.org/blog/computational-graphs-constructed-in-pytorch/ • How Computational Graphs are Executed in PyTorch • https://pytorch.org/blog/how-computational-graphs-are-executed-in- pytorch/ • PyTorch/LibTorchのソースコードを読むことが理解への近道 155

Slide 156

Slide 156 text

自動微分を使えばなんでも“微分可能”？ • PyTorchを使えば明らかに微分不能な関数でも最適化できる • torch.abs(): 0で微分不能 • torch.amax(): 最大値を選ぶ、離散なので微分不能 • 微分可能になってない、Backwardしてるだけ • 勾配が届く範囲は狭く、滑らかでもない • 滑らかで広範囲に勾配をBackwardするには“微分可能”な代替を考え る必要がある • maxに対するsoftmax • 正規化処理により、全ての入力と計算グラフが繋がる • absに対するLog-cosh Loss • 0でも勾配が滑らか ０ -１ abs(): 符号を反転して Backward max(): 最も大きい値のイ ンデックスにだけ Backward 4

Slide 157

Slide 157 text

“微分可能”な関数の階層 とりあえずBackward可能 滑らかand/or広範囲に Backward可能な代替の関数 数学的に微分可能 Backward不能 整数インデックスの操作など max(), abs()など Softmax(), Log-Cosh Lossなど sin(), cos()など NMR, SoftRas, DROT シェーディング勾配 nvdiffrast

Slide 158

Slide 158 text

Barycentric補間のBackward 1. Barycentric coordinateの計算 • 頂点位置にBackwardされる • Barycentricを微分不能=ハードウェアラスタライザで描いても動作は するが、シェーディング勾配で頂点位置が動きづらくなる • 線形補間によるBackwardだけだと頂点を動かすには勾配が弱い • 例：ボウルのような凹んだ形状をシェーディングで最適化する場合 • 凹みはシルエットから判断できないためシェーディングに頼るしかない 2. 線形補間 • 任意の頂点属性にBackwardされる 158

Slide 159

Slide 159 text

参考文献 • ラスタライゼーション • Munkberg, J., Hasselgren, J., Shen, T., Gao, J., Chen, W., Evans, A., ... & Fidler, S. (2022). Extracting triangular 3d models, materials, and lighting from images. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 8280-8290). • Petersen, F., Goldluecke, B., Borgelt, C., & Deussen, O. (2022). Gendr: A generalized differentiable renderer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 4002-4011). • Takimoto, Y., Sato, H., Takehara, H., Uragaki, K., Tawara, T., Liang, X., ... & Zheng, B. (2022, May). Dressi: A Hardware‐Agnostic Differentiable Renderer with Reactive Shader Packing and Soft Rasterization. In Computer Graphics Forum (Vol. 41, No. 2, pp. 13-27). • Cole, F., Genova, K., Sud, A., Vlasic, D., & Zhang, Z. (2021). Differentiable surface rendering via non-differentiable sampling. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 6088-6097). • Laine, S., Hellsten, J., Karras, T., Seol, Y., Lehtinen, J., & Aila, T. (2020). Modular primitives for high-performance differentiable rendering. ACM Transactions on Graphics (TOG), 39(6), 1-14. • Ravi, N., Reizenstein, J., Novotny, D., Gordon, T., Lo, W. Y., Johnson, J., & Gkioxari, G. (2020). Accelerating 3d deep learning with pytorch3d. arXiv preprint arXiv:2007.08501. • Zhu, W., Wu, H., Chen, Z., Vesdapunt, N., & Wang, B. (2020). Reda: reinforced differentiable attribute for 3d face reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 4958-4967). • Liu, S., Li, T., Chen, W., & Li, H. (2019). Soft rasterizer: A differentiable renderer for image-based 3d reasoning. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 7708-7717). • Kato, H., Ushiku, Y., & Harada, T. (2018). Neural 3d mesh renderer. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3907-3916). • Genova, K., Cole, F., Maschinot, A., Sarna, A., Vlasic, D., & Freeman, W. T. (2018). Unsupervised training for 3d morphable model regression. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 8377-8386). • Loper, M. M., & Black, M. J. (2014). OpenDR: An approximate differentiable renderer. In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part VII 13 (pp. 154-169). Springer International Publishing. • de La Gorce, M., Fleet, D. J., & Paragios, N. (2011). Model-based 3d hand pose estimation from monocular video. IEEE transactions on pattern analysis and machine intelligence, 33(9), 1793-1805. • de La Gorce, M., Paragios, N., & Fleet, D. J. (2008, June). Model-based hand tracking with texture, shading and self-occlusions. In 2008 IEEE Conference on Computer Vision and Pattern Recognition (pp. 1-8). IEEE. • レイトレ：Edge sampling • Li, T. M., Aittala, M., Durand, F., & Lehtinen, J. (2018). Differentiable monte carlo ray tracing through edge sampling. ACM Transactions on Graphics (TOG), 37(6), 1-11. • レイトレ：Path-space • Zhang, C., Miller, B., Yan, K., Gkioulekas, I., & Zhao, S. (2020). Path-space differentiable rendering. ACM transactions on graphics, 39(4). • レイトレ：Area sampling • Bangaru, S. P., Li, T. M., & Durand, F. (2020). Unbiased warped-area sampling for differentiable rendering. ACM Transactions on Graphics (TOG), 39(6), 1-18. • Loubet, G., Holzschuch, N., & Jakob, W. (2019). Reparameterizing discontinuous integrands for differentiable rendering. ACM Transactions on Graphics (TOG), 38(6), 1-14. 159

Slide 160

Slide 160 text

参考文献 • SDF • Bangaru, S. P., Gharbi, M., Luan, F., Li, T. M., Sunkavalli, K., Hasan, M., ... & Durand, F. (2022, November). Differentiable rendering of neural sdfs through reparameterization. In SIGGRAPH Asia 2022 Conference Papers (pp. 1-9). • Vicini, D., Speierer, S., & Jakob, W. (2022). Differentiable signed distance function rendering. ACM Transactions on Graphics (TOG), 41(4), 1-18. • 点群 • Zhang, Q., Baek, S. H., Rusinkiewicz, S., & Heide, F. (2022, November). Differentiable point-based radiance fields for efficient view synthesis. In SIGGRAPH Asia 2022 Conference Papers (pp. 1-12).Lassner, C., & Zollhofer, M. (2021). Pulsar: Efficient sphere-based neural rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 1440-1449). • Lassner, C., & Zollhofer, M. (2021). Pulsar: Efficient sphere-based neural rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 1440-1449). • Yifan, W., Serena, F., Wu, S., Öztireli, C., & Sorkine-Hornung, O. (2019). Differentiable surface splatting for point-based geometry processing. ACM Transactions on Graphics (TOG), 38(6), 1-14. • Pfister, H., Zwicker, M., Van Baar, J., & Gross, M. (2000, July). Surfels: Surface elements as rendering primitives. In Proceedings of the 27th annual conference on Computer graphics and interactive techniques (pp. 335-342). • NeRF & ボリューム • Mildenhall, B., Srinivasan, P.P., Tancik, M., Barron, J.T., Ramamoorthi, R., Ng, R. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. In: Vedaldi, A., Bischof, H., Brox, T., Frahm, JM. (eds) Computer Vision – ECCV 2020. ECCV 2020. Lecture Notes in Computer Science(), vol 12346. Springer, Cham. https://doi.org/10.1007/978-3-030-58452-8_24 • 汎用的テクニック • Xing, J., Luan, F., Yan, L. Q., Hu, X., Qian, H., & Xu, K. (2022). Differentiable Rendering using RGBXY Derivatives and Optimal Transport. ACM Transactions on Graphics (TOG), 41(6), 1-13. • Nicolet, B., Jacobson, A., & Jakob, W. (2021). Large steps in inverse rendering of geometry. ACM Transactions on Graphics (TOG), 40(6), 1-13. • 画像生成ネットワーク • Nguyen-Phuoc, T. H., Li, C., Balaban, S., & Yang, Y. (2018). Rendernet: A deep convolutional network for differentiable rendering from 3d shapes. Advances in neural information processing systems, 31. • Kips, R., Jiang, R., Ba, S., Duke, B., Perrot, M., Gori, P., & Bloch, I. (2022, May). Real‐time Virtual‐Try‐On from a Single Example Image through Deep Inverse Graphics and Learned Differentiable Renderers. In Computer Graphics Forum (Vol. 41, No. 2, pp. 29-40). • DR以前 • Sridhar, S., Oulasvirta, A., & Theobalt, C. (2013). Interactive markerless articulated hand motion tracking using RGB and depth data. In Proceedings of the IEEE international conference on computer vision (pp. 2456-2463). • Oikonomidis, I., Kyriazis, N., & Argyros, A. A. (2011, August). Efficient model-based 3D tracking of hand articulations using Kinect. In BmVC (Vol. 1, No. 2, p. 3). • Stenger, B., Thayananthan, A., Torr, P. H., & Cipolla, R. (2006). Model-based hand tracking using a hierarchical bayesian filter. IEEE transactions on pattern analysis and machine intelligence, 28(9), 1372-1384. • アプリケーション • Lin, C. H., Gao, J., Tang, L., Takikawa, T., Zeng, X., Huang, X., ... & Lin, T. Y. (2023). Magic3d: High-resolution text-to-3d content creation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 300-309). • https://github.com/ascust/3DMM-Fitting-Pytorch.git • Kanazawa, A., Tulsiani, S., Efros, A. A., & Malik, J. (2018). Learning category-specific mesh reconstruction from image collections. In Proceedings of the European Conference on Computer Vision (ECCV) (pp. 371-386).. 160