数学で理解する3D Gaussian Splatting

3D Gaussian Splattingの最適化において、最もイメージがしにくかったのが、3次元上の3D Gaussianと画像上の2D Gaussianの対応つけである。特に、論文内に出てくる アフィン近似（“J is the Jacobian of the affine approximation of the projective transformation”）が謎であった。今回は、この対応付けにについてまとめた。最適化の勾配計算はしていない。

Transcript

1. 数式で理解する 3D Gaussian Splatting 伊藤健太 2025年10月28日 開放環境科学専攻 情報工学専修 斎藤英雄研究室 博士後期課程1年
2. 目次 2/26 1. 3D Gaussian Splatting概要 4-8 2. 3D Gaussianのオブジェクト空間ｋら画像空間への変換 ▪ 3DGSの数学的表現・3次元と画像の対応 ▪ オブジェクト空間からカメラ空間 ▪ カメラ空間から画像空間 ▪ アフィン近似（EWA Splatting) ▪ カメラ空間からRay空間・Ray空間から画像 9-18 (10-11) (12) (13) (14-16) (17-18) 3. 3DGSにおける色の表現 19-22 4. シーンの最適化 23-26 3D Gaussian Splattingの最適化において、最もイメージがしにくかったのが、3次元上の3D Gaussianと画像上の2D Gaussianの対応つけである。特に、論文内に出てくる アフィン近似（“J is the Jacobian of the affine approximation of the projective transformation”）が謎であった。今回は、この対応付けにについてまとめた。最適化の勾配計算はしていない。
3. 3D Gaussian Splattingの概要
4. 3D Gaussian Splattingの概要 3D Gaussian Splatting（3DGS）とは 4/26 3D Gaussian o 3次元の楕円体の形の多変量正規分布. o 各Gaussianは位置，共分散，回転，スケール，SH係数で定義. Splatting o シーン内の複数の3D Gaussianを2D Gaussianに投影. 投影された2D Gaussianをαブレンディングによってレンダリングする． 3D Gaussian Splatting 3D Gaussian 画像空間 G. Chen et al., “A Survey on 3D Gaussian Splatting,” arXiv, 2024 伊藤裕之ほか, “コンピュータグラフィックス [改訂新版],” CG-ARTS協会, 2015 Computer Graphicsにおける “Splatting”の定義 o ボリュームレンダリングにおける順方向方式. o 各ボクセルがスクリーン上の投影輝度に影響を及ぼす範囲を順に決 めていく.
5. 多視点画像とカメラパラメータから3次元復元を取得 5/26 カメラパラメータ o 内部パラメータ（撮影カメラの特性） o 外部パラメータ（カメラの位置と向き） 多視点画像（学習画像） 入力 出力（3次元復元→新規視点画像） … 3D Gaussian Splattingの概要
6. 3DGSパイプライン全体像 6/26 o 初期点群から3D Gaussianをシーン内に配置 o 3D Gaussianのレンダリング画像とGT画像の誤差を計算 o 誤差の逆伝播により3D Gaussianの最適化 初期点群 3DGSの復元空間 誤差計算 レンダリング 3DGSの学習 GT画像 レンダリング画像 誤差伝播 3D Gaussian Splattingの概要
7. 初期点群の取得 7/26 初期点群 3DGSの復元空間 誤差計算 レンダリング 3DGSの学習 GT画像 レンダリング画像 誤差伝播 初期点群は，一般的にCOLMAPのStructure from Motionを使用して得られる3次元点群を用いる． JL. Schönberger et al., “Structure-from-Motion Revisited,” CVPR, 2016 3D Gaussian Splattingの概要
8. 3DGSの学習過程 8/26 初期点群 3DGSの復元空間 誤差計算 レンダリング 3DGSの学習 GT画像 レンダリング画像 誤差伝播 学習視点でのレンダリング画像とGT画像の誤差を最小化するようにGaussianの最適化を行う. o 勾配降下法による最適化：画像での誤差を3D Gaussianに逆伝播 o Adaptive Density Control：Gaussianの数を調整 3D Gaussian Splattingの概要
9. 3D Gaussianの オブジェクト空間から画像空間への変換
10. オブジェクト空間から画像空間への変換 ３D Gaussianの数学的表現 10/26 3D Gaussianは，異方性共分散 ∑ と中心点 𝛍 からの3次元のガウス分 布を用いて表現される． 学習パラメータ o Mean 平均 𝛍 o ローテーション 𝐑 o スケール 𝐒 o Opacity 不透明度 𝛼 o Spherical Harmonics (SH) Coefficient 球面調和係数 a𝑙𝑚 3D Gaussian： 𝑮 𝐱 = 1 (2𝜋) 3 2 ∑ exp(− 1 2 𝐱 − 𝛍 T∑−1 𝐱 − 𝛍 ) 異方性共分散： ∑ = 𝜎𝑥 2 𝜎𝑥𝑦 𝜎𝑥𝑧 𝜎𝑥𝑦 𝜎𝑦 2 𝜎𝑦𝑧 𝜎𝑥𝑧 𝜎𝑦𝑧 𝜎𝑧 2 , ∑ = 𝐑𝐒𝐒𝐓𝐑𝐓 平均： 𝛍 = 𝜇𝑥 𝜇𝑦 𝜇𝑧 x μ 3D Gaussian 3D Covariance Matrix 異方性共分散 ∑ 分散を非負にする為 o ∑ の6成分を直接最適化すると対角成分が非負になることを保証できない． o スケール行列と回転行列で表す（∑ = 𝐑𝐒𝐒𝐓𝐑𝐓）ことで，正定値行列にする．
11. オブジェクト空間から画像空間への変換 3次元点群のオブジェクト空間と画像空間の対応 11/26 被写体が置かれている「オブジェクト空間」と被写体が映されている「画像空間」の対応するための変換 o 座標変換：カメラの外部パラメータを用いて，カメラ空間へ投影 o 透視投影変換：カメラの内部パラメータを用いて，画像空間へ投影 オブジェクト空間 （世界座標系） カメラ空間 （カメラ座標系） 画像空間 （ピクセル座標） アフィン変換 3D → 3D 射影変換 3D → 2D カ メ ラ 座 標 系 か ら 世 界 座 標 系 へ の 変 換～ 外 部 パ ラ メ ー タ の 逆 変 換 ～ | NO MORE! 車 輪 の 再 発 明 𝑠 𝑢 𝑣 1 = 𝑠 𝑓𝑥 0 𝑐𝑥 0 𝑓𝑦 𝑐𝑦 0 0 1 𝑋𝑐 𝑌𝑐 𝑍𝑐 , 𝑠 = 1/𝑍𝑐 内部パラメータ ピクセル座標点
12. オブジェクト空間からカメラ空間へ 12/26 オブジェクト空間 3次元点群の集合：𝕡w 𝕡w の平均（3D Gaussianの中心）：𝐦w = 𝔼 𝕡w 3D Gaussianは共分散行列の定義より， ∑ = 𝔼 𝕡w − 𝔼 𝕡w 2 と表せる． カメラ空間 オブジェクト空間からカメラ空間へのアフィン変換は， 外部パラメータ 𝐓cw = 𝐑cw |𝐭cw を用いる． 3次元点群の集合：𝕡c = 𝐑cw 𝕡w + 𝐭cw 3D Gaussianの中心：𝐦c = 𝐑cw 𝐦w + 𝐭cw カメラ空間における共分散は， ∑c = 𝔼 (𝕡c − 𝐦c )(𝕡c − 𝐦c )T と変換できる. = 𝔼 (𝕡w − 𝐦w )(𝕡w − 𝐦w )T 𝐦w 𝐦𝒄 𝐩𝐰,𝒊 ∈ 𝕡w オブジェクト空間 カメラ空間 𝐓cw 外部パラメータ 𝕡c − 𝐦c = 𝐑cw 𝕡w + 𝐭cw − 𝐑cw 𝐦w + 𝐭cw = 𝐑cw 𝕡w − 𝐦w = 𝐑cw 𝔼 (𝕡w − 𝐦w )(𝕡w − 𝐦w )T 𝐑cw T = 𝐑cw ∑𝐑cw T 𝐩𝐜,𝒊 ∈ 𝕡c オブジェクト空間から画像空間への変換
13. カメラ空間から画像空間へ 13/26 射影変換 𝑠 𝑢 𝑣 1 = 𝑠 𝑓𝑥 0 𝑐𝑥 0 𝑓𝑦 𝑐𝑦 0 0 1 𝑋𝑐 𝑌𝑐 𝑍𝑐 , 𝑠 = 1/𝑍𝑐 によって，カメラ座標系上の点を画像空間に投影する． しかし，これは非線形な変換である． 各3D Gaussianは「点」ではなく，「楕円体の形状」を表す． よって，1/𝑍𝑐 の成分は， Gaussian内の「遠い部分」と「近い部分」で異なる縮尺率の変換を招く． よって，射影変換のアフィン近似 𝑱 = 𝑓𝑥 /𝑍𝑐 0 −𝑓𝑥 𝑋𝑐 /𝑍𝑐 2 0 𝑓𝑦 /𝑍𝑐 −𝑓𝑦 𝑌𝑐 /𝑍𝑐 2 を用いる． M. Zwicker et al., “EWA Splatting,” IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, 2002 𝐦𝒄 カメラ空間 画像空間 𝑱 アフィン近似 𝐦I オブジェクト空間から画像空間への変換
14. 射影変換のアフィン近似について 14/26 射影変換のアフィン近似 𝑱 = 𝑓𝑥 /𝑍𝑐 0 −𝑓𝑥 𝑋𝑐 /𝑍𝑐 2 0 𝑓𝑦 /𝑍𝑐 −𝑓𝑦 𝑌𝑐 /𝑍𝑐 2 は，EWA Splattingで提案されており，正規化座標系の「Ray空間」にアフィン近似する． M. Zwicker et al., “EWA Splatting,” IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, 2002 オブジェクト空間から画像空間への変換
15. EWA SplattingでのRay空間とは 15/26 o カメラ空間の物体に幾何学的変換を完了した，画像空間に 変換されれる前の座標系． o カメラ座標系を奥行き（𝑍𝑐 ）で正規化した座標系 (𝑋𝑐 𝑍𝑐 , 𝑌𝑐 𝑍𝑐 , 𝑙)を持 つ (𝑙 = (𝑋𝑐 , 𝑌𝑐 , 𝑍𝑐 )𝑇 ). 3DGSにおけるメリット o 微分可能性の確保 o 計算の高速化 o ラスタリングの実現 カメラ空間 Ray空間 M. Zwicker et al., “EWA Splatting,” IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, 2002 Ray空間では，3次元物体が平行グリッド上に 表現される オブジェクト空間から画像空間への変換
16. Ray空間への変換のイメージ 16/26 カメラ空間 Ray空間への アフィン近似変換 変換前Gaussian Ray空間への 射影変換 M. Zwicker et al., “EWA Splatting,” IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, 2002 直接変換と射影変換のアフィン近似のイメージ 直接変換（図の右下） o 射影変換を用いてRay空間に投影することも可能だが，非線形変換のため， Gaussianの性質を保持できない． 近似変換（図の左下） o Gaussianの中心を基準に近似することで，線形変換を実現し，Gaussianの 性質を保持する． オブジェクト空間から画像空間への変換
17. カメラ空間からRay空間へ 17/26 M. Zwicker et al., “EWA Splatting,” IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, 2002 カメラ空間の3次元点の集合： 𝕡c 𝕡c におけるある点： 𝐩c,𝑘 𝕡c の中心： 𝐦c Ray空間への射影変換 𝐩r,𝑘 = 𝝓(𝐩c,𝑘 ) = 𝑥c,𝑘 /𝑧c,𝑘 𝑦c,𝑘 /𝑧c,𝑘 𝑙𝑘 , 𝑙𝑘 = (𝑥𝑐,𝑘 , 𝑦𝑐,𝑘 , 𝑧𝑐,𝑘 )𝑇 は，𝐦𝑐 の周りでテイラー近似できる． 𝐩r,𝑘 = 𝝓 𝐩𝑐,𝑘 ≈ 𝝓 𝐦𝑐 + 𝝓′(𝐦𝑐 )(𝐩𝑐,𝑘 − 𝐦𝑐 ) 𝐩r,𝑘 − 𝝓 𝐦𝑐 = 𝝓′(𝐦𝑐 )(𝐩𝑐,𝑘 − 𝐦𝑐 ) Ray空間の3次元点の集合： 𝕡𝐫 𝕡r の中心： 𝐦r = 𝝓(𝐦c ) Ray空間での共分散は， ∑r = 𝔼 (𝕡r − 𝐦r )(𝕡r − 𝐦r )T = 𝝓′𝔼 (𝐩c − 𝐦c )(𝐩c − 𝐦c )T 𝝓′T = 𝝓′ ∑c 𝝓′T． 𝝓′(𝐦c )はヤコビ行列： 𝝓′(𝐦c ) = 1/𝑍𝑐 0 −𝑋c /𝑍c 2 0 1/𝑍𝑐 −𝑌c /𝑍c 2 𝑋c /𝑙 𝑌c /𝑙 𝑍c /𝑙 , 𝑙 = (𝑋c , 𝑌c , 𝑍c )𝑇 . オブジェクト空間から画像空間への変換
18. Ray空間から画像空間へ 18/26 M. Zwicker et al., “EWA Splatting,” IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, 2002 3D Gaussian ∑r から2D Gaussian ෡ ∑r への変換は，𝑧軸 での積分で求められる． これは，∑r の3行目・３列目を無視するのと同じである． 2D Gaussianの画像空間への変換は内部パラメータ 𝒑𝐼 = 𝐊f 𝑥𝑟 𝑦𝑟 +𝐂 = 𝑓𝑥 0 0 𝑓𝑦 𝑥𝑟 𝑦𝑟 + 𝑐𝑥 𝑐𝑦 を用いて， ∑I = 𝔼 (𝕡𝐈 − 𝐦I )(𝕡𝐈 − 𝐦I )T = 𝐊f 𝔼 (ෝ 𝕡c − ෝ 𝐦c )(ෝ 𝕡c − ෝ 𝐦c )T 𝐊f T = 𝐊f ෡ ∑r 𝐊f T ともとまる． ヤコビ行列𝝓′(𝐦c )を2 × 3行列にすることで， ෡ 𝝓′(𝐦c ) = 1/𝑍𝑐 0 −𝑋c /𝑍c 2 0 1/𝑍𝑐 −𝑌c /𝑍c 2 オブジェクト空間での3D Gaussian ∑ を画像空間での 2D Gaussian ∑I に変換できる． ∑I = 𝐊f ෡ 𝝓′𝐑cw ∑𝐑cw T ෡ 𝝓′T𝐊f T 3DGSの論文では， 𝑱 = 𝐊f ෡ 𝝓′ = 𝑓𝑥 /𝑍𝑐 0 −𝑓𝑥 𝑋𝑐 /𝑍𝑐 2 0 𝑓𝑦 /𝑍𝑐 −𝑓𝑦 𝑌𝑐 /𝑍𝑐 2 ∑I = 𝑱𝐑cw ∑𝐑cw T 𝑱T としている． オブジェクト空間から画像空間への変換
19. 3D Gaussian Splattingにおける色の表現
20. 色の表現 SH 関数（球面調和関数） 20/26 視点によって変化する物体の色を表現するために，球面調和関数を用いる． 振動（バリエーション） 𝑚 と方位角𝑙 でパラメータ化されており，球座標 𝜃, 𝜙 での光の反射など複雑な見え方を効率的 にモデル化できる． SH 関数で表される視線方向による変化 K. Yurkova., “A Compresive Overview of Gaussian Splatting”, towards data science 2023 , (𝑚 = 2𝑙 + 1) 𝑙 = 0 𝑙 = 1 𝑙 = 2 𝑙 = 3 𝑚 = −3 − 2 − 1 0 1 2 3
21. SH 係数（球面調和係数）による色の計算 21/26 RGBの各チャネル 𝑐Red, 𝑐Green, 𝑐Blue は，SH関数 𝐘𝑙 𝑚 に，SH係数 𝐚𝑙𝑚 を掛け合わせたものの総和 として計算される． 𝑐 𝜃, 𝜙 = ෍ 𝑙=0 𝐿max ෍ 𝑚=−𝑙 𝑙 𝐚𝑙𝑚 𝐘𝑙 𝑚 𝜃, 𝜙 3DGSでは最大SH=3（ 𝑙max = 3 ）で設定されているため，各チャネルに対して最大16個のSH係数を学習する． これにより，Gaussianの色は角度によって変化する． SH 関数で表される視線方向による変化 K. Yurkova., “A Compresive Overview of Gaussian Splatting”, towards data science 2023 𝑙 = 0 𝑙 = 1 𝑙 = 2 𝑙 = 3 𝑚 = −3 − 2 − 1 0 1 2 3 色の表現
22. 画像のレンダリング 22/26 画像空間に変換された2D Gaussianをピクセルに描画するために Zソート行い，αブレンディングを用いる． Zソート o カメラからの奥行き 𝑍𝑐 に基づいて，奥から手前へ並べ替える． αブレンディング o Ray上の重なり合う半透明なガウスの色𝐜𝑖 と不透明度𝛼𝑖 を合成し，最終的なピクセルの色𝐂を求める． 𝐂 = ෍ 𝑖=1 𝑁 𝐜𝑖 𝛼𝑖 ෑ 𝑗=1 𝑖−1 1 − 𝛼𝑗 ピクセルに描画 3D Gaussian Zソート 𝑍𝑐 αブレンディング 色の表現
23. シーンの最適化
24. 学習時のカメラ視点（外部パラメータ）でのレンダリング画像：𝐈render その視点での入力画像： 𝐈GT L1 Loss：すべてのピクセルのRGB値の差の絶対値の合計 ℒ1 = 1 𝑁 ෍ 𝑖=1 𝑁 𝐈𝐫𝐞𝐧𝐝𝐞𝐫 𝑖 − 𝐈𝐆𝐓 𝑖 D-SSIM Loss：構造的な類似性(Structural Similarity Index Measure)の誤差 ℒD−SSIM = 1 − SSIM 𝑥, 𝑦 誤差は，ℒ = 1 − 𝜆 ℒ1 − 𝜆ℒD−SSIM ． 毎Iteration，カメラ視点を1つランダムに選択肢，ℒ を計算する． シーンの最適化 レンダリング誤差 24/26
25. 各3D Gaussianパラメータの最適化 o 誤差の逆伝播 o 勾配降下法 o 学習パラメータ o Mean 平均 𝛍 o ローテーション 𝐑 o スケール 𝐒 o Opacity 不透明度 𝛼 o Spherical Harmonics (SH) Coefficient 球面調和係数 a𝑙𝑚 Adaptive Density Control o 領域に対してGaussianが足りない場合はGaussianを複製 o 領域に対してGaussianが大きい倍はGaussianの分裂 2つの方法で同時に最適化 25/26 Adaptive Density Control シーンの最適化 B. Kerbl et al., “EWA Splatting,” IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, 2002
26. 3D Gaussian Splatting概要 3DGSパイプラインのまとめ 26/26 3DGSの学習 o 共分散のオブジェクト空間から画像空間への変換： ∑I = 𝑱𝐑cw ∑𝐑cw T 𝑱T o レンダリング画像とGT画像の誤差： ℒ = 1 − 𝜆 ℒ1 − 𝜆ℒD−SSIM o 3DGSのシーン最適化：勾配降下法，Adaptive Density Control
27. 数式から理解する 3D Gaussian Splatting 伊藤健太 2025年10月28日 開放環境科学専攻 情報工学専修 斎藤英雄研究室 博士後期課程1年