Gen3R: 3D Scene Generation Meets Feed-Forward Reconstruction

3D生成・再構成を動画生成として解くGen3Rを提案。VGGTの潜在空間をWANの潜在空間に近づくように追加学習し、その後、単一画像や動画などの条件からVGGTとWANの潜在変数を同時に生成する拡散モデルを訓練することで、動画を生成するのと同時にそれに対応する幾何を生成できる。3D生成・再構成において既存法を上回る品質を達成。

Transcript

1. 担当: 東大特任助教 塩原楓 https://mapooon.github.io/ Spatial AI 勉強会 2026.07.07
2. なぜこの論文を選んだか • 思想: 3D再構成は3D生成の条件付き問題として解かれるべきであり、今後主流になる • 最近のFeed-Forwardモデル(VGGTやDA3など)はすべて “決定的” • 生成的なアプローチを模索しており、この論文を見つけた • Gen3Rは3D再構成と生成を繋ぐ一つの方法 ※ただし完全に3D生成モデルベースというわけではない 2
3. 前提知識 • VGGT (Visual Geometry Grounded Transformer) [Wang+, CVPR25] • Multiview Transformerで3D再構成 • 入力: 多視点画像 • 出力: 各画像に対応する深度マップ、点群マップ、カメラパラメータ • WAN [Wang+, arXiv25] • 動画生成用の潜在拡散モデル • 入力: テキスト、カメラ軌道、 first frame もしくは first-last frames • 出力: 動画 3
4. 論文の概要 • VGGTとWANの潜在空間を接続することで、3D再構成を動画生成として解く • 1枚もしくは2枚の視点画像からの3D生成品質が向上 • 多視点画像からの3D再構成においても、ロバスト性の向上を確認した 4
5. 手法の概要 • Stage 1: VGGTの潜在空間をWANの潜在空間と接続する • Stage 2: WANの拡散モデルを追加学習して、接続した潜在空間を生成する 5
6. Stage 1: VGGTの潜在空間をWANの潜在空間と接続する 6 Multi-layer Features 𝒱 Reconstructed Features ෠ 𝒱 WAN Latent 𝒜 𝜇, 𝜎を持つ Aligned Latent 𝒢 𝜇, 𝜎を持つ KL Loss WAN VAE Encoder VGGT Encoder VGGT Decoder サイズミスマッチを吸収 Adapter Encoder Adapter Decoder ℰadp 𝒟adp ℰ𝒱 𝒟𝒱 ℰ𝒜 ℒrec = 𝒱 − ෠ 𝒱 2 2 + Dist(𝒟𝒱 (𝒱), 𝒟𝒱 ( ෠ 𝒱)) ℒkl = KLDiv(𝒢||𝒜) 深度と点群はL2ノルム、カメラはL1ノルム 実は訓練後も WAN Latent 𝒜 を Aligned Latent 𝒢 として使うことはできない → Stage 2へ … 動画 深度マップ、点群マップ、カメラパラメータ Reparameterization Trick
7. Stage 2: 接続した潜在空間を拡散モデルで生成する 7 Multi-layer Features 𝒱 WAN Latent 𝒜 Aligned Latent 𝒢 WAN VAE Encoder VGGT Encoder Adapter Encoder ℰadp ℰ𝒱 ℰ𝒜 𝒢と𝒜をWidth方向に結合 … … 𝒢 𝒜 動画 … ←なぜ？ WANのアーキテクチャをそのまま 利用するため
8. Stage 2: 接続した潜在空間を拡散モデルで生成する 8 Predicted Noise … … 𝒢 𝒜 1-view to 3D テキスト・カメラ軌道 Diffusion Model (Initialized with WAN) … … 𝒢 𝒜 Noise … … 𝒢 𝒜 … … … 2-view to 3D Reconstruction Noisy Latent Clean Latent 実際には以下の二つを条件として与える ・条件部分以外をマスクしてVAEに入力した潜在 ・マスクを潜在の形状にダウンサンプリングしたもの 損失: MSE(予測ノイズ,GTノイズ)
9. 推論 9 … … 𝒢 𝒜 … … 𝒢 𝒜 Diffusion Model Reconstructed Features ෠ 𝒱 Adapter Decoder VGGT Decoder 𝒟adp 𝒟𝒱 深度マップ、点群マップ、カメラパラメータ 1-view to 3D … … … 2-view to 3D Reconstruction テキスト・カメラ軌道
10. Ablation • 2-Stage: WANで生成した動画をVGGTに入力 • KL損失は重要。これがないと2-Stageにも劣る。 10
11. Ablation • 2-Stage: WANで生成した動画をVGGTに入力 • KL損失は重要。これがないと2-Stageにも劣る。 11
12. Appearance Evaluation • 入力: GT動画に対応するカメラ軌道、条件画像 (1-view or 2-view) • 出力: 画像を与えてない部分のカメラに対応する生成フレームをGTと比較して評価 12
13. Appearance Evaluation 13 • 入力: GT動画に対応するカメラ軌道、条件画像 (2-view) • 出力: 画像を与えてない部分のカメラに対応する生成フレームをGTと比較して評価
14. Geometry Evaluation (Reconstruction) 14 • Ours (VAE only): Adapter学習後のVGGTで3D再構成した場合 • Acc: 各予測3D点に対する最近傍GT点との距離の平均 • Comp.:各GT点に対する最近傍予測3D点との距離の平均 • 数値的には、VGGTに比べてわずかに良くなった…?
15. Geometry Evaluation 15 • VAE (Ours): Adapter学習後のVGGTで3D再構成した場合 • 動画priorを使うことで深度の頑健性が上がったらしい
16. Geometry Evaluation (Generation) 16 • VGGT: 予測点群は「与えられた視点画像に対応する点群」だけ → 網羅率が低い • Ours: 予測点群は「他に生成されたフレームに対する点群」も含む → GTにない点群を含みがちだが、網羅率は高い
17. まとめ • モチベ: VGGTの3D再構成に動画生成モデルのPriorを活用したい • 方法: Step 1: VGGTのLatentをWANのLatentに近づけるためのAdapterを訓練 Step 2: 両方のLatentを生成する拡散モデルを訓練 • 結果: • first frame-to-3D, first-last frames-to-3D において 未知視点のレンダリング 品質、予測された点群の品質 の両方で優れた結果 • 3D再構成では数値的にはVGGTと同等の性能だが、よりロバストなGeometry生成 ができているっぽい • 所感 • VGGT側をもう少し全体的に(Adapter以外も)再訓練したらどうだろう？ • 𝒢と𝒜の結合の仕方はまだまだ工夫できそう(チャネル方向結合など) 17