GaussianGPT: Towards Autoregressive 3D Gaussian Scene Generation

3DGSをコンパクトな離散トークン列に変換し、自己回帰型Transformerで物体や屋内シーンを生成する「GaussianGPT」を提案。次のトークンを逐次予測することで、シーンの新規生成に加え、既存空間を条件とする補完や拡張（outpainting）を同一のモデルで実現する。物体・シーン生成の定量評価と補完・拡張の実験を通じて、3DGS生成における自己回帰型アプローチの有効性を示している。

Transcript

1. 2026/09/08 Spatial AI 勉強会 GaussianGPT: Towards Autoregressive 3D Gaussian Scene Generation Nicolas von Lützow, Barbara Rössle, Katharina Schmid, and Matthias Nießner ECCV 2026 (Oral) 発表者: 橋本泰輔 (Preferred Networks)
2. GaussianGPT 概要 • • GPT-style Transformer で、3DGS シーンを自己回帰的に生成 生成・補完・拡張を、同じ次トークン予測の枠組みで扱う https://nicolasvonluetzow.github.io/GaussianGPT/static/videos/teaser_video.mp4 2
3. なぜこの論文を読むか • 3DGS 用に写真を撮影する際、物理的に撮影が難しい領域や撮影漏れが発生するこ とがあり、そこを生成できると嬉しい • LLM や動画生成で大きな成果を上げている自己回帰的なアプローチを3D分野に適用 することに興味があった • (著者が Matthias Nießner さんのチーム) 3
4. 背景 • 近年の3D生成では、拡散モデルやフローベースモデルが広く用いられている • これらは高品質な生成を実現する一方シーン全体を反復的に更新する方式が中心 • 実利用では、既知の領域を手がかりとした補完や段階的な拡張も求められる • 既知の空間を条件として、シーンの「続き」を少しずつ生成したい！ 4
5. 関連研究： L3DG Latent 3D Gaussian Diffusion [B.Roessle et al., SIGGRAPH Asia 2024] (同じ研究室) • 3DGS を疎なVQ-VAEで圧縮し、潜在空間で拡散生成 • GaussianGPTとの関係 ◦ 共通点：疎な Grid への圧縮 ◦ 違い：潜在拡散から、離散トークンの自己回帰生成へ 5
6. 手法 - Overview • Stage1: 3D Gaussian Compression • Stage2: Autoregressive Generation 6
7. 手法 - Overview • Stage1: 3D Gaussian Compression • Stage2: Autoregressive Generation 7
8. 手法 - Stage1: 3D Gaussian Compression • Encoder ◦ ◦ ◦ Gaussian を位置に基づいてボクセルへ割り当て ボクセル内の Gaussian のパラメータ (色, 透過度, サイズなど) から特徴を抽出 Sparse 3D CNN で空間的に圧縮た潜在ボクセルに ▪ 既存研究 L3DG に準拠 ▪ 入力ボクセル: 2.5cm → 3段階の圧縮 → 潜在ボクセル: 約20cm 8
9. 手法 - Stage1: 3D Gaussian Compression • LFQ (Lookup-Free Quantization) で潜在特徴を離散化 ◦ 各成分の符号をビットに対応づけ、コードIDを得る [-0.6, +0.2, +1.1, -0.3] → [0, 1, 1, 0] → ID 6 ◦ ▪ 4次元の模式例。符号判定により、最近傍コードの探索が不要 ▪ 実験では4,096通りのコードを使用。entropy項でコードの利用を促す L3DG とは異なる離散化方法 9
10. 手法 - Stage1: 3D Gaussian Compression • Decorder ◦ ◦ Sparse 3D CNN でボクセルレベルの特徴量にアップサンプリング ▪ 既存研究 L3DG に準拠 各ボクセルの特徴量から Gaussian シーンを再構成 10
11. 手法 - Overview • Stage1: 3D Gaussian Compression • Stage2: Autoregressive Generation 11
12. 手法 - Stage2: Autoregressive Generation • 1次元トークン列へのシリアル化 ◦ ◦ xyzの走査順序を用いて3D構造を1次元シーケンスに変換 各ボクセルの位置と特徴を交互に配置 12
13. 手法 - Stage2: Autoregressive Generation • GPT による次のトークンの予測 ◦ ◦ シーン全体ではなくチャンク単位で予測することで必要なコンテキストサイズを制限 共通のバックボーンを用いるが、位置と特徴は別のHead を切り替えて処理 ▪ 位置 Head：次の占有ボクセルのインデックスを予測 ▪ 特徴 Head：その位置における特徴を予測 ▪ この構造により空間的特徴と意味的特徴の競合を防止することが可能 13
14. 手法 - Stage2: Autoregressive Generation • 3D RoPE (3D Rotary Positional Encoding) ◦ ◦ ◦ GPT では標準的に1次元インデックスに沿って位置情報が注入されるが、 今回は xyz の走査順序で1次元化しているため、3D空間での近さが保証されない そこで実際のボクセル座標を 3D RoPE により符号化する 相対的な位置関係を attention に反映 14
15. 手法 - Stage2: Autoregressive Generation • 学習 ◦ • 正解系列を条件に、次トークンの交差エントロピーを最小化 推論 ◦ ◦ ◦ 生成：開始トークン (BOS) を起点として、位置・特徴トークンを交互に予測 補完：既知の潜在トークンを入力として、続きを予測 拡張：既存領域の局所文脈を入力として、窓の位置をずらして補完を反復 ※ 生成・補完はEOSまで。拡張は局所窓の生成を繰り返して指定範囲へ 15
16. 実験 - Overview • 物体・合成シーンで学習・評価し、実スキャンへの適応も検証 16
17. 実験 - 椅子の生成 • 定性評価 17
18. 実験 - 椅子の生成 • 定量評価：FID・KID・COVが改善、MMDは同程度 ◦ ◦ 見た目：レンダリング画像の分布をFID / KIDで評価 幾何：抽出メッシュ表面からサンプルした点のChamfer Distanceで評価 ▪ COVは多様性、MMDは幾何分布との近さを測る 18
19. 実験 - 屋内シーンの生成 • 定性評価：屋内レイアウトと見た目を持つシーンを生成 19
20. 実験 - 屋内シーンの補完 • 定性評価：x方向の先頭25%または50%を与えて補完 ◦ 図は25%条件。同じ入力から、多様な補完候補を生成できる 20
21. 実験 - 屋内シーンの生成・補完 • 定量評価 ◦ ◦ 生成：見た目・レイアウトは改善。幾何的な多様性にはトレードオフ 補完：既知領域が増えると幾何・整合性の指標も改善 ▪ CLIPは厳密な形状誤差ではない 21
22. 実験 - 屋内シーンの拡張 (outpainting) • 局所文脈を使う補完を繰り返し、12m × 12mのシーンへ拡張 22
23. 推論時間 • A100×1枚での推論時間 ◦ 100サンプルで平均と標準偏差を算出 ◦ ピークの GPU メモリも 23
24. リミテーション - 実データへの適用 • 課題 ◦ ◦ オートエンコーダの復元精度により、高周波ディテールの多くが失われる 現実世界のスキャンデータには欠損領域や未観測領域が含まれているが、 現在の処理パイプラインでは忠実にモデル化できない 24
25. まとめ 提案手法 • • 3DGSを圧縮・離散化し、位置と特徴のトークン列として表現 次トークン予測により、シーンの生成・補完・拡張を統一的に実現 有効性 • • L3DGと比較し、見た目・レイアウトの評価指標が改善 シーン補完では、幾何指標（MMD）も改善 課題 • • 逐次生成による計算コストと、広範囲への拡張に伴う品質低下 実スキャンにおける細部の再現性と、未観測領域の不確実性への対応 25
26. まとめ 感想 • • • • 結果の見た目が面白い 自己回帰的なアプローチはデータが増えれば性能が上がっていきそうなので期待 実スキャンの欠損領域や未観測領域にこそ使いたいので、未対応なのは残念 (3次元 → 1次元への変換それでいいのか...と毎度思うけどいい案がない) https://nicolasvonluetzow.github.io/GaussianGPT/static/videos/teaser_video.mp4 26