Difix3D+: Improving 3D Reconstructions with Single-Step Diffusion Models (CVPR2025 Best Paper Award Candidate)

- NeRFや3DGSにおける極端な視点からのレンダリングのアーティファクトを、単一ステップ拡散モデル「Difix」で除去するDifix3D+を提案
- Difixは、3D再構成時にアーティファクト付きのビューをクリーンアップして品質を向上させ、推論時にはリアルタイムでアーティファクトを除去
- NeRFと3DGSの両方に対応し、既存手法よりFIDスコアを平均2倍改善しつつ3Dの一貫性を維持

Transcript

1. Difix3D+: Improving 3D Reconstructions with Single-Step Diffusion Models (Wu+, CVPR2025 Best Paper Award Candidate) 2025/06/29 東京大学 大隣 嵩 * 特に注釈がなければ図表は論文から引用しています
2. 概要 What: Single-Step拡散モデルを用いて、NeRFや3DGSといった3D再構成技術の アーティファクトを除去・高品質化するパイプライン「DIFIX3D+」を提案 Why: 既存の3D再構成技術では、学習時から離れた視点でアーティファクトが発生する How: レンダリング画像のアーティファクトを修正する拡散モデル「DIFIX」を、 NeRF・3DGSの最適化とレンダリングの後処理に活用することで品質を向上 拡散モデルによるアーティファクトの修正 2 アーティファクトのないNeRF・3DGS Nerfacto DIFIX3D+
3. Novel View Synthesisで起こるアーティファクト 3 学習不足・カメラ位置のずれ・画像枚数不足等の理由でアーティファクトが発生する NeRF (Nerfacto) 3DGS
4. 関連研究1: アーティファクト除去 4 GANやDiffusion Modelを用いてアーティファクトのない再構成を実現する ・Nerfbusters [Warburg+, ICCV2023] ・3D Diffusion Modelを用いた形状に関する知識を活用し、アーティファクトを除去 ・GANeRF [Roessle+, SIGGRAPH Asia 2023] ・Discriminatorを用いたNeRFへの本物らしい画像への誘導 ・Generatorを用いたレンダリング画像の修正 ・ 3DGS-Enhancer [Liu+, NeurIPS2024] ・Video Diffusion Modelを用いて、アーティファクト付きの画像列を修正
5. 関連研究2: Driving scene 5 CVPR2025ではDriving sceneのDiffusion Modelを活用した研究が複数提案 世界モデル（World Model）から、外挿視点を徐々に修正し、視点拡張 Shift 3m Shift 6m ReconDreamer [Ni+, CVPR2025] 元動画
6. DIFIX3D+: アーキテクチャ 6 DIFIX: 3Dモデルが生成した、アーティファクト付きの画像を高品質な画像に修正 DIFIX3D: DIFIXで修正した画像を新たな学習画像として、3Dモデルを更新 DIFIX3D+: 学習後の3Dモデルによる最終的な出力画像をDIFIXにより修正
7. DIFIX: アーティファクト付きの画像を修正する画像生成モデル 7 入力: 3Dモデルから合成したアーティファクト付きの画像 参照用の学習画像（修正したい画像の視点から最も近い視点） 出力: アーティファクトが除去された画像 モデル: 高速なシングルステップ拡散モデル「SD-Turbo」（A100 GPUで86ms）
8. 拡散モデルにおけるノイズ除去をアーティファクト除去に置き換える → ノイズレベル低めが良さそう（実験ではτ=200を採用） DIFIX:どのようにしてアーティファクトを除去する？ 8 ノイズ 少 多
9. DIFIX:どのようなデータで拡散モデルを追加学習する？ 9 NeRF:3DGS=1:1 で4つの方法からアーティファクト付き画像を作成 Cycle Reconstruction カメラ位置をずらした再構成 Sparse Reconstruction 画像枚数を減らした再構成 Cross Reference 一部のカメラからの再構成 Model Underfitting ステップ数を減らした再構成
10. DIFIX:どのようなデータでどのように学習する？ 10 Dataset DL3DV [Ling+, CVPR2024]: 80,000ペア（112シーン） Internal RDS (Real driving scene): 100,000ペア（40シーン） Loss 知覚損失とStyle損失で、人間にとって違和感のないリアルな質感のある画像を生成 L2誤差 LPIPS （知覚損失） Gram （Style損失） 画像特徴量
11. DIFIX: Ablation study 11 ・Gramロス（スタイル損失）は必要 ・参照画像によるヒントは必要 ・ノイズレベルは200（低め）が良い
12. DIFIX3D: DIFIXを用いた3Dモデルの更新 12 ・DIFIXでアーティファクトを修正した画像を学習用画像として再構成に取り込む ・段階的に視点を移動することで、安定して、未知領域を高品質に再構成する 3D再構成学習の流れ 1. 既存の学習データで3Dモデルを学習する 2. 1,500ステップごとに、オリジナルのカメラ視点を目標の視点に向かって 少しだけ動かし、その視点から画像をレンダリングする 3. その画像をDIFIXで修正する 4. 綺麗になった画像を新しい学習データとして追加し、学習を行う 5. 2. 〜 4. を繰り返す
13. DIFIX3D+: DIFIXを用いた後処理フィルタ 13 生成画像の視点間不整合により、再構成後にアーティファクトが発生する → DIFIXを後処理フィルタとして使う 空間的な一貫性が崩れないか？ → 論文上では崩れないと書いている → 大きく崩れている場合は失敗しそう マルチビュー一貫性に関する評価
14. 実験: Ablation study 14 DIFIX3D+が最終的な精度向上に寄与している (a) DIFIX (b) 1回だけDIFIX適用して更新 (c) DIFIX3D (d) DIFIX3D+
15. 実験: 既存手法との比較 15 ・アーティファクトが発生しやすいデータセットにおいてSOTA ・NeRF・3DGSの両方で改善
16. 実験: 既存手法との比較: DL3DV dataset 16 Nerfacto [Tancik+, SIGGRAPH2023] DIFIX3D+ Nerfbusters [Warburg+, ICCV2023] DIFIX3D+ GANeRF [Roessle+, SIGGRAPH Asia 2023] DIFIX3D+ NeRFLiX [Zhou+, CVPR2023] DIFIX3D+
17. 実験: 既存手法との比較: Driving scenes 17 3台のカメラの内、前方カメラから、前方左右にあるカメラ視点を予測 前方左カメラ 6m シフト Nerfacto DIFIX3D+ Nerfacto DIFIX3D+
18. Limitation and Future Work 18 ・あまりに失敗しているとアーティファクトの修正ができない → より最新の拡散モデルが持つプライアを活用する ・拡散モデルは速度を優先したため、精度の面で改善の余地がある → 動画拡散モデルにより連続した視点間での一貫性を向上させる
19. まとめ 19 背景 NeRF・3DGSでは、入力画像が少ない領域や未知視点でアーティファクトが発生する 手法 DIFIX: レンダリング画像のアーティファクトを補正するSingle-Step Diffusion Model DIFIX3D: 3Dモデルの学習中にDIFIXで補正した画像を追加学習画像として利用する DIFIX3D+: 推論時にも後処理としてDIFIXを適用しアーティファクトを除去する 結果 NeRF・3DGSの両方で、PSNR、SSIM、LPIPS、FIDを改善 定性的にも、アーティファクト除去できることを確認 所感 動的シーンに拡張できたら嬉しい（動的シーン特有のアーティファクトはある？） 高速なため、学習の追加コストが小さいのは嬉しい