Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Difix3D+: Improving 3D Reconstructions with Sin...

Difix3D+: Improving 3D Reconstructions with Single-Step Diffusion Models (CVPR2025 Best Paper Award Candidate)

- NeRFや3DGSにおける極端な視点からのレンダリングのアーティファクトを、単一ステップ拡散モデル「Difix」で除去するDifix3D+を提案
- Difixは、3D再構成時にアーティファクト付きのビューをクリーンアップして品質を向上させ、推論時にはリアルタイムでアーティファクトを除去
- NeRFと3DGSの両方に対応し、既存手法よりFIDスコアを平均2倍改善しつつ3Dの一貫性を維持

Avatar for Spatial AI Network

Spatial AI Network

July 09, 2025
Tweet

More Decks by Spatial AI Network

Other Decks in Technology

Transcript

  1. Difix3D+: Improving 3D Reconstructions with Single-Step Diffusion Models (Wu+, CVPR2025

    Best Paper Award Candidate) 2025/06/29 東京大学 大隣 嵩 * 特に注釈がなければ図表は論文から引用しています
  2. 関連研究1: アーティファクト除去 4 GANやDiffusion Modelを用いてアーティファクトのない再構成を実現する ・Nerfbusters [Warburg+, ICCV2023] ・3D Diffusion

    Modelを用いた形状に関する知識を活用し、アーティファクトを除去 ・GANeRF [Roessle+, SIGGRAPH Asia 2023] ・Discriminatorを用いたNeRFへの本物らしい画像への誘導 ・Generatorを用いたレンダリング画像の修正 ・ 3DGS-Enhancer [Liu+, NeurIPS2024] ・Video Diffusion Modelを用いて、アーティファクト付きの画像列を修正
  3. DIFIX:どのようなデータでどのように学習する? 10 Dataset DL3DV [Ling+, CVPR2024]: 80,000ペア(112シーン) Internal RDS (Real

    driving scene): 100,000ペア(40シーン) Loss 知覚損失とStyle損失で、人間にとって違和感のないリアルな質感のある画像を生成 L2誤差 LPIPS (知覚損失) Gram (Style損失) 画像特徴量
  4. 実験: 既存手法との比較: DL3DV dataset 16 Nerfacto [Tancik+, SIGGRAPH2023] DIFIX3D+ Nerfbusters

    [Warburg+, ICCV2023] DIFIX3D+ GANeRF [Roessle+, SIGGRAPH Asia 2023] DIFIX3D+ NeRFLiX [Zhou+, CVPR2023] DIFIX3D+
  5. まとめ 19 背景 NeRF・3DGSでは、入力画像が少ない領域や未知視点でアーティファクトが発生する 手法 DIFIX: レンダリング画像のアーティファクトを補正するSingle-Step Diffusion Model DIFIX3D:

    3Dモデルの学習中にDIFIXで補正した画像を追加学習画像として利用する DIFIX3D+: 推論時にも後処理としてDIFIXを適用しアーティファクトを除去する 結果 NeRF・3DGSの両方で、PSNR、SSIM、LPIPS、FIDを改善 定性的にも、アーティファクト除去できることを確認 所感 動的シーンに拡張できたら嬉しい(動的シーン特有のアーティファクトはある?) 高速なため、学習の追加コストが小さいのは嬉しい