FreeVS: Generative View Synthesis on Free Driving Trajectory

Keio University Aoki Lab's Paper Reading on January 22, 2025

Transcript

1. FreeVS: Generative View Synthesis on Free Driving Trajectory Qitai Wang et al. (ICLR’25) Presenter: Keio Univ. M1 Kazuki Ozeki
2. 2 トピック 1. ⾃動運転実現に向けたシミュレータとは︖ 2. FreeVS は何が新しい・すごい︖ 3. ⾃動運転のためのシミュレータの今後
3. 3 ⾃動運転のためのシミュレータ ⾃律システムの安全性を様々な状況下で検証可能 例１）Actor Manipulation UniSim: A Neural Closed-Loop Sensor Simulator (CVPR’23) Original Video Rendered Video
4. 4 ⾃動運転のためのシミュレータ ⾃律システムの安全性を様々な状況下で検証可能 例２）Actor Removal UniSim: A Neural Closed-Loop Sensor Simulator (CVPR’23) Original Video Rendered Video
5. 5 ⾃動運転のためのシミュレータ ⾃律システムの安全性を様々な状況下で検証可能 例３）Vehicle Manipulation UniSim: A Neural Closed-Loop Sensor Simulator (CVPR’23) Rendered Video
6. 6 シミュレータ実現⽅法 最近は３次元再構成ベースの⼿法が主流 GaussianPro: 3D Gaussian Splatting with Progressive Propagation (ICML'24)
7. 7 既存シミュレータの問題点 著しく視点を変えると⾒た⽬が崩壊 例）PVG (arXiv’24) のレンダリング結果 FreeSim: Toward Free-viewpoint Camera Simulation in Driving Scenes (arXiv’24) Original viewpoint 3-meter right +3 m
8. 8 再構成⼿法の限界 全空間を再構成するにはカメラが極端にスパース VEGS: View Extrapolation of Urban Scenes in 3D Gaussian Splatting using Learned Priors (ECCV’24)
9. 9 本研究の概要 • 初めて⽣成モデルベースの⼿法を提案 • 顕著な視点変化に頑健な画像⽣成を達成 Original Video Novel Views
10. 10 ⽣成モデル • 本研究では拡散モデルを使⽤ • モデルは “denoise” を学習し，ノイズから画像を⽣成 Diffusion Models: A Comprehensive Survey of Methods and Applications (arXiv’24)
11. 11 条件付け拡散モデル 拡散モデルは容易に条件付け⽣成が可能 例）テキスト 𝐲 による条件付け Denoising Diffusion Probabilistic Models (NeurIPS’20) 𝑝! 𝐱"#$ |𝐱" , 𝐲 𝑝! : パラメータ 𝜃 のモデルで推定された確率分布 本研究︓LiDAR 点群を投影した擬似画像による条件付け
12. 12 提案パイプライン LiDAR 点群を投影した擬似画像で条件付けした拡散モデル （学習済み Stable Video Diffusion を finetuning）
13. 13 LiDAR 点群を投影した擬似画像 １つの条件付けで以下３つの制約を同時に追加︓ • 幾何 • ⾊（⼀致する他視点の画像ピクセルから取得） • カメラポーズ（ポーズ embedding など不要） → パイプラインがシンプル︕
14. 14 提案ベンチマーク ⼿法の有効性を適切に評価 従来︓Novel Frame 提案︓Novel Camera
15. 15 性能評価 データセット • Waymo Open Dataset（5 カメラ＋1 LiDAR，798 シーン） 評価指標（GT 画像との整合性） • PSNR（ピクセルレベル） • SSIM（パッチレベル） • LPIPS（特徴量レベル） Waymo Open Dataset (CVPR’20)
16. 16 定量評価 提案ベンチマークで再構成ベースの⼿法より⾼精度 従来ベンチマークでも SOTA を達成（FPS は不⼗分）
17. 17 定性評価 再構成ベースの⼿法より視点変化に圧倒的に頑健 Original Video Novel Views
18. 18 定性評価 よく⾒ると hallucination あり（既存⼿法よりはイケてる）
19. 19 最近の arXiv ⽣成モデルベースの⼿法が台頭 • FreeVS (2024/10/23) • FreeSim (2024/12/4)︓FreeVS + 再構成（同著者ら） • EUVS (2024/12/10)︓新ベンチマーク • Stag-1 (2024/12/11)︓⽣成モデルベースの別アプローチ • StreetCrafter (2024/12/17)︓FreeVS と全く同じアイデア • STORM (2024/12/31): Feed-forward 再構成
20. 20 EUVS (arXiv’24) Extrapolated View を評価するための新ベンチマーク Extrapolated Urban View Synthesis Benchmark (arXiv’24)
21. 21 まとめ シミュレータで⾃動運転の安全性を検証 FreeVS は初の⽣成モデルベースの⼿法で視点変化に頑健 今後は… • ⽣成モデル × 再構成 （Hallucination 除去，リアルタイムレンダリング） • Extrapolated なシミュレーション実現へ