CV勉強会_sensor2sensor.pdf

Transcript

1. Sensor2Sensor Cross-Embodiment Sensor Conversion for Autonomous Driving 第67回 コンピュータビジョン勉強会＠関東（前編） 2026/7/18
2. Sensor2Sensor 1 ✓Waymo, Google Deep Mind, 名門大学(JHU)の共同研究 ( 1st AuthorはJHU-Waymoのインターン) ✓1台のドラレコ映像からコーナーケースを 含むセンサデータを生成する ✓流行りの手法の理解を深めると共に 業務/研究へのヒントになれば幸いです ✓Gaussian Splatting / Diffusion Model を活用しており技巧的 [1] Wang, Jiahao, et al. "Sensor2Sensor: Cross-Embodiment Sensor Conversion for Autonomous Driving." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2026. 特記していない説明や図は、Sensor2Sensor[1] から引用しています スライドのデザインに CVPR 2026のロゴ ( https://cv4aec.github.io/ ) を拝借しています
3. Agenda Abstract 1. Introduction 2. Related Works 3. Method 4. Experiment 5. Conclusion My Impression
4. Abstract 3
5. Abstract 4 ✓自動運転 (ADS) の学習や検証には、コーナーケースを含む大規模で多様なデータが必要 AVフリートのデータ 高品質だが沢山のデータがとれない ダッシュカム / インターネット データは沢山とれるがADSでは使えない ✓ダッシュカム映像から生成AIでマルチカメラ、LiDARを生成すればいい ペアとなる訓練データの用意が大変だが・・・ → マルチカメラ画像を4D Gaussian Splattingで再構成しダッシュカム画像を生成 ✓拡散モデルでマルチセンサデータを生成し、Sensor2Sensorが実用的であることを評価した
6. 1. Introduction 5
7. 1. Introduction (1/2) 6 [1] Chen, Li, et al. "End-to-end autonomous driving: Challenges and frontiers." IEEE (2024) [2] Gao, Yuan, et al. "Foundation models in autonomous driving: A survey on scenario generation and scenario analysis." IEEE Open Journal of Intelligent Transportation Systems (2026). ADSを実世界のあらゆるシナリオで検証することは極めてチャレンジング 異常な運転、飛び出し、悪天候等のロングテールシナリオを網羅して フリートによりデータ収集することは実質不可能である [1] 2つのアプローチが提案されてきた 1. ゼロからAIでデータ生成 新しくデータは作れるけど、非物理的なダイナミクスや センサー忠実度の低さのためADSの検証には不適切 2. Web動画やドラレコ活用 実世界のシナリオを活用できるのは良い[2] ただし、センサの忠実性や幾何学性を担保していないし LiDARもサポートしていない ロングテールシナリオの分布[1] ADS向けデータ生成のサーベイ [2]
8. 1. Introduction (2/2) 7 ✓豊富なシナリオと高品質なデータを用意したい 長所 短所 ダッシュカム Web動画 規模が大きく、ロング テールシナリオが豊富 ADSに使えない AVフリート データ 高品質・マルチモーダ ル シナリオを網羅する のが難しい ✓ダッシュカム、Web映像をもとに、 忠実なマルチセンサーデータを生成する 具体的にどうする？ マルチセンサデータを生成する条件付き 拡散モデルを設計した 訓練データは？ 4D Gaussian Splattingにより、マルチカメラ画像からダッシュカム画像をレンダリングした ✓ 評価によって膨大で多様な実世界の動画を、ADSの検証に活用できることを検証した Figure.1
9. 2. Related Works 8
10. 2. Related Works 9 生成AI系 (Diffusion Model) 4D再構成系 (Gaussian Splatting) [1] Niket Agarwal, Arslan Ali, Maciej Bala, Yogesh Balaji, Erik Barker, Tiffany Cai, Prithvijit Chattopadhyay, Yongxin Chen, Yin Cui, Yifan Ding, et al. Cosmos world foundation model platform for physical ai. arXiv preprint arXiv:2501.03575, 2025. 2 [2] Xie, Yichen, et al. "X-drive: Cross-modality consistent multi-sensor data synthesis for driving scenarios." International Conference on Learning Representations. Vol. 2025. 2025. https://www.nvidia.com/ja-jp/ai/cosmos/ NVIDIA COSMOS [1] ✓ 拡散生成AIを使って、シナリオ生成や将来予測、 Closed Loop Simulationを実施する ✓ マルチカメラやLiDARを生成するモデルも提案されてきている (X-Drive[2]等) ✓我々は別の車両でとったダッシュカム映像をADSへのセンサデータへ拡張する (Cross-Embodiment) ✓ GSの発展により4次元的に忠実な動的なシーンの生成や、 リアルな画像の生成が可能になってきた ✓これらの手法は、新規視点のカメラ画像を生成する強力なData-Machineとして機能する ✓我々は、時空間的に正しいダッシュカム映像をレンダリングし、 ペアとなる訓練データを生成することに活用する
11. 3. Method 10
12. 3. Method 11 3.1. Synthetic Sensor Simulation via 4DGS 3.2. Multi-modal Diffusion Model for Sensors 3.2.1. Multi-view Image Generation 3.2.2. LiDAR Generation 3.2.3. Cross-Sensor Attention Module 3.2.4. Third-party Camera Condition 3.3. Auto-regressive Video Generation 3つのセクションで説明する 3.1 4DGSを使ったデータ合成 3.2 マルチモーダル拡散モデル 3.3 自己回帰モデル
13. 3.1 Synthetic Sensor Simulation via 4DGS 12 ✓ダッシュカム映像の生成のために、剛体移動物体(車)や非剛体(歩行者)をサポートする Gaussian Splattingを使い４次元再構成を行った ✓LiDARも空間情報の初期化に活用した https://www.researchgate.net/figure/a-Pinhole-camera-model-b-Fisheye-camera- model_fig3_280489395 ✓魚眼レンズをサポートするために レイトレーシングのレンダリングを採用した 魚眼レンズモデル ピンホールモデル ✓ダッシュカムの外部パラメータ (取付位置) 内部パラメータ (画角、レンズ歪)をもとに、 ダッシュカム相当の映像を出力し、 リアルセンサデータとのペアデータセットを生成した ( データセットの量は10秒 x 10万シーン程度 = ~278時間) Figure 2
14. 3.2 Multi-modal Diffusion Model for Sensors (1/5) - Figure3 - 13 LiDARはRange Imageとし て扱い画像と同等にUnet に入れる 1枚目の入力 : ダッシュカムのみ 2枚目以降の入力 : ダッシュカムと 前回のセンサデータ 訓練時 : レンダリングデータ 推論時 : リアルダッシュカム マルチカメラやカメラ-LiDAR間でアテンションを行う Figure. 3 マルチモーダルで生成
15. 3.2 Multi-modal Diffusion Model for Sensors (2/5) - Multi-view Image Generation – 14 ✓一貫性を持ったマルチカメラ映像を生成するために、拡散モデルの２次元アテンションモジュールを カメラ数の次元を持った3次元モジュールに拡張した ✓カメラパラメータを条件として追加する Cat3d [1] のRaymapを取り入れた Raymap [1]の概要 カメラ原点とピクセル毎の空間的に 向かう方向をコンディションとして 埋め込んでいる [1] Ruiqi Gao, Aleksander Holynski, Philipp Henzler, ArthurBrussee, Ricardo Martin-Brualla, Pratul Srinivasan,Jonathan T Barron, and Ben Poole. Cat3d: Create anythingin 3d with multi-view diffusion models. In NeurIPS, 2024.4, 5, 1
16. 3.2 Multi-modal Diffusion Model for Sensors (3/5) - LiDAR Generation - 15 ✓2D生成モデルを活用すべく、LiDARをRange Image(range-view spin images)として活用する ピクセルの情報 Range Image 仰角 方位角 1. 距離 : range (最大 150m) 2. 反射強度 : intensity 3. パルス幅の伸び : elongation 4. 有効点 : validity ✓ Range Imageを入力し出力できるよう、Unetのアーキテクチャも変更した
17. 3.2 Multi-modal Diffusion Model for Sensors (4/5) - Cross-Sensor Attention Module - 16 ✓マルチカメラ-LiDAR 間でAttentionをとるために、特徴量を連結 ブロックiの統合されたテンソル 𝐾𝐶 ブロックiのカメラ解像度 x カメラ数 𝐾L ブロックiのLiDAR解像度 𝑑𝑖 ブロックiの特徴の次元数
18. 3.2 Multi-modal Diffusion Model for Sensors (5/5) - Third-party Camera Condition - 17 ✓ダッシュカムを9番目 (N + 1) のカメラとして、拡散モデルで処理する ✓マルチカメラと同様にraymapも計算する ✓拡散モデルのノイズ除去は行わないので、バイナリ条件マスクと結合し、 他のカメラと区別する ✓損失も計算しない
19. 3.3 Auto-regressive Video Generation 18 ✓時刻tのダッシュカムの画像、時刻t-1のカメラ画像とLiDAR点群を元に、 時刻tのカメラ画像とLiDAR点群を推論する https://shuijing725.github.io/files/20190926_DAgger.pdf DAggerのモチベーション Ground Truthの入力からGTを推論する学習だけだと、 GTから外れた時に元の高品質なデータに復帰できない → 推論した結果をもとに、GTの高品質なデータに 復帰するように学習する ( 模倣学習のテクニック DAgger ) ✓GTを使った学習の後、GT 20％ , 推論結果 80％の割合で ファインチューニングした
20. 4. Experiment 19
21. 4.1. Experiment Settings 20 指標 性能軸 概要 FID（Fréchet Inception Distance） ⇩ 生成画像の分布が、GTの分布にどれだけ近いか PSNR（Peak Signal-to-Noise Ratio） ⇧ ピクセルレベルでGTとどれだけ合っているか SSIM（Structural Similarity Index） ⇧ コントラストや構造がGTとどれだけ近いか LPIPS（Learned Perceptual Image Patch Similarity） ⇩ 生成画像の特徴とGTの特徴がどれだけ近いか Human Eval ⇧ 人間の投票 FVD (Fréchet Video Distance) (論文では4.3で解説 ) ⇩ FIDの動画向け拡張版 ✓評価に以下の手法を用いた ✓新規手法のためベンチマークデータセットは存在しなく、2つの独自データセットを準備した ・1000シーケンスの固定カメラ/マルチカメラ/LiDARのペアデータセット ・in-the-wild Dataset (ダッシュカム、インターネット上の走行動画、スマホ録画)
22. 4.2. Multi-view Image Generation 21 Figure 4. Table 1. ✓ 画像生成タスクにおいてベンチマークを行ったところ他の手法を上回った VC : ダッシュカメラの連結 (View Concatenation) VGGT, π3 : 3次元再構成系の手法 X-Drive : 拡散AI系の手法 ✓ 再構成系(VGGT, π³)は未観測視点が 破綻しやすい ✓ 拡散AI系の他手法よりも一貫性が高い
23. 4.3. Video Generation 22 ✓動画生成タスクにおいても 他の手法よりも高い評価結果となった ✓長時間の動画を生成するために DAggerもVCも有効で あることを確認した Figure 5. Table 2.
24. 4.4. LiDAR Generation (1/2) 23 Figure 6. LiDAR点群の生成についても、比較手法に比べて、ノイズが少なく点群強度も正確である
25. 4.4. LiDAR Generation (2/2) 24 Figure 7. ✓ カメラ画像とLiDAR点群を一貫性をもって生成することができた Table 3 ✓ Ground truthとの点群距離 (Chamfer Distance) も 比較手法を上回った ✓ Figure7. を確認すると空間的に 整合性をもってデータが生成 できていることがわかる
26. 4.5. Generalization on in-the-wild driving data Figure 8. Table 4. ✓遭遇していないシーンに対しても、センサデータを生成し、 ロングテールシナリオの拡張ができることを示した ✓被験者に既存手法とのランクつけをしてもらい、 官能的に評価したところ既存手法を上回った
27. 4.6. Ablation Study 26 4.7. Downstream Tasks ✓ View Concatenation, DAgger共に性能向上に有効であることを検証した ✓ LiDAR物体認識、Semantic Segmentationなどの下流タスクに適用可能であることを検証した Figure 10. Figure 9. Table 5. Table 6.
28. 5. Conclusion 27
29. 5. Conclusion 28 ✓Sensor2Sensorは一般車の走行動画と、自動運転の複雑なマルチモーダルセンサスイートとの 車両/センサー構成（エンボディメント）のギャップを埋める新しい生成パラダイムである ✓モデルはカメラ画像とLiDAR点群を一貫して生成し、実世界で起きた事象に対応できる ✓大規模な走行動画をAV開発に開放することで、Safety CriticalなADSを 検証するためのデータ不足に対する、スケーラブルな解決策を提供する ✓ 次の研究では、スケーラビリティの向上と、 より多くのセンサーへの対応と、 よりスケーラブルな評価プロトコル に取り組む ( Future work will explore improved scalability, generalization to more sensors, and a more scalable evaluation protocol)
30. My Impression 29
31. My Impression - Positive - 30 ✓ダッシュカム映像を実データに基づいて生成するというアイディアがすごい！ →ペアとなる訓練データをアノテーション無で準備できるので、 スケールするパイプラインだと感じる ✓ DAgger, raymap, 魚眼レンズモデル対応などの細かいテクニックも非常に勉強になる ✓ 実験が手厚い → ベンチマークデータセットがないから走行データから作成する手の込みよう → 定量的評価、テスターによる官能評価、Ablation、下流タスクなど隙がない ✓ゼロショットの生成AIでなく、実際に起きた実走行データをもとに マルチモーダルセンサデータを生成するパイプラインを作ったという事実は、 自動運転の発展に大きく寄与できると感じる
32. My Impression - Neutral - 31 ✓自車の側方、後方のデータの条件が気になる。 → 遭遇する類似するシーンから生成しているだけで、事故原因と相関がない → 360度カメラの適用研究をやってみたい。 → または、事故時刻からの過去への推論を行うと事象に対しての予兆が再現できるかも ✓再現のハードルが高い。 → 訓練に128TPUの環境を使ったと記載 → ソースコードやモデルが公開されていない → 一方でNVIDIAがすぐに類似ツールセットを 提供するかも ✓LiDAR点群の形状が一貫していないように 感じられる場面がある ( Supplementalの動画参照) ✓ Future Workについて触れられていたので、 改良やOSS化に期待！ Supplemental Materialより
33. Thank you for your attention 32