Closed-Loop で実現するデータ中心の自動運転モデル / Data-Centric Autonomous Driving Models with Closed Loop

Transcript

1. Closed-Loop で実現する データ中心の 自動運転モデル モデル中心からデータ中心へのパラダイムシフトと、7段 階のフィードバックループ プレゼンテーション 自動運転開発におけるデータ中心・Closed-Loop な改善サイクルの実装ガイド
2. モデル中心アプローチの限界と、性能向上を阻む「ロングテール問題」 なぜ従来のアーキテクチャ工夫だけでは限界に達したのか 性能向上のマージン縮小 従来のモデル中心アプローチでは、アーキテクチャの工夫による性能向上のマージン が徐々に縮小。多くの企業・研究機関が似た設計パターンに収束しつつあります。 性能上限への接近 一定のベンチマークや社内シナリオにおいて、「これ以上大きくは改善しづらい水 準」に達しつつあるという認識が広がっています。 ロングテール問題 頻出シーンでは高精度が達成できる一方で、希少な危険シナリオ（ロングテール） での挙動検証・改善が不十分なまま残存。安全性上のリスクになります。 汎化性能のギャップ 既存の静的データセットは地域・気象条件に偏りがあり、新しい地域や運転文化へ の汎化性能が不十分。データセット間の分布差を埋められません。 重要な洞察 「モデルをいじる」だけで得られる性能向上のマージンは限界に達し、ブレイクスル ーには「データ」に関する技術革新が不可欠です。
3. データ中心進化の三要素：Big Data System・Data Mining・Closed-Loop Technologies ① Big Data System フリートから流入する膨大なセンサログを保存・インデックス・検索するためのデータレイク／分散ス トレージ／メタデータ管理／ストリーム処理基盤。Closed-Loop データエンジンのインフラ層として、 必要なシーンを必要なタイミングで取り出せる状態を作る。 ② Data Mining Big Data 上で希少事象探索、分布カバレッジ分析、シーンクラスタリング、クレンジング、難例の自動 抽出を行う。ヒューマンレビューとアルゴリズムを組み合わせ、「次にラベリング・学習すべきデータ 」を決定する。 ③ Closed-Loop Technologies 実運用ログ→マイニング→ラベリング→再学習→シミュレーション→ロールアウト→ログ収集のループ を自動化・半自動化するための技術群。オンラインモニタリング、シャドーモード評価、シナリオ生成 などを含む。 パラダイムシフト データは固定された静的資産ではなく、時間とともに成長・変化する動的資産として扱う。
4. 7段階Closed-Loopデータエンジンの全体像 I データ収集 ODD定義、フリート設計、センサー構成、オンボードロギング、トリガ設計 II データ保存・インジェスト アップロード、ストレージ、メタデータ管理、インデックス構築 III データ選択・前処理 ロングテール抽出、バランシング、フィルタリング、サンプリング IV データラベリング 人手アノテーション、オートラベリング、品質管理 V モデル学習・オフライン評価 トレーニングパイプライン、実験管理、リグレッションテスト VI シミュレーション/テスト検証 シナリオベーステスト、ログリプレイ、Closed-Loop SiL VII 実世界展開・フィードバック OTA配信、オンラインモニタリング、DataOpsへのフィードバック https://arxiv.org/abs/2401.12888
5. FOT 車両 量産車両 データ収集 DataOps モデル学習 モデル評価 デプロイ GPU Cluster データセット シーン検索 モデル 評価・シミュレーション モデル管理 デプロイ フリート計測戦略 ODD設計 センサーの選択 カメラ/LiDAR/GNSS キャリビュレーション エッジトリガー構成 記録開始条件 周波数・サンプリング フォーマットの標準化 ROS / WebDataset バイナリとメタデータ分離 センサー間の時刻同期 タイムスタンプ整合 簡易ビューア ⾛⾏結果の表⽰ アップロード経路選択 専⽤線/デバイス/SIM VLMでのラベリング 環境タクソノミ シナリオマイニング フォーマット変換 サンプリング 匿名化 顔・ナンバー消し クレンジング データ品質ゲート アクティブラーニング 不確実・希少 カバレッジギャップ データガバナンス データセットスライシング ⽣成モデルでの ⾛⾏シーン⽣成 シーン検索画⾯ ⾃然⾔語 / ラベル ガバナンス スケジューリング オーケストレーション ジョブキュー/ワークフロー 分散学習の効率化 GPU故障/チェックポイント 実験管理 データセット/パラメータ Closed Loop SiL シナリオDB,⼲渉アクター 量⼦化 枝刈り 軽量化・省電⼒化 世界モデル評価 テストシナリオ管理 クラウド上の仮想ECU を⽤いて HiL コンパイル後評価 専⽤チップ向け グラフコンパイル セーフティケース管理 ISO 26262 SOTIF 準拠の証跡 レポートの作成 モデル管理 リグレッションテスト OTA での配信 VINでのリリース管理 CI/CD による実⾞両 リリースの⾃動化 DataOps への フィードバックサイクル
6. ステージI・II：データ収集とインジェストの設計 ステージI：データ収集 ODD定義：運用設計領域とユースケースの明確化 フリート計測戦略：車両ロール設計と計測対象の決定 センサー構成：Camera/LiDAR/Radar/GNSS/IMU等の選定と配置 キャリブレーション：センサー間の幾何学的関係と品質管理 ログフォーマット：車載データ収集ソフトウェアスタック設計 エッジトリガー：記録開始条件とサンプリング設計による効率化 ▸ ▸ ▸ ▸ ▸ ▸ ステージII：データ保存・インジェスト アップロード経路：専用線/SIM/オフラインデバイスの選択 インジェストパイプライン：クラウド上のデータ取り込み処理 時刻同期：センサー間のタイムスタンプ整合 データ正規化：フォーマット統一と標準化 ストレージ階層：ホット/ウォーム/コールド層の設計 メタデータ管理：データレイク/DB設計とカタログ化 ▸ ▸ ▸ ▸ ▸ ▸
7. ステージIII・IV：データ選択とラベリングの効率化 ステージIII：データ選択・前処理 タスク指向のデータ要件定義 タスクと指標からデータ要件を定義 データクレンジングと品質ゲート アクティブラーニング シーン検索UIと自然言語検索 カバレッジギャップの把握 難例（hard case）の優先的抽出 ステージIV：データラベリング ラベリングポリシーの体系化 定義書の作成とワークフロー設計 アノテーションツールの選定 オートラベリングの活用 VLM/Foundation Modelによる自動化 シナリオマイニングと環境タクソノミ 半自動ラベリング・AIアシスト 品質管理 ダブルアノテーションとレビュー 品質メトリクスの監視
8. ステージV：モデル学習と実験管理の体系化 実験管理 データセット、ハイパーパラメータ、結果のメタデータを体系的に管理。再現性と効率性を両立させるための基盤。 トレーニングパイプライン設計 データセットの前処理、モデルアーキテクチャの選定、学習戦略とトレーニングテクニックの統合。 分散学習とGPUクラスター 大規模データセットの効率的な学習を実現。複数GPU間の同期、通信最適化、スケーラビリティの確保。 モデル軽量化・省電力化 量子化、プルーニング、知識蒸留などの技術により、エッジデバイスや専用チップ向けに最適化。 オフライン評価とリグレッション データセットレベルでの品質保証。各データセグメント（天候、時間帯、地域など）ごとの詳細な評価指標。
9. ステージⅥ 仮想環境で安全性を検証するClosed-Loopシミュレーションとテスト 評価・シミュレーション・実車テストの関係 効率的な検証のための役割分担。オフライン指標では見えないClosed-Loopの挙動を、仮想環境で検証する段階です。 シナリオベーステスト シナリオDBとテストシナリオ管理によるカバレッジ設計。実運用で観測された問題シーンを体系的に検証します。 ログリプレイ 実運用で検出された問題シーンをシミュレータに取り込み、条件を微妙に変えた多数のバリエーションを生成して検証し ます。 Closed-Loop SiL (Software-in-the-Loop) クラウド上の仮想ECUを用いた評価。コンパイル後評価と組み合わせて、実装レベルでの動作検証を実現します。 世界モデル評価と合成データ シーン再現性の検証と、生成モデルによる合成データ活用で、実世界ではカバーしきれないロングテールシーンを補完し ます。
10. ステージVII：実世界展開と継続的フィードバック モデル管理とリリースゲート リグレッションテストと実車向けCI/CDパイプライン。新しいモデルをロールアウトする際、どのステージでどの指標を確 認し、誰が最終的なリリース判断の責任を負うかを明確化します。 OTA配信とVINベースのリリース管理 Over-The-Air（OTA）による段階的なロールアウト戦略。VINベースでの細粒度なリリース管理により、問題発生時の影響 を限定します。 実運用モニタリング 異常検知とオンラインでの挙動監視。フィールドからのインシデント・ヒヤリハット収集により、実世界での問題を早期 に検出します。 DataOpsへのフィードバック 実運用で検出された失敗ケースやnear-missを自動的に抽出し、次の学習ループに取り込む。Closed-Loopの完成です。 セーフティケース管理とコンプライアンス ISO 26262/SOTIF準拠の証跡管理。モデルロールバック・フェイルセーフ戦略と組織・プロセスの整備。
11. Closed-Loop データエンジンが実現する スケーラブルな自動運転 ① 性能向上を超えた価値 データ中心モデルは、モデルの性能向上だけでなく、安全性と説明責任を支える基盤です。データの質・量・多様性と、フィードバックループ全体の 設計が、システムの信頼性を決定します。 ② 継続的な適応と進化 7段階のClosed-Loopを設計・運用することで、継続的に現実世界の分布変化に追従可能なシステムを実現。新しい地域、新しい運転文化、新しい気象条 件への対応が、自動的に組み込まれます。 ③ 組織的な安全文化 データ収集、ラベリング、学習、シミュレーション、運用など、Closed-Loopに関わるすべてのステークホルダーが、安全目標と責任範囲を共有するこ とが重要です。多層的な検証が安全性を支えます。 結論 データとフィードバックループの設計こそが、今後の自動運転開発の競争力を左右するコア能力となります。個々のモデルやアルゴリズムの工夫も もちろん重要ですが、それらを支えるデータ・インフラ・マイニング・Closed-Loopの設計こそが、安全で信頼できる自動運転システムの実現を可能 にします。
12. 自動運転 AI 開発での横断的な考え方をまとめた書籍を執筆しました。 https://zenn.dev/riita10069/books/ad-adas-closed-loop https://riita10069.booth.pm/items/7670553 Closed-Loop で実現する データ中心の 自動運転モデル