DRIVE CHART における OSS を活用した実践 AI 開発【DeNA TechCon 2023】

交通事故削減を支援する、次世代AIドラレコサービス「DRIVE CHART」では、 エッジやクラウド上で稼働する様々な種類の AI によって交通事故に繋がる可能性の高い危険運転を自動検知し、運転傾向を分析しています。

本セッションでは DRIVE CHART が OSS を活用しつつ、幅広い種類の AI の開発をどのように実践しているかをお話いたします。

資料内でのリンク集：
p20, https://mo-t.com/career/

◆ You Tube
https://youtu.be/RJAp60KYDfg

◆ DeNA TechCon 2023 公式サイト
https://techcon2023.dena.dev/

Transcript

1. DRIVE CHART における OSS を活 用した実践 AI 開発 株式会社Mobility Technologies スマートドライビング事業部システム開発部AI基盤グループ 石井 健太朗
2. Table of Contents 01｜Mobility Technologiesについて 2 02｜DRIVE CHARTについて 03｜DRIVE CHARTのAI開発の特徴 04｜OSSを活用したAI開発
3. Table of Contents 01｜Mobility Technologiesについて 3 02｜DRIVE CHARTについて 03｜DRIVE CHARTのAI開発の特徴 04｜OSSを活用したAI開発
4. Moblility Technologiesについて 2020年 4月 JapanTaxi社とDeNAのMOV/DRIVE CHART事業などが統合し 株式会社Mobility Technologiesとして始動。 Mobility Technologiesは「移動で人を幸せに。」をミッションに、 日本のモビリティ産業をアップデートする様々なITサービスの提供を行っています。 4
5. タクシーアプリ『GO』 5
6. タクシーを起点に、より大きな課題の解決に向かう 6
7. 事業展開 7
8. Table of Contents 01｜Mobility Technologiesについて 8 02｜DRIVE CHARTについて 03｜DRIVE CHARTのAI機能の特徴 04｜OSSを活用したAI開発
9. DRIVE CHARTについて AIを搭載したドラレコによる事故防止支援サービス AIが様々な危険シーンを検知して、普段の運転行動を分析 9
10. DRIVE CHARTは危険シーンを抽出しWebでレポート確認 ▪ AIにより危険シーンを抽出 ▪ Webで簡単に該当シーンの動画を閲覧 ▪ 運転行動をレポート表示 10
11. 企業は社有車の事故を防止する必要がある ▪ 社員が社有車で事故を起こせば会社の責任 ▪ 企業は事故を起こさないための仕組みづくりが必要 ▪ やみくもに事故削減活動を行ってもキリがない ▪ すべての運転記録をチェックするのは現実的ではない ▪ 社員それぞれの事故のリスクを把握し効率・効果的な指導、改善が求められる ▪ 運転の癖を可視化し、社員ごとに指導内容をカスタマイズできる 11 https://drive-chart.com/magazines/mg_220131
12. 事故削減に向けたDRIVE CHARTの考え方 ▪ 「軽度のリスク運転行動」を徹底的に減らすことで「重度のリスク運転行動」が自ずと減り、最終的に「事故」が減 ることを想定 ▪ 「軽度のリスク運転行動」を駆逐するための改善を継続的に行うことで事故削減の実現を目指す 12 法令違反別交通事故割合（2019年） ハインリッヒの法則
13. DRIVE CHARTが提供する代表的な機能 ▪ 危険シーン検知 ▪ 脇見運転、車間距離不足、一時不停止、速度超過、急ハンドル、急加速、急減速、急後退 ▪ 日報・月報自動作成機能 ▪ 車両別 / ドライバー別の走行データをもとに日報 / 月報を生成 ▪ ライブマップ機能 ▪ 車両の位置、直近のリスク運転が発生した場所を地図上に描画 ▪ ヒヤリハット通知メール ▪ 危険度が高い項目の検出時には警報でドライバーに知らせ、管理者にもメール通知 13
14. Table of Contents 01｜Mobility Technologiesについて 14 02｜DRIVE CHARTについて 03｜DRIVE CHARTのAI開発の特徴 04｜OSSを活用したAI開発
15. DRIVE CHARTのAI 15 • エッジからクラウド上のサーバーまであらゆる環境・目的で動作する機械学習モデル • センサーデータやGPSデータ、動画など多様なデータを扱う イベント検出モデル 急加速 急減速 急ハンドル ⼀時不停⽌ 速度超過 ⾞間距離不⾜ 脇⾒ 急後退 検出結果 エッジデバイス クラウドサーバー データベースやS3 外カメ画像 検出結果 内カメ画像 深層学習 モデル センサー 加速度センサ、 ジャイロセンサ GPS 動画
16. DRIVE CHARTのAI 16 • エッジからクラウド上のサーバーまであらゆる環境・目的で動作する機械学習モデル • センサーデータやGPSデータ、動画など多様なデータを扱う イベント検出モデル 急加速 急減速 急ハンドル ⼀時不停⽌ 速度超過 ⾞間距離不⾜ 脇⾒ 急後退 検出結果 エッジデバイス クラウドサーバー データベースやS3 外カメ画像 検出結果 内カメ画像 深層学習 モデル センサー 加速度センサ、 ジャイロセンサ GPS 動画
17. DRIVE CHARTのAI 17 • エッジからクラウド上のサーバーまであらゆる環境・目的で動作する機械学習モデル • センサーデータやGPSデータ、動画など多様なデータを扱う イベント検出モデル 急加速 急減速 急ハンドル ⼀時不停⽌ 速度超過 ⾞間距離不⾜ 脇⾒ 急後退 検出結果 エッジデバイス クラウドサーバー データベースやS3 外カメ画像 検出結果 内カメ画像 深層学習 モデル センサー 加速度センサ、 ジャイロセンサ GPS 動画
18. エッジAIとは 18 クラウド上にある高性能サーバーと離れた場所に配置され、ネットワークで接続されている端末をエッジ端末といい、 DRIVE CHARTの場合ドライブレコーダーを指す。エッジAIはエッジ端末上で推論処理を行うAI。 クラウド エッジ端末 エッジAI
19. DRIVE CHARTのAI開発の特徴 19 様々なバックボーンを持った開発メンバー • CV(コンピュータビジョン) • データサイエンス • エッジAI開発 • サーバーサイド開発
20. DRIVE CHARTのAI開発の特徴 20 様々なバックボーンを持った開発メンバー • CV(コンピュータビジョン) • データサイエンス • エッジAI開発 • サーバーサイド開発 余談ですが… 色々な領域にチャレンジできます！ 採用ページ: https://mo-t.com/career/ CVモデル開発 サーバーサイドAI の推論高速化 エッジアプリケー ション開発
21. Table of Contents 01｜Mobility Technologiesについて 21 02｜DRIVE CHARTについて 03｜DRIVE CHARTのAI開発の特徴 04｜OSSを活用したAI開発
22. 今日お話すること 22 DRIVE CHARTではどのようにOSSを活用しながらAI開発を促進しているかを DRIVE CHARTでのAI開発の流れに沿ってステップごとにお話します STEP 1: データ収集・加工 STEP 2: モデル開発・学習 STEP 3: 推論・モニタリング
23. 4: データ収集・加工 23 データ収集・加工 モデル開発・学習 推論・モニタリング
24. データ収集・加工 24 アノテーション: 教師あり学習を行う場合、学習データは機械学習モデルの入力となる特徴量に対して教師ラベルが付与されている必要がある 特徴量に対して必ず教師ラベルがついているデータ(購買履歴など)も存在するが、ついていないものもある そういったデータには人間がデータを見ながら手動で正解となるラベルをつける必要がある。その作業をアノテーションと呼 ぶ データ収集・加工 モデル開発・学習 推論・モニタリング DRIVE CHARTでは以下のようなアノテーションが行われている - 脇見した時刻のアノテーション - 顔のランドマーク(目や鼻など)のアノテーション - 前方にある車両のアノテーション 等々… アノテーションの例
25. Nota 25 DeNA社製のCV専用OSSアノテーションツール Notaはチームでアノテーションを行う際の機能が充実しており、効率的なアノテーションができるようになっている • データセットをタスク単位に分割し、アノテーターにアノテーションを依頼することができる • アノテーションの定義をテンプレートを使用することで柔軟に変更できる Nota 前述のチームの存在と、チームによるアノテーション作業の効率を高めるNotaに より、高品質なアノテーションデータを量産することができる データ収集・加工 モデル開発・学習 推論・モニタリング Notaのアノテーション画面
26. Notaを利用したアノテーションフロー 26 ストレージ ① アノテーション用動画のデー タセット作成 CVエンジニア / データサイエンティスト ④ タスク振り 分け ② アノテーション仕様書 を作成しアノテーション を依頼 データ収集・加工 モデル開発・学習 推論・モニタリング アノテーション管理者 ③ タスクを作 成 アノテーター ⑤ アノテーション
27. Notaを利用したアノテーションフロー 27 ストレージ ① アノテーション用動画のデー タセット作成 CVエンジニア / データサイエンティスト ④ タスク振り 分け ② アノテーション仕様書 を作成しアノテーション を依頼 データ収集・加工 モデル開発・学習 推論・モニタリング アノテーション管理者 ③ タスクを作 成 アノテーター ⑤ アノテーション
28. Notaを利用したアノテーションフロー 28 ストレージ ① アノテーション用動画のデー タセット作成 CVエンジニア / データサイエンティスト ④ タスク振り 分け ② アノテーション仕様書 を作成しアノテーション を依頼 データ収集・加工 モデル開発・学習 推論・モニタリング アノテーション管理者 ③ タスクを作 成 アノテーター ⑤ アノテーション
29. Notaを利用したアノテーションフロー 29 ストレージ ① アノテーション用動画のデー タセット作成 CVエンジニア / データサイエンティスト ④ タスク振り 分け ② アノテーション仕様書 を作成しアノテーション を依頼 データ収集・加工 モデル開発・学習 推論・モニタリング アノテーション管理者 ③ タスクを作 成 アノテーター ⑤ アノテーション
30. Notaを利用したアノテーションフロー 30 ストレージ ① アノテーション用動画のデー タセット作成 CVエンジニア / データサイエンティスト ④ タスク振り 分け ② アノテーション仕様書 を作成しアノテーション を依頼 データ収集・加工 モデル開発・学習 推論・モニタリング アノテーション管理者 ③ タスクを作 成 アノテーター ⑤ アノテーション
31. 4: モデル開発・学習 31 データ収集・加工 モデル開発・学習 推論・モニタリング
32. DRIVE CHARTでのモデル開発・学習 データ収集・加工 モデル開発・学習 推論・モニタリング フェーズ1: 機械学習モデルの開発・学習 フェーズ2: 実データを使用した検証実験
33. DRIVE CHARTでのモデル開発・学習 データ収集・加工 モデル開発・学習 推論・モニタリング フェーズ1: 機械学習モデルの開発・学習 フェーズ2: 実データを使用した検証実験
34. 機械学習モデルの開発・学習 データ収集・加工 モデル開発・学習 モデルの開発・学習ではClearMLという実験管理ツールを使用している 推論・モニタリング 動画 センサーデータ GPSデータ エッジAI推論データ 学習 実験データを記録 実験結果を確認
35. ClearML 35 • Allegro AI社製の実験管理ツール • 標準的な実験管理ツールに含まれる機能は全て備わっている ◦ メトリクスの記録 ◦ ハイパーパラメータの記録 ◦ 過去の実験の検索 ◦ 実験同士の比較 ◦ … • それらに加えて、実験の再現性を高めるための機能が充実 ◦ 未コミットのソースコードの記録 ◦ ライブラリやPythonのバージョンの記録 データ収集・加工 モデル開発・学習 推論・モニタリング
36. ClearML 36 データ収集・加工 モデル開発・学習 推論・モニタリング ※ ClearML 公式Documentより引用(https://clear.ml/docs/latest/docs/deploying_clearml/clearml_server) ClearML ClearMLの構成図
37. DRIVE CHARTチームではAWS環境上にホスティングしており、データサイエンティストやCVエンジニアが利用している ClearML 37 データ収集・加工 モデル開発・学習 推論・モニタリング AWS Cloud VPC Private subnet Public subnet Web UI用エンドポイント(ALB) web web用portのみ アクセス許可 実験インスタンス api/file server portのみ アクセス許可 実験インスタンスからの アクセス用エンドポイント(ALB) api file アーティファクトを保 存 clearml server(https://github.com/allegroai/clearml-server)を フォークし、マネージドサービスと連携できるよう修正し ビルドしたイメージ + redis
38. ClearML 38 データ収集・加工 モデル開発・学習 推論・モニタリング AWS Cloud VPC Private subnet Public subnet Web UI用エンドポイント(ALB) web web用portのみ アクセス許可 実験インスタンス api/file server portのみ アクセス許可 実験インスタンスからの アクセス用エンドポイント(ALB) api file アーティファクトを保 存 clearml server(https://github.com/allegroai/clearml-server)を フォークし、マネージドサービスと連携できるよう修正し ビルドしたイメージ + redis ClearML DRIVE CHARTチームではAWS環境上にホスティングしており、データサイエンティストやCVエンジニアが利用している
39. ClearML 39 データ収集・加工 モデル開発・学習 推論・モニタリング AWS Cloud VPC Private subnet Public subnet Web UI用エンドポイント(ALB) web web用portのみ アクセス許可 実験インスタンス api/file server portのみ アクセス許可 実験インスタンスからの アクセス用エンドポイント(ALB) api file アーティファクトを保 存 clearml server(https://github.com/allegroai/clearml-server)を フォークし、マネージドサービスと連携できるよう修正し ビルドしたイメージ + redis DRIVE CHARTチームではAWS環境上にホスティングしており、データサイエンティストやCVエンジニアが利用している
40. ClearML 40 データ収集・加工 モデル開発・学習 推論・モニタリング AWS Cloud VPC Private subnet Public subnet Web UI用エンドポイント(ALB) web web用portのみ アクセス許可 実験インスタンス api/file server portのみ アクセス許可 実験インスタンスからの アクセス用エンドポイント(ALB) api file アーティファクトを保 存 clearml server(https://github.com/allegroai/clearml-server)を フォークし、マネージドサービスと連携できるよう修正し ビルドしたイメージ + redis DRIVE CHARTチームではAWS環境上にホスティングしており、データサイエンティストやCVエンジニアが利用している
41. ClearMLの機能 41 データ収集・加工 モデル開発・学習 推論・モニタリング 実験間でメトリクスを比較
42. ClearMLの機能 42 データ収集・加工 モデル開発・学習 推論・モニタリング 実験間でハイパーパラメータを比較
43. ClearMLの機能 43 データ収集・加工 モデル開発・学習 推論・モニタリング ログをWeb UI上で確認
44. ClearMLの機能 44 データ収集・加工 モデル開発・学習 推論・モニタリング ソースコードの未コミット部分を記録
45. ClearMLの機能 45 データ収集・加工 モデル開発・学習 推論・モニタリング Pythonや使用したライブラリのバージョンを記録
46. DRIVE CHARTでのAI開発 データ収集・加工 モデル開発・学習 推論・モニタリング フェーズ1: 機械学習モデルの開発 フェーズ2: 実データを使用した検証実験
47. 実データを使用した検証実験 47 モデルやパラメータの変更、検出ロジックの調整などを行った場合、最終的なリスク運転検出数にどのような変化がある かを確認する必要がある。たとえば… データ収集・加工 モデル開発・学習 推論・モニタリング イベント検出モデル 急加速 急減速 急ハンドル ⼀時不停⽌ 速度超過 ⾞間距離不⾜ 脇⾒ 急後退 検出結果 エッジデバイス クラウドサーバー データベースや S3 外カメ画像 検出結果 内カメ画像 深層学習 モデル センサー 加速度センサ、 ジャイロセンサ GPS 動画 デプロイ 新しいCVモデルを実装 & 学習
48. 実データを使用した検証実験 48 モデルやパラメータの変更、検出ロジックの調整などを行った場合、最終的なリスク運転検出数にどのような変化がある かを確認する必要がある。たとえば… データ収集・加工 モデル開発・学習 推論・モニタリング イベント検出モデル 急加速 急減速 急ハンドル ⼀時不停⽌ 速度超過 ⾞間距離不⾜ 脇⾒ 急後退 検出結果 エッジデバイス クラウドサーバー データベースや S3 外カメ画像 検出結果 内カメ画像 深層学習 モデル センサー 加速度センサ、 ジャイロセンサ GPS 動画 新しいCVモデルを実装 & 学習 デプロイ ここにも影響が出る！ モデルへの入力が変化し…
49. 実データを使用した検証実験 49 データ収集・加工 仮に仮想マシン上で全ての作業を手作業で行おうとすると… モデル開発・学習 推論・モニタリング 通常のAI開発における単体のモデルの精度確認だけでなく、システム全体のリスク検出数への影響を実験により検証する 必要がある → 大量の実データに対して変更前後の検出処理を実行し、リスク検出数の変化を比較・確認する
50. 実データを使用した検証実験 50 データ収集・加工 仮に仮想マシン上で全ての作業を手作業で行おうとすると… • 実験に使用するデータをリストアップしてストレージからダウンロード モデル開発・学習 推論・モニタリング 通常のAI開発における単体のモデルの精度確認だけでなく、システム全体のリスク検出数への影響を実験により検証する 必要がある → 大量の実データに対して変更前後の検出処理を実行し、リスク検出数の変化を比較・確認する
51. 実データを使用した検証実験 51 データ収集・加工 仮に仮想マシン上で全ての作業を手作業で行おうとすると… • 実験に使用するデータをリストアップしてストレージからダウンロード • モデルのウェイトファイルのダウンロード モデル開発・学習 推論・モニタリング 通常のAI開発における単体のモデルの精度確認だけでなく、システム全体のリスク検出数への影響を実験により検証する 必要がある → 大量の実データに対して変更前後の検出処理を実行し、リスク検出数の変化を比較・確認する
52. 実データを使用した検証実験 52 データ収集・加工 仮に仮想マシン上で全ての作業を手作業で行おうとすると… • 実験に使用するデータをリストアップしてストレージからダウンロード • モデルのウェイトファイルのダウンロード • 検出処理を実装しているリポジトリのクローン & チェックアウト モデル開発・学習 推論・モニタリング 通常のAI開発における単体のモデルの精度確認だけでなく、システム全体のリスク検出数への影響を実験により検証する 必要がある → 大量の実データに対して変更前後の検出処理を実行し、リスク検出数の変化を比較・確認する
53. 実データを使用した検証実験 53 データ収集・加工 仮に仮想マシン上で全ての作業を手作業で行おうとすると… • 実験に使用するデータをリストアップしてストレージからダウンロード • モデルのウェイトファイルのダウンロード • 検出処理を実装しているリポジトリのクローン & チェックアウト • 設定ファイルを書き換え モデル開発・学習 推論・モニタリング 通常のAI開発における単体のモデルの精度確認だけでなく、システム全体のリスク検出数への影響を実験により検証する 必要がある → 大量の実データに対して変更前後の検出処理を実行し、リスク検出数の変化を比較・確認する
54. 実データを使用した検証実験 54 データ収集・加工 仮に仮想マシン上で全ての作業を手作業で行おうとすると… • 実験に使用するデータをリストアップしてストレージからダウンロード • モデルのウェイトファイルのダウンロード • 検出処理を実装しているリポジトリのクローン & チェックアウト • 設定ファイルを書き換え • イメージをビルド モデル開発・学習 推論・モニタリング 通常のAI開発における単体のモデルの精度確認だけでなく、システム全体のリスク検出数への影響を実験により検証する 必要がある → 大量の実データに対して変更前後の検出処理を実行し、リスク検出数の変化を比較・確認する
55. 実データを使用した検証実験 55 データ収集・加工 仮に仮想マシン上で全ての作業を手作業で行おうとすると… • 実験に使用するデータをリストアップしてストレージからダウンロード • モデルのウェイトファイルのダウンロード • 検出処理を実装しているリポジトリのクローン & チェックアウト • 設定ファイルを書き換え • イメージをビルド • 処理を順番に実行 モデル開発・学習 推論・モニタリング 通常のAI開発における単体のモデルの精度確認だけでなく、システム全体のリスク検出数への影響を実験により検証する 必要がある → 大量の実データに対して変更前後の検出処理を実行し、リスク検出数の変化を比較・確認する
56. 実データを使用した検証実験 56 データ収集・加工 仮に仮想マシン上で全ての作業を手作業で行おうとすると… • 実験に使用するデータをリストアップしてストレージからダウンロード • モデルのウェイトファイルのダウンロード • 検出処理を実装しているリポジトリのクローン & チェックアウト • 設定ファイルを書き換え • イメージをビルド • 処理を順番に実行 モデル開発・学習 推論・モニタリング 通常のAI開発における単体のモデルの精度確認だけでなく、システム全体のリスク検出数への影響を実験により検証する 必要がある → 大量の実データに対して変更前後の検出処理を実行し、リスク検出数の変化を比較・確認する 変更前後で結果の比較を行いたい場合、×2
57. 実データを使用した検証実験 57 データ収集・加工 仮に仮想マシン上で全ての作業を手作業で行おうとすると… • 実験に使用するデータをリストアップしてストレージからダウンロード • モデルのウェイトファイルのダウンロード • 検出処理を実装しているリポジトリのクローン & チェックアウト • 設定ファイルを書き換え • イメージをビルド • 処理を順番に実行 モデル開発・学習 推論・モニタリング 通常のAI開発における単体のモデルの精度確認だけでなく、システム全体のリスク検出数への影響を実験により検証する 必要がある → 大量の実データに対して変更前後の検出処理を実行し、リスク検出数の変化を比較・確認する 変更前後で結果の比較を行いたい場合、×2 ← 本当に全てのデータをダウンロードできていた？ ← 間違ったバージョン使ってない？ ← ブランチ間違ってない？ ← 設定間違ってない？ ← ビルド手順あってる？ ← 順番あってる？ 結果が違うけど設定間違ってたのかも？どうやってそれを後から確認するんだっけ？
58. 実データを使用した検証実験 58 データ収集・加工 要件: • 準備に必要な作業が多いので、それらを自動化する • 実験の設定を容易に変更でき、後から確認することができる モデル開発・学習 推論・モニタリング
59. 実データを使用した検証実験 59 データ収集・加工 要件: • 準備に必要な作業が多いので、それらを自動化する • 実験の設定を容易に変更でき、後から確認することができる • デバイス上で実行するように開発されたエッジAIをサーバーで実行できるようにする • 複数の実験が同時に実行されることが想定されるため、負荷が上がっても自動でスケールアウトする モデル開発・学習 推論・モニタリング
60. 実データを使用した検証実験 60 データ収集・加工 要件: 解決策: Kubeflow Pipelinesを使用した実験パイプラインの使用 • 準備に必要な作業が多いので、それらを自動化する → イメージのビルドなどの定型処理作業をパイプラインのタスクとして実装し自動化(属人性の排除) • 実験の設定を容易に変更でき、後から確認することができる → Web UI上から変更。実験の履歴を保存することで後から設定値を確認できるようになる • デバイス上で実行するように開発されたエッジAIをサーバーで実行できるようにする → エッジAIをシミュレーションするイメージの利用 • 複数の実験が同時に実行されることが想定されるため、負荷が上がっても自動でスケールアウトする → Kubeflow Pipelinesのスケーラビリティを活用 モデル開発・学習 推論・モニタリング
61. Kubeflow Pipelines 61 KubeflowはOSSのMLOpsフレームワーク。Kubeflow Pipelinesはそのコンポーネントの一つ パイプライン実行ツールはいくつか存在するものの、以下のような理由でKubeflow Pipelinesを採用 • k8sのスケーラビリティの恩恵を受けられる • リッチなWeb UI 特に下の理由が重要。 実験はパラメータを一部変えたものやモデルのバージョンを変えたものを同時並行で実行するような ケースが多い。 Kubeflow PipelinesのWeb UIは画面上からパラメータを変更する作業が行うことができる データ収集・加工 モデル開発・学習 推論・モニタリング
62. Kubeflow Pipelines 62 データ収集・加工 モデル開発・学習 推論・モニタリング 実験パラメータの設定 パイプラインの実行確認
63. Kubeflow Pipelinesを使用した実験基盤 63 データ収集・加工 モデル開発・学習 推論・モニタリング エッジAIシミュレーションコンテナ 前処理 推論 出力 ストレージ エッジAIモデルによる 推論結果を保存 検出サーバー 前処理 検出 出力 動画データを ダウンロード センサー、GPS、エッ ジAI推論結果データを ダウンロード Test X Test Y ソースコードをクローン してビルド & デプロイ ソースコードをクローン してビルド & デプロイ エッジAI開発 repo 検出AI開発 repo 検出結果をDBに登録 ※ エッジAIを変更したケース
64. Kubeflow Pipelinesを使用した実験基盤 64 データ収集・加工 モデル開発・学習 推論・モニタリング エッジAIシミュレーションコンテナ 前処理 推論 出力 ストレージ エッジAIモデルによる 推論結果を保存 検出サーバー 前処理 検出 出力 動画データを ダウンロード センサー、GPS、エッ ジAI推論結果データを ダウンロード Test X Test Y ソースコードをクローン してビルド & デプロイ ソースコードをクローン してビルド & デプロイ エッジAI開発 repo 検出AI開発 repo 検出結果をDBに登録 ※ エッジAIを変更したケース
65. Kubeflow Pipelinesを使用した実験基盤 65 データ収集・加工 モデル開発・学習 推論・モニタリング エッジAIシミュレーションコンテナ 前処理 推論 出力 ストレージ エッジAIモデルによる 推論結果を保存 検出サーバー 前処理 検出 出力 動画データを ダウンロード センサー、GPS、エッ ジAI推論結果データを ダウンロード Test X Test Y ソースコードをクローン してビルド & デプロイ ソースコードをクローン してビルド & デプロイ エッジAI開発 repo 検出AI開発 repo 検出結果をDBに登録 ※ エッジAIを変更したケース
66. Kubeflow Pipelinesを使用した実験基盤 66 データ収集・加工 モデル開発・学習 推論・モニタリング エッジAIシミュレーションコンテナ 前処理 推論 出力 ストレージ エッジAIモデルによる 推論結果を保存 検出サーバー 前処理 検出 出力 動画データを ダウンロード センサー、GPS、エッ ジAI推論結果データを ダウンロード Test X Test Y ソースコードをクローン してビルド & デプロイ ソースコードをクローン してビルド & デプロイ エッジAI開発 repo 検出AI開発 repo 検出結果をDBに登録 ※ エッジAIを変更したケース
67. Kubeflow Pipelinesを使用した実験基盤 67 データ収集・加工 モデル開発・学習 推論・モニタリング エッジAIシミュレーションコンテナ 前処理 推論 出力 ストレージ エッジAIモデルによる 推論結果を保存 検出サーバー 前処理 検出 出力 動画データを ダウンロード センサー、GPS、エッ ジAI推論結果データを ダウンロード Test X Test Y ソースコードをクローン してビルド & デプロイ ソースコードをクローン してビルド & デプロイ エッジAI開発 repo 検出AI開発 repo 検出結果をDBに登録 ※ エッジAIを変更したケース
68. Kubeflow Pipelinesを使用した実験基盤 68 データ収集・加工 モデル開発・学習 推論・モニタリング エッジAIシミュレーションコンテナ 前処理 推論 出力 ストレージ エッジAIモデルによる 推論結果を保存 検出サーバー 前処理 検出 出力 動画データを ダウンロード センサー、GPS、エッ ジAI推論結果データを ダウンロード Test X Test Y ソースコードをクローン してビルド & デプロイ ソースコードをクローン してビルド & デプロイ エッジAI開発 repo 検出AI開発 repo 検出結果をDBに登録 ※ エッジAIを変更したケース
69. 4: 実装・学習 69 データ収集・加工 モデル開発・学習 推論・モニタリング
70. Redashによる監視 70 一般的なAIプロジェクト同様、推論結果のモニタリングを行っている ＋ DRIVE CHART特有の問題として、デバイスの問題(故障していないか等)も監視しておく必要がある 監視したい項目は運用を行っていく中で常に増えていくので、 SQLを用意すれば監視項目を追加できるため、サーバーサイドエンジニアの作業抜きで監視が開始できるのでスピーディ ー 定期的にDBからBigQuery上に用意しているデータウェアハウスにデータを同期しており、 それに対して集計処理を実行する データ収集・加工 モデル開発・学習 推論・モニタリング データ収集・加工 モデル開発・学習 推論・モニタリング データ同期 集計処理
71. まとめ 71 データ収集・加工 モデル開発・学習 推論・モニタリング アノテーションチーム によるアノテーション データの量産 タスクを作成 アノテーション データセットを作成 アノテーションを依頼 データセットに アノテーション 情報を付与 アノテーション管理者 アノテーター CVエンジニア/データサイエ ンティスト
72. まとめ 72 データ収集・加工 モデル開発・学習 推論・モニタリング より再現性が高まった 実験管理基盤 簡単かつ大規模に検証 を行うことができる 検証実験基盤 実験を記録 モデルを保存 検証実験 デプロイ 学習 テストB(変更前) テストA(変更後) アノテーション管理者 アノテーター CVエンジニア/データサイエ ンティスト アノテーション済み動画データ
73. まとめ 73 データ収集・加工 モデル開発・学習 推論・モニタリング データウェアハウス スピーディーに項目 を追加できるモニタ リング基盤 デプロイ 推論・検出 テストB(変更前) テストA(変更後) アノテーション管理者 アノテーター CVエンジニア/データサイエ ンティスト CVエンジニア/データサイエ ンティスト サーバーサイドエンジニア 監視 監視項目の追加 集計
74. まとめ 74 データ収集・加工 モデル開発・学習 推論・モニタリング データウェアハウス アノテーションチーム によるアノテーション データの量産 より再現性が高まった 実験管理基盤 簡単かつ大規模に検証 を行うことができる 検証実験基盤 スピーディーに項目 を追加できるモニタ リング基盤 タスクを作成 データセットを作成 アノテーションを依頼 実験を記録 モデルを保存 検証実験 デプロイ 推論・検出 学習 テストB(変更前) テストA(変更後) データセットに アノテーション 情報を付与 アノテーション管理者 アノテーター CVエンジニア/データサイエ ンティスト CVエンジニア/データサイエ ンティスト サーバーサイドエンジニア 監視 監視項目の追加 集計