AI予約サービスのMLOps事例紹介

2022/6/21に実施されたMoT TechTalkの登壇資料

Transcript

1. Mobility Technologies Co., Ltd. MoT TechTalk #12 タクシーアプリ『GO』大規模トラフィックを捌く分析 データ基盤の全容に迫る！
2. Mobility Technologies Co., Ltd. AI予約サービスの MLOps事例紹介 鈴木隆史 01 2
3. Mobility Technologies Co., Ltd. AI予約とは 3
4. Mobility Technologies Co., Ltd. 従来のタクシー予約の課題 • 人力による予約管理 • 事前に車両確保するため乗務員の拘束時間が長い • 受けられる枠に限りがある AI予約 • 指定日時直前に車両確保する（乗務員の拘束時間が短い） ◦ 指定日時で周辺に車両がいる保証がないためAIモデルを活用 • 指定日時前後に手配できる車両供給数を予測 ◦ 予測された車両数を用いてAI予約可能枠を計算して利用 • 従来の10倍以上のご依頼に対応 タクシー会社にとってのAI予約のメリット 4
5. Mobility Technologies Co., Ltd. 車両供給数 予測パイプラインの最小構成 5 分析データ 特徴量 MLモデル 車両数 推論結果 BigQuery Kubernetes Engine Cloud Storage 予約API Memorystore
6. Mobility Technologies Co., Ltd. 直近の分析データを利用することによる弊害 • 雨や電車遅延などの直近トレンドに追従させるため、直近の分析データを活 用している • 日次の分析集計データと違い、直近の分析データはストリーミング処理の遅 延の影響を受けやすく、それによる分析データ異常値が発生しやすい • モデルの推論結果にも異常値が含まれると、本来はAI予約可能枠が空い ているのに予約ができないなどのUX悪化に繋がる • モデル推論自体に遅延が発生した場合は、予約APIで利用するデータが空 になってしまう AI予約におけるMLシステムの課題 (1/2) 6
7. Mobility Technologies Co., Ltd. モデルの推論精度の妥当性 • 推論時には答えが分からない未来の数値を予測しているため、推論した結 果の妥当性を確認しないと、サービス改善に繋がらない • 特定期間で訓練した車両供給数モデルの精度は、地域の周辺施設や季節 性などの変化によって経年劣化していく ◦ 固有のモデルを使い続けると、時間が経つにつれて的外れな推論をし てしまうケースがある AI予約におけるMLシステムの課題 (2/2) 7
8. Mobility Technologies Co., Ltd. 車両供給数 予測パイプラインの追加項目 8 分析データ 車両数 推論結果 BigQuery Kubernetes Engine Cloud Storage Cloud Composer ※ 追加項目 統計値 過去の トレンド Validation Assertion Fallback 特徴量 MLモデル 直近の トレンド Validation Assertion Recurring 精度監視 Data Portal Monitoring 予約API Memorystore Assertion
9. Mobility Technologies Co., Ltd. 直近の分析データを扱う課題 • 分析データの遅延、異常値についてはBigQueryのAssertionで検知 • MLモデルの障害については統計値を事前に用意してフォールバック 推論の精度担保における課題 • 定期的にモデルを切り替えるシステムにすることで、精度の経年劣化を防 止 • 推論データを事後で正解データと比較して精度誤差を監視し、異常発生時 には通知 MLシステム課題に対する対応 9
10. Mobility Technologies Co., Ltd. 車両供給数 予測パイプライン（分析データの遅延チェック） 10 分析データ 車両数 推論結果 BigQuery Kubernetes Engine Cloud Storage Cloud Composer ※ 追加項目 統計値 過去の トレンド Validation Assertion Fallback 特徴量 MLモデル 直近の トレンド Validation Assertion Recurring 精度監視 Data Portal Monitoring 予約API Memorystore Assertion
11. Mobility Technologies Co., Ltd. 分析データ • 1日10億レコード規模のデータがある ◦ 数秒おきの車両位置情報データ ◦ 車両の状態（空車かどうか） • 分析データはストリーミング挿入される ◦ ほとんどのデータは数十秒の遅延で反映される が、インフラ障害で数十分遅延することもある ◦ 分析データ利用時にデータ遅延していないかをSQL で検証しエラー検知 車両供給数 予測パイプライン（分析データの遅延チェック） 11 分析データ BigQuery Validation
12. Mobility Technologies Co., Ltd. 車両供給数 予測パイプライン（統計値のフォールバック） 12 分析データ 車両数 推論結果 BigQuery Kubernetes Engine Cloud Storage Cloud Composer ※ 追加項目 統計値 過去の トレンド Validation Assertion Fallback 特徴量 MLモデル 直近の トレンド Validation Assertion Recurring 精度監視 Data Portal Monitoring 予約API Memorystore Assertion
13. Mobility Technologies Co., Ltd. 車両供給数 予測パイプライン（統計値のフォールバック） 13 分析データ 統計値 Fallback BigQuery 統計値 • 統計値とは、地域や時間帯などのセグメントごと に、過去の車両供給数のトレンドを集計したもの • MLモデルが遅延したときに、推論結果が空に なってしまうのを防ぐために作成 ◦ 障害や遅延などでモデル推論結果が、時間 内に作成されなかった場合は、自動的にこ の統計値にフォールバックする 過去の トレンド Assertion
14. Mobility Technologies Co., Ltd. 車両供給数 予測パイプライン（特徴量の異常値チェック） 14 分析データ 車両数 推論結果 BigQuery Kubernetes Engine Cloud Storage Cloud Composer ※ 追加項目 統計値 過去の トレンド Validation Assertion Fallback 特徴量 MLモデル 直近の トレンド Validation Assertion Recurring 精度監視 Data Portal Monitoring 予約API Memorystore Assertion
15. Mobility Technologies Co., Ltd. 特徴量 • 特徴量は、直近の車両供給数をMLモデルで推 論するために事前作成しておくデータ • 特徴量に異常がないかはBigQuery Assertionを 利用している • 事前に特徴量ごとに設定した閾値でAssertし、エ ラーがある場合は予測パイプラインを停止し、異 常値をデプロイしない 車両供給数 予測パイプライン（特徴量の異常値チェック） 15 分析データ 特徴量 Assertion BigQuery
16. Mobility Technologies Co., Ltd. 車両供給数 予測パイプライン（MLモデルの定期更新） 16 分析データ 車両数 推論結果 BigQuery Kubernetes Engine Cloud Storage Cloud Composer ※ 追加項目 統計値 過去の トレンド Validation Assertion Fallback 特徴量 MLモデル 直近の トレンド Validation Assertion Recurring 精度監視 Data Portal Monitoring 予約API Memorystore Assertion
17. Mobility Technologies Co., Ltd. MLモデル • 過去の統計値から車両供給量を求める場合、直近のトレ ンド（雨、電車遅延など）に対応できないため、直近のトレ ンド追従のためMLモデルを利用 • MLの推論結果は一度BigQueryに格納してエラー検証 ◦ 扱うデータをBigQueryで統合管理することで、運用コ ストやオペミスを軽減 • Composerでモデルを定期的に更新して、季節性などによ る精度の経年劣化を防いでいる 車両供給数 予測パイプライン（MLモデルの定期更新） 17 MLモデル Kubernetes Engine 直近の トレンド Recurring Assertion Cloud Composer
18. Mobility Technologies Co., Ltd. 車両供給数 予測パイプライン（推論精度の定期監視） 18 分析データ 車両数 推論結果 BigQuery Kubernetes Engine Cloud Storage Cloud Composer ※ 追加項目 統計値 過去の トレンド Validation Assertion Fallback 特徴量 MLモデル 直近の トレンド Validation Assertion Recurring 精度監視 Data Portal Monitoring 予約API Memorystore Assertion
19. Mobility Technologies Co., Ltd. 精度監視 • 事後には、該当時間の実際のタクシー車両供給数の 正解データが分かるので、MLモデルの車両供給数 の推論データとの精度誤差をダッシュボード化してい る • 精度メトリクスのSlack通知により、精度悪化を検知し ている 車両供給数 予測パイプライン（推論精度の定期監視） 19 車両数 推論結果 Cloud Storage 精度監視 Data Portal Monitoring
20. Mobility Technologies Co., Ltd. 直近の分析データを扱う課題 • 分析データの遅延、異常値についてはBigQueryのAssertionで検知 • MLモデルの障害については統計値を事前に用意してフォールバック 推論の精度担保における課題 • 定期的にモデルを切り替えるシステムにすることで、精度の経年劣化を防 止 • 推論データを事後で正解データと比較して精度誤差を監視し、異常発生時 には通知 まとめ（再掲） 20
21. Mobility Technologies Co., Ltd. MLリリースフローの自動化 • 学習パイプラインと推論パイプラインの特徴量やモデルなどが密結合のた め、スキーマ変更を伴うサービス更新時に手動リリース作業が発生している 複数モデルの並列パイプラインの提供 • リリースバージョンごとに特徴量データを分離して、ブルーグリーンデプロイ やモデルのA/Bテストが気軽にできる並列パイプライン提供をサポートして いく予定 今後の対応 21
22. Mobility Technologies Co., Ltd. クロージング 02 22
23. Mobility Technologies Co., Ltd. 技術全般 Twitter @mot_techtalk Thank You! We Are Hiring! 23 AI関連 Twitter @mot_ai_tech
24. confidential 文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。 Mobility Technologies Co., Ltd. 24