Upgrade to Pro — share decks privately, control downloads, hide ads and more …

History of the ML system in KARTE

History of the ML system in KARTE

290d6f09d5a1df2c2ecb6601011fe5c1?s=128

kargo113

June 23, 2022
Tweet

More Decks by kargo113

Other Decks in Technology

Transcript

  1.   |  © PLAID Inc. 2022.06.14  |  MLOps in KARTE  |  1 KARTEにおけるMLOpsの変遷 @kargo, ML

    Tech Lead, PLAID inc.
  2. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. 自己紹介 - ML Tech

    Lead - ex. DeNA AI研究開発エンジニア @kargo
  3. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. 本日のアジェンダ 3 本日のアジェンダ KARTEについて

    MLOpsとは? ML基盤の変遷 具体例 まとめ 話すこと
  4.   |  © PLAID Inc. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. 株式会社プレイドについて

    株式会社プレイド 東京都中央区銀座6-10-1 GINZA SIX 10F 設立:2011年10月 従業員:240名 ※2021年12月末時点
  5. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. 5 Stats of KARTE

    CX(顧客体験)プラットフォーム
  6. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. 6 Stats of KARTE

    データ規模も爆発的に増加 145 億UU 累計ユーザー数 ※1 0.x 秒/解析 解析速度 135,000 over 秒間トラッキング数 ※3 2.43 兆円 年間解析流通金額 ※2 ※1 ローンチ〜2022年3月までのユニークユーザー数の実績 ※2 EC領域における解析流通金額。 2021年3月〜2022年2月までの単年の実績 ※3 閲覧、クリック、購入など KARTEで計測しているユーザーの全イベントが 対象。ローンチ〜 2022年3月までにおける最大値
  7. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 導入企業様

  8. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. 本日のアジェンダ 8 本日のアジェンダ KARTEについて

    MLOpsとは? ML基盤の変遷 具体例 まとめ 話すこと
  9. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. MLOpsとは? MLOpsとは?

  10. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. MLOpsとは? MLOps: Continuous delivery

    and automation pipelines in machine learning | Google Cloud
  11. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. MLOpsとは? あくまで理想像 MLOps: Continuous

    delivery and automation pipelines in machine learning | Google Cloud
  12. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 目的 目的は... 「MLを使うこと」 「ビジネスで価値を出すこと」

  13. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 目的 Lean Startup!

  14. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 大事なこと 実験環境 バッチ予測 リアルタイム予測

    バッチ基盤拡張 積み重ねが大事! 精度監視 CI/CD Feature Store パイプライン
  15. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. 本日のアジェンダ 15 本日のアジェンダ KARTEについて

    MLOpsとは? ML基盤の変遷 具体例 まとめ 話すこと
  16. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. ML基盤の変遷 ML基盤の変遷

  17. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. ML基盤の変遷 西暦 内容 登壇

    2019/8 機械学習基盤の開発コンセプト Google Cloud Next Tokyo ’19 2020/6 パイプライン基盤(バッチ予測) Google Cloud Day Digital ’20 2020/12 リアルタイム予測 Google ML Summit ’20 2021/5 バッチ基盤拡張 Google Cloud Day Digital ’21 2022/4 Light MLOps Google Cloud Day Digital ’22
  18. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. コンセプト 18 コンセプトから いきなりML基盤を作らない

    コンセプト
  19. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. パイプライン ML System Flask

    Server UI Images Container Registory KARTE System Kubernetes Engine KARTE System CI/CD Pipeline Github Actions 弊社開発者 Status Cloud Pub/Sub ML Pipeline AI Platform Pipeline Batch Train AI Platform Training Transform Train Inference KARTE Data BigQuery クライアント AI Platform Pipeline パイプライン基盤(バッチ予測)
  20. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. リアルタイム ML Pipeline System

    (Experiment, Train, Deploy) All Data BigQuery Experiment AI Platform Notebook ML Pipeline AI Platform Pipelines Batch Train AI Platform Training Metadata Cloud Firestore Artifacts Cloud Storage ML Realtime System Prediction API Cloud Run Event Data Cloud Spanner API trigger Cloud Pub/Sub Data Process Cloud Dataflow Prediction Result Cloud Bigtable Event Data Cloud Pub/Sub Core Server Compute Engine User Data Cloud Bigtable Core System エンドユーザー Web App リアルタイム予測
  21. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. バッチ基盤拡張 Analyist Session Summary

    BigQuery Batch Job GKE Admin GKE Autoscaling Batch Job Dataflow Reference Table Cloud Spanner Client Cache Tables By Conditions BigQuery ML Pipeline AI Platform Pipeline Cloud Bigtable Track GCE Autoscaling Analyze GCE Autoscaling Pub/Sub User KARTE Pockyevent BigQuery バッチ基盤拡張 Prediction Result BigQuery
  22. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. Light MLOps Data Scientist

    Client Cloud Storage Cloud Run JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Ve ex Workbench Simplify - Facebook - Instagram Light MLOps
  23. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. 本日のアジェンダ 23 本日のアジェンダ KARTEについて

    MLOpsとは? ML基盤の変遷 具体例 まとめ 話すこと
  24. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 具体例 具体例

  25. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. 本日のテーマ 25 - コンセプト

    - 実験環境 - バッチ予測 - リアルタイム予測 - バッチ基盤拡張 具体的に 何から始めるべきか? 話すこと
  26. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. コンセプト コンセプト

  27. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. コンセプト 27 まずはコンセプトから いきなりML基盤を作らない

    マーケットの反応はどうか? コンセプト
  28. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 実験環境 実験環境

  29. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. notebook 29 notebook Vertex

    Workbenchで簡単に 探索的にデータ分析・可視化 データ権限周りは慎重に! notebook
  30. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. Light MLOps Ve ex

    Workbench 良さそうな結果が出そうだ! すぐにプロダクトに活用する方法はないか? Light MLOps
  31. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. KARTE Signals [Case Study]

    KARTE Signals
  32. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. KARTE Signals [Case Study]

    KARTE Signals
  33. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. BQ to BQ Data

    Scientist Client Cloud Storage Cloud Run JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Ve ex Workbench Simplify - Facebook - Instagram BQ to BQ を実現するには?
  34. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. Scheduled notebookをSchedule実行 BQ to

    BQ, BQ to BT など柔軟になんでも可能
  35. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. Light MLOps notebookだけでも実現可能! =

    Light MLOps
  36. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. バッチ予測 バッチ予測

  37. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. バッチ予測 プロトタイプは良さそうだ! なるべく低コストでスピーディーにプロ ダクションに入れられないか?

    バッチ予測
  38. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. ParaML [Case Study] Parameterised

    ML KARTE DATA ML Model Loyal Customer Score (Stored in BigQuery)
  39. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. ParaML [Case Study] Parameterised

    ML user_id name Loyal Score aaa Tanaka 0.98 bbb Suzuki 0.88 ccc Iwasaki 0.73 ddd Murakami 0.42 eee Takahashi 0.39 fff Okada 0.32 ggg Takeda 0.20 行動データ クライアント エンドユーザー スコアに応じて クーポン出し分け 紐付けテーブル 算出したスコア COUPON “A” COUPON “B”
  40. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. バッチ予測 ML System Flask

    Server UI Images Container Registory KARTE System Kubernetes Engine KARTE System CI/CD Pipeline Github Actions 弊社開発者 Status Cloud Pub/Sub ML Pipeline AI Platform Pipeline Batch Train AI Platform Training Transform Train Inference KARTE Data BigQuery クライアント AI Platform Pipeline バッチ予測基盤
  41. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. AI Platform Pipipeline AI

    Platform Pipeline
  42. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. CI/CD CI/CDもこのタイミングで構築 CI/CD Pipeline

    Github Actions Service Account Cloud IAM Images Container Registory ML Pipeline AI Platform Pipeline Image pipeline
  43. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. モニタリング モニタリングも

  44. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. バッチ予測 ベースはほとんど揃った!

  45. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. リアルタイム予測 リアルタイム予測

  46. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. リアルタイム予測 バッチからリアルタイムへ

  47. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 問い合わせ予測 [Case Study] リアルタイム問い合わせ予測

    Batch 予測 - 使用するデータが数日、数週間で 変化する場合 Realtime 予測 - 使用するデータが数秒で 変化する場合 1週間後 ロイヤル カスタマーになるか 20 秒後 問い合わせをするか
  48. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 問い合わせ予測 [Case Study] リアルタイム問い合わせ予測

    検索結果画面 15 sec 検索画面 8 sec エンドユーザー 検索画面 10 sec 検索結果画面 20 sec うまく検索できていないユーザー行動 上記と類似したユーザー行動をリアルタイムに判別 ... ... event sequence
  49. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. ML Pipeline System (Experiment,

    Train, Deploy) All Data BigQuery Experiment AI Platform Notebook ML Pipeline AI Platform Pipelines Batch Train AI Platform Training Metadata Cloud Firestore Artifacts Cloud Storage ML Realtime System Prediction API Cloud Run Event Data Cloud Spanner API trigger Cloud Pub/Sub Data Process Cloud Dataflow Prediction Result Cloud Bigtable Event Data Cloud Pub/Sub Core Server Compute Engine User Data Cloud Bigtable Core System エンドユーザー Web App リアルタイム予測基盤 リアルタイム予測
  50. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. ① Core System から

    event data を受け取る ② event data を DB に保存 ③ 特定 event のみを抽出して、 Prediction API に リクエスト送信 ④ DB から生データを取得し、予測 ⑤ 予測結果を DB に書き込み ML Realtime System Prediction API Cloud Run Event Data Cloud Spanner API trigger Cloud Pub/Sub Data Process Cloud Dataflow Prediction Result Cloud Bigtable Event Data Cloud Pub/Sub ① ② ③ ④ ⑤ { "event_name": "view", "sync_date": “2020-11-29 23:50:23.142 UTC", "keys": { "api_key": "xxxxxx", "user_id": "user_B", "session_id": "yyyy_662", }, "page": "https://plaid.co.jp/", ... } event data 例 リアルタイム予測基盤 リアルタイム予測
  51. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. バッチ基盤拡張 バッチ基盤拡張

  52. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. User Summary [Case Study]

    User Summary セグメントにして接客に活用
  53. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. CJ探索 [Case Study] カスタマージャーニー探索

    ゴール (購入 etc.) に繋がりやすい「行動パターン」を遷移確率を元に分析することで なぜ? が見出せます
  54. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. バッチ基盤拡張 Analyist Session Summary

    BigQuery Batch Job GKE Admin GKE Autoscaling Batch Job Dataflow Reference Table Cloud Spanner Client Cache Tables By Conditions BigQuery ML Pipeline AI Platform Pipeline Cloud Bigtable Track GCE Autoscaling Analyze GCE Autoscaling Pub/Sub User KARTE Pockyevent BigQuery バッチ基盤拡張 Prediction Result BigQuery
  55. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 基盤統合 Analyist KARTE Pockyevent

    BigQuery Session Summary BigQuery Batch Job GKE Admin GKE Autoscaling Batch Job Dataflow Reference Table Cloud Spanner Client ML Pipeline AI Platform Pipeline Prediction Result BigQuery 分析基盤側 ML基盤側 統合 既存分析基盤とML基盤の統合
  56. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 初期構築の延長で迅速にできた! 初期の基盤構築が肝心! バッチ基盤拡張

  57. 2022.06.14  |  MLOps in KARTE  |    |  © PLAID Inc. 本日のアジェンダ 57 本日のアジェンダ KARTEについて

    MLOpsとは? ML基盤の変遷 具体例 まとめ 話すこと
  58. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. まとめ まとめ

  59. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 大事なこと 実験環境 バッチ予測 リアルタイム予測

    バッチ基盤拡張 積み重ねが大事! 精度監視 CI/CD Feature Store パイプライン
  60. 2022.06.14  | MLOps in KARTE  |    |  © PLAID Inc. 大事なこと Thank you!

  61. None