History of the ML system in KARTE

by kargo113

Slide 1

Slide 1 text

　　｜　　© PLAID Inc. 2022.06.14　　｜　　MLOps in KARTE　　｜　 1 KARTEにおけるMLOpsの変遷 @kargo, ML Tech Lead, PLAID inc.

Slide 2

Slide 2 text

2022.06.14　　｜　　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 自己紹介 - ML Tech Lead - ex. DeNA AI研究開発エンジニア @kargo

Slide 3

Slide 3 text

2022.06.14　　｜　　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 本日のアジェンダ 3 本日のアジェンダ KARTEについて MLOpsとは？ ML基盤の変遷具体例まとめ話すこと

Slide 4

Slide 4 text

　　｜　　© PLAID Inc. 2022.06.14　　｜　　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 株式会社プレイドについて株式会社プレイド東京都中央区銀座6-10-1 GINZA SIX 10F 設立：2011年10月従業員：240名 ※2021年12月末時点

Slide 5

Slide 5 text

2022.06.14　　｜　　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 5 Stats of KARTE CX(顧客体験)プラットフォーム

Slide 6

Slide 6 text

2022.06.14　　｜　　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 6 Stats of KARTE データ規模も爆発的に増加 145 億UU 累計ユーザー数 ※1 0.x 秒/解析解析速度 135,000 over 秒間トラッキング数 ※3 2.43 兆円年間解析流通金額 ※2 ※1 ローンチ〜2022年3月までのユニークユーザー数の実績 ※2 EC領域における解析流通金額。 2021年3月〜2022年2月までの単年の実績 ※3 閲覧、クリック、購入など KARTEで計測しているユーザーの全イベントが対象。ローンチ〜 2022年3月までにおける最大値

Slide 7

Slide 7 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 導入企業様

Slide 8

Slide 8 text

2022.06.14　　｜　　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 本日のアジェンダ 8 本日のアジェンダ KARTEについて MLOpsとは？ ML基盤の変遷具体例まとめ話すこと

Slide 9

Slide 9 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. MLOpsとは？ MLOpsとは？

Slide 10

Slide 10 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. MLOpsとは？ MLOps: Continuous delivery and automation pipelines in machine learning | Google Cloud

Slide 11

Slide 11 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. MLOpsとは？あくまで理想像 MLOps: Continuous delivery and automation pipelines in machine learning | Google Cloud

Slide 12

Slide 12 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 目的目的は... 「MLを使うこと」「ビジネスで価値を出すこと」

Slide 13

Slide 13 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 目的 Lean Startup!

Slide 14

Slide 14 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 大事なこと実験環境バッチ予測リアルタイム予測バッチ基盤拡張積み重ねが大事！精度監視 CI/CD Feature Store パイプライン

Slide 15

Slide 15 text

2022.06.14　　｜　　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 本日のアジェンダ 15 本日のアジェンダ KARTEについて MLOpsとは？ ML基盤の変遷具体例まとめ話すこと

Slide 16

Slide 16 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. ML基盤の変遷 ML基盤の変遷

Slide 17

Slide 17 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. ML基盤の変遷西暦内容登壇 2019/8 機械学習基盤の開発コンセプト Google Cloud Next Tokyo ’19 2020/6 パイプライン基盤（バッチ予測） Google Cloud Day Digital ’20 2020/12 リアルタイム予測 Google ML Summit ’20 2021/5 バッチ基盤拡張 Google Cloud Day Digital ’21 2022/4 Light MLOps Google Cloud Day Digital ’22

Slide 18

Slide 18 text

2022.06.14　　｜　　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. コンセプト 18 コンセプトからいきなりML基盤を作らないコンセプト

Slide 19

Slide 19 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. パイプライン ML System Flask Server UI Images Container Registory KARTE System Kubernetes Engine KARTE System CI/CD Pipeline Github Actions 弊社開発者 Status Cloud Pub/Sub ML Pipeline AI Platform Pipeline Batch Train AI Platform Training Transform Train Inference KARTE Data BigQuery クライアント AI Platform Pipeline パイプライン基盤（バッチ予測）

Slide 20

Slide 20 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. リアルタイム ML Pipeline System (Experiment, Train, Deploy) All Data BigQuery Experiment AI Platform Notebook ML Pipeline AI Platform Pipelines Batch Train AI Platform Training Metadata Cloud Firestore Artifacts Cloud Storage ML Realtime System Prediction API Cloud Run Event Data Cloud Spanner API trigger Cloud Pub/Sub Data Process Cloud Dataﬂow Prediction Result Cloud Bigtable Event Data Cloud Pub/Sub Core Server Compute Engine User Data Cloud Bigtable Core System エンドユーザー Web App リアルタイム予測

Slide 21

Slide 21 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. バッチ基盤拡張 Analyist Session Summary BigQuery Batch Job GKE Admin GKE Autoscaling Batch Job Dataﬂow Reference Table Cloud Spanner Client Cache Tables By Conditions BigQuery ML Pipeline AI Platform Pipeline Cloud Bigtable Track GCE Autoscaling Analyze GCE Autoscaling Pub/Sub User KARTE Pockyevent BigQuery バッチ基盤拡張 Prediction Result BigQuery

Slide 22

Slide 22 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. Light MLOps Data Scientist Client Cloud Storage Cloud Run JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Ve ex Workbench Simplify - Facebook - Instagram Light MLOps

Slide 23

Slide 23 text

2022.06.14　　｜　　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 本日のアジェンダ 23 本日のアジェンダ KARTEについて MLOpsとは？ ML基盤の変遷具体例まとめ話すこと

Slide 24

Slide 24 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 具体例具体例

Slide 25

Slide 25 text

2022.06.14　　｜　　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 本日のテーマ 25 - コンセプト - 実験環境 - バッチ予測 - リアルタイム予測 - バッチ基盤拡張具体的に何から始めるべきか？話すこと

Slide 26

Slide 26 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. コンセプトコンセプト

Slide 27

Slide 27 text

2022.06.14　　｜　　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. コンセプト 27 まずはコンセプトからいきなりML基盤を作らないマーケットの反応はどうか？コンセプト

Slide 28

Slide 28 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 実験環境実験環境

Slide 29

Slide 29 text

2022.06.14　　｜　　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. notebook 29 notebook Vertex Workbenchで簡単に探索的にデータ分析・可視化データ権限周りは慎重に！ notebook

Slide 30

Slide 30 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. Light MLOps Ve ex Workbench 良さそうな結果が出そうだ！すぐにプロダクトに活用する方法はないか？ Light MLOps

Slide 31

Slide 31 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. KARTE Signals [Case Study] KARTE Signals

Slide 32

Slide 32 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. KARTE Signals [Case Study] KARTE Signals

Slide 33

Slide 33 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. BQ to BQ Data Scientist Client Cloud Storage Cloud Run JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Ve ex Workbench Simplify - Facebook - Instagram BQ to BQ を実現するには？

Slide 34

Slide 34 text

2022.06.14　　｜　　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. Scheduled notebookをSchedule実行 BQ to BQ, BQ to BT など柔軟になんでも可能

Slide 35

Slide 35 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. Light MLOps notebookだけでも実現可能！ = Light MLOps

Slide 36

Slide 36 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. バッチ予測バッチ予測

Slide 37

Slide 37 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. バッチ予測プロトタイプは良さそうだ！なるべく低コストでスピーディーにプロダクションに入れられないか？バッチ予測

Slide 38

Slide 38 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. ParaML [Case Study] Parameterised ML KARTE DATA ML Model Loyal Customer Score (Stored in BigQuery)

Slide 39

Slide 39 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. ParaML [Case Study] Parameterised ML user_id name Loyal Score aaa Tanaka 0.98 bbb Suzuki 0.88 ccc Iwasaki 0.73 ddd Murakami 0.42 eee Takahashi 0.39 fff Okada 0.32 ggg Takeda 0.20 行動データクライアントエンドユーザースコアに応じてクーポン出し分け紐付けテーブル算出したスコア COUPON “A” COUPON “B”

Slide 40

Slide 40 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. バッチ予測 ML System Flask Server UI Images Container Registory KARTE System Kubernetes Engine KARTE System CI/CD Pipeline Github Actions 弊社開発者 Status Cloud Pub/Sub ML Pipeline AI Platform Pipeline Batch Train AI Platform Training Transform Train Inference KARTE Data BigQuery クライアント AI Platform Pipeline バッチ予測基盤

Slide 41

Slide 41 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. AI Platform Pipipeline AI Platform Pipeline

Slide 42

Slide 42 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. CI/CD CI/CDもこのタイミングで構築 CI/CD Pipeline Github Actions Service Account Cloud IAM Images Container Registory ML Pipeline AI Platform Pipeline Image pipeline

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 問い合わせ予測 [Case Study] リアルタイム問い合わせ予測 Batch 予測 - 使用するデータが数日、数週間で変化する場合 Realtime 予測 - 使用するデータが数秒で変化する場合１週間後ロイヤルカスタマーになるか 20 秒後問い合わせをするか

Slide 48

Slide 48 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 問い合わせ予測 [Case Study] リアルタイム問い合わせ予測検索結果画面 15 sec 検索画面 8 sec エンドユーザー検索画面 10 sec 検索結果画面 20 sec うまく検索できていないユーザー行動上記と類似したユーザー行動をリアルタイムに判別 ... ... event sequence

Slide 49

Slide 49 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. ML Pipeline System (Experiment, Train, Deploy) All Data BigQuery Experiment AI Platform Notebook ML Pipeline AI Platform Pipelines Batch Train AI Platform Training Metadata Cloud Firestore Artifacts Cloud Storage ML Realtime System Prediction API Cloud Run Event Data Cloud Spanner API trigger Cloud Pub/Sub Data Process Cloud Dataﬂow Prediction Result Cloud Bigtable Event Data Cloud Pub/Sub Core Server Compute Engine User Data Cloud Bigtable Core System エンドユーザー Web App リアルタイム予測基盤リアルタイム予測

Slide 50

Slide 50 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. ① Core System から event data を受け取る ② event data を DB に保存 ③ 特定 event のみを抽出して、 Prediction API にリクエスト送信 ④ DB から生データを取得し、予測 ⑤ 予測結果を DB に書き込み ML Realtime System Prediction API Cloud Run Event Data Cloud Spanner API trigger Cloud Pub/Sub Data Process Cloud Dataﬂow Prediction Result Cloud Bigtable Event Data Cloud Pub/Sub ① ② ③ ④ ⑤ { "event_name": "view", "sync_date": “2020-11-29 23:50:23.142 UTC", "keys": { "api_key": "xxxxxx", "user_id": "user_B", "session_id": "yyyy_662", }, "page": "https://plaid.co.jp/", ... } event data 例リアルタイム予測基盤リアルタイム予測

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. CJ探索 [Case Study] カスタマージャーニー探索ゴール (購入 etc.) に繋がりやすい「行動パターン」を遷移確率を元に分析することでなぜ？が見出せます

Slide 54

Slide 54 text

Slide 55

Slide 55 text

2022.06.14　　｜　MLOps in KARTE　　｜　　　｜　　© PLAID Inc. 基盤統合 Analyist KARTE Pockyevent BigQuery Session Summary BigQuery Batch Job GKE Admin GKE Autoscaling Batch Job Dataﬂow Reference Table Cloud Spanner Client ML Pipeline AI Platform Pipeline Prediction Result BigQuery 分析基盤側 ML基盤側統合既存分析基盤とML基盤の統合

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

No content