History of the ML system in KARTE

KARTE: https://karte.io/

Transcript

1. 　　｜　　© PLAID Inc. 2022.06.14　　｜　　MLOps in KARTE　　｜　 1 KARTEにおけるMLOpsの変遷 @kargo, ML Tech Lead, PLAID inc.
2. 2022.06.14　　｜　　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 自己紹介 - ML Tech Lead - ex. DeNA AI研究開発エンジニア @kargo
3. 2022.06.14　　｜　　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 本日のアジェンダ 3 本日のアジェンダ KARTEについて MLOpsとは？ ML基盤の変遷 具体例 まとめ 話すこと
4. 　　｜　　© PLAID Inc. 2022.06.14　　｜　　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 株式会社プレイドについて 株式会社プレイド 東京都中央区銀座6-10-1 GINZA SIX 10F 設立：2011年10月 従業員：240名 ※2021年12月末時点
5. 2022.06.14　　｜　　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 5 Stats of KARTE CX(顧客体験)プラットフォーム
6. 2022.06.14　　｜　　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 6 Stats of KARTE データ規模も爆発的に増加 145 億UU 累計ユーザー数 ※1 0.x 秒/解析 解析速度 135,000 over 秒間トラッキング数 ※3 2.43 兆円 年間解析流通金額 ※2 ※1 ローンチ〜2022年3月までのユニークユーザー数の実績 ※2 EC領域における解析流通金額。 2021年3月〜2022年2月までの単年の実績 ※3 閲覧、クリック、購入など KARTEで計測しているユーザーの全イベントが 対象。ローンチ〜 2022年3月までにおける最大値
7. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 導入企業様
8. 2022.06.14　　｜　　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 本日のアジェンダ 8 本日のアジェンダ KARTEについて MLOpsとは？ ML基盤の変遷 具体例 まとめ 話すこと
9. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. MLOpsとは？ MLOpsとは？
10. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. MLOpsとは？ MLOps: Continuous delivery and automation pipelines in machine learning | Google Cloud
11. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. MLOpsとは？ あくまで理想像 MLOps: Continuous delivery and automation pipelines in machine learning | Google Cloud
12. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 目的 目的は... 「MLを使うこと」 「ビジネスで価値を出すこと」
13. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 目的 Lean Startup!
14. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 大事なこと 実験環境 バッチ予測 リアルタイム予測 バッチ基盤拡張 積み重ねが大事！ 精度監視 CI/CD Feature Store パイプライン
15. 2022.06.14　　｜　　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 本日のアジェンダ 15 本日のアジェンダ KARTEについて MLOpsとは？ ML基盤の変遷 具体例 まとめ 話すこと
16. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. ML基盤の変遷 ML基盤の変遷
17. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. ML基盤の変遷 西暦 内容 登壇 2019/8 機械学習基盤の開発コンセプト Google Cloud Next Tokyo ’19 2020/6 パイプライン基盤（バッチ予測） Google Cloud Day Digital ’20 2020/12 リアルタイム予測 Google ML Summit ’20 2021/5 バッチ基盤拡張 Google Cloud Day Digital ’21 2022/4 Light MLOps Google Cloud Day Digital ’22
18. 2022.06.14　　｜　　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. コンセプト 18 コンセプトから いきなりML基盤を作らない コンセプト
19. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. パイプライン ML System Flask Server UI Images Container Registory KARTE System Kubernetes Engine KARTE System CI/CD Pipeline Github Actions 弊社開発者 Status Cloud Pub/Sub ML Pipeline AI Platform Pipeline Batch Train AI Platform Training Transform Train Inference KARTE Data BigQuery クライアント AI Platform Pipeline パイプライン基盤（バッチ予測）
20. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. リアルタイム ML Pipeline System (Experiment, Train, Deploy) All Data BigQuery Experiment AI Platform Notebook ML Pipeline AI Platform Pipelines Batch Train AI Platform Training Metadata Cloud Firestore Artifacts Cloud Storage ML Realtime System Prediction API Cloud Run Event Data Cloud Spanner API trigger Cloud Pub/Sub Data Process Cloud Dataflow Prediction Result Cloud Bigtable Event Data Cloud Pub/Sub Core Server Compute Engine User Data Cloud Bigtable Core System エンドユーザー Web App リアルタイム予測
21. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. バッチ基盤拡張 Analyist Session Summary BigQuery Batch Job GKE Admin GKE Autoscaling Batch Job Dataflow Reference Table Cloud Spanner Client Cache Tables By Conditions BigQuery ML Pipeline AI Platform Pipeline Cloud Bigtable Track GCE Autoscaling Analyze GCE Autoscaling Pub/Sub User KARTE Pockyevent BigQuery バッチ基盤拡張 Prediction Result BigQuery
22. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. Light MLOps Data Scientist Client Cloud Storage Cloud Run JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Ve ex Workbench Simplify - Facebook - Instagram Light MLOps
23. 2022.06.14　　｜　　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 本日のアジェンダ 23 本日のアジェンダ KARTEについて MLOpsとは？ ML基盤の変遷 具体例 まとめ 話すこと
24. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 具体例 具体例
25. 2022.06.14　　｜　　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 本日のテーマ 25 - コンセプト - 実験環境 - バッチ予測 - リアルタイム予測 - バッチ基盤拡張 具体的に 何から始めるべきか？ 話すこと
26. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. コンセプト コンセプト
27. 2022.06.14　　｜　　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. コンセプト 27 まずはコンセプトから いきなりML基盤を作らない マーケットの反応はどうか？ コンセプト
28. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 実験環境 実験環境
29. 2022.06.14　　｜　　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. notebook 29 notebook Vertex Workbenchで簡単に 探索的にデータ分析・可視化 データ権限周りは慎重に！ notebook
30. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. Light MLOps Ve ex Workbench 良さそうな結果が出そうだ！ すぐにプロダクトに活用する方法はないか？ Light MLOps
31. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. KARTE Signals [Case Study] KARTE Signals
32. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. KARTE Signals [Case Study] KARTE Signals
33. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. BQ to BQ Data Scientist Client Cloud Storage Cloud Run JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Ve ex Workbench Simplify - Facebook - Instagram BQ to BQ を実現するには？
34. 2022.06.14　　｜　　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. Scheduled notebookをSchedule実行 BQ to BQ, BQ to BT など柔軟になんでも可能
35. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. Light MLOps notebookだけでも実現可能！ = Light MLOps
36. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. バッチ予測 バッチ予測
37. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. バッチ予測 プロトタイプは良さそうだ！ なるべく低コストでスピーディーにプロ ダクションに入れられないか？ バッチ予測
38. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. ParaML [Case Study] Parameterised ML KARTE DATA ML Model Loyal Customer Score (Stored in BigQuery)
39. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. ParaML [Case Study] Parameterised ML user_id name Loyal Score aaa Tanaka 0.98 bbb Suzuki 0.88 ccc Iwasaki 0.73 ddd Murakami 0.42 eee Takahashi 0.39 fff Okada 0.32 ggg Takeda 0.20 行動データ クライアント エンドユーザー スコアに応じて クーポン出し分け 紐付けテーブル 算出したスコア COUPON “A” COUPON “B”
40. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. バッチ予測 ML System Flask Server UI Images Container Registory KARTE System Kubernetes Engine KARTE System CI/CD Pipeline Github Actions 弊社開発者 Status Cloud Pub/Sub ML Pipeline AI Platform Pipeline Batch Train AI Platform Training Transform Train Inference KARTE Data BigQuery クライアント AI Platform Pipeline バッチ予測基盤
41. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. AI Platform Pipipeline AI Platform Pipeline
42. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. CI/CD CI/CDもこのタイミングで構築 CI/CD Pipeline Github Actions Service Account Cloud IAM Images Container Registory ML Pipeline AI Platform Pipeline Image pipeline
43. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. モニタリング モニタリングも
44. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. バッチ予測 ベースはほとんど揃った！
45. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. リアルタイム予測 リアルタイム予測
46. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. リアルタイム予測 バッチからリアルタイムへ
47. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 問い合わせ予測 [Case Study] リアルタイム問い合わせ予測 Batch 予測 - 使用するデータが数日、数週間で 変化する場合 Realtime 予測 - 使用するデータが数秒で 変化する場合 １週間後 ロイヤル カスタマーになるか 20 秒後 問い合わせをするか
48. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 問い合わせ予測 [Case Study] リアルタイム問い合わせ予測 検索結果画面 15 sec 検索画面 8 sec エンドユーザー 検索画面 10 sec 検索結果画面 20 sec うまく検索できていないユーザー行動 上記と類似したユーザー行動をリアルタイムに判別 ... ... event sequence
49. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. ML Pipeline System (Experiment, Train, Deploy) All Data BigQuery Experiment AI Platform Notebook ML Pipeline AI Platform Pipelines Batch Train AI Platform Training Metadata Cloud Firestore Artifacts Cloud Storage ML Realtime System Prediction API Cloud Run Event Data Cloud Spanner API trigger Cloud Pub/Sub Data Process Cloud Dataflow Prediction Result Cloud Bigtable Event Data Cloud Pub/Sub Core Server Compute Engine User Data Cloud Bigtable Core System エンドユーザー Web App リアルタイム予測基盤 リアルタイム予測
50. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. ① Core System から event data を受け取る ② event data を DB に保存 ③ 特定 event のみを抽出して、 Prediction API に リクエスト送信 ④ DB から生データを取得し、予測 ⑤ 予測結果を DB に書き込み ML Realtime System Prediction API Cloud Run Event Data Cloud Spanner API trigger Cloud Pub/Sub Data Process Cloud Dataflow Prediction Result Cloud Bigtable Event Data Cloud Pub/Sub ① ② ③ ④ ⑤ { "event_name": "view", "sync_date": “2020-11-29 23:50:23.142 UTC", "keys": { "api_key": "xxxxxx", "user_id": "user_B", "session_id": "yyyy_662", }, "page": "https://plaid.co.jp/", ... } event data 例 リアルタイム予測基盤 リアルタイム予測
51. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. バッチ基盤拡張 バッチ基盤拡張
52. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. User Summary [Case Study] User Summary セグメントにして接客に活用
53. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. CJ探索 [Case Study] カスタマージャーニー探索 ゴール (購入 etc.) に繋がりやすい「行動パターン」を遷移確率を元に分析することで なぜ？ が見出せます
54. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. バッチ基盤拡張 Analyist Session Summary BigQuery Batch Job GKE Admin GKE Autoscaling Batch Job Dataflow Reference Table Cloud Spanner Client Cache Tables By Conditions BigQuery ML Pipeline AI Platform Pipeline Cloud Bigtable Track GCE Autoscaling Analyze GCE Autoscaling Pub/Sub User KARTE Pockyevent BigQuery バッチ基盤拡張 Prediction Result BigQuery
55. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 基盤統合 Analyist KARTE Pockyevent BigQuery Session Summary BigQuery Batch Job GKE Admin GKE Autoscaling Batch Job Dataflow Reference Table Cloud Spanner Client ML Pipeline AI Platform Pipeline Prediction Result BigQuery 分析基盤側 ML基盤側 統合 既存分析基盤とML基盤の統合
56. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 初期構築の延長で迅速にできた！ 初期の基盤構築が肝心！ バッチ基盤拡張
57. 2022.06.14　　｜　　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 本日のアジェンダ 57 本日のアジェンダ KARTEについて MLOpsとは？ ML基盤の変遷 具体例 まとめ 話すこと
58. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. まとめ まとめ
59. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 大事なこと 実験環境 バッチ予測 リアルタイム予測 バッチ基盤拡張 積み重ねが大事！ 精度監視 CI/CD Feature Store パイプライン
60. 2022.06.14　　｜　MLOps in KARTE　　｜　 　　｜　　© PLAID Inc. 大事なこと Thank you!