Upgrade to Pro — share decks privately, control downloads, hide ads and more …

History of the ML system in KARTE

kargo113
June 23, 2022

History of the ML system in KARTE

kargo113

June 23, 2022
Tweet

More Decks by kargo113

Other Decks in Technology

Transcript

  1.   |  © PLAID Inc. 2022.06.14  |  MLOps in KARTE  |  1
    KARTEにおけるMLOpsの変遷
    @kargo, ML Tech Lead, PLAID inc.

    View full-size slide

  2. 2022.06.14  |  MLOps in KARTE  | 
      |  © PLAID Inc.
    自己紹介
    - ML Tech Lead
    - ex. DeNA AI研究開発エンジニア
    @kargo

    View full-size slide

  3. 2022.06.14  |  MLOps in KARTE  | 
      |  © PLAID Inc.
    本日のアジェンダ
    3
    本日のアジェンダ
    KARTEについて
    MLOpsとは?
    ML基盤の変遷
    具体例
    まとめ
    話すこと

    View full-size slide

  4.   |  © PLAID Inc. 2022.06.14  |  MLOps in KARTE  | 
      |  © PLAID Inc.
    株式会社プレイドについて
    株式会社プレイド
    東京都中央区銀座6-10-1 GINZA SIX 10F
    設立:2011年10月
    従業員:240名 ※2021年12月末時点

    View full-size slide

  5. 2022.06.14  |  MLOps in KARTE  | 
      |  © PLAID Inc. 5
    Stats of KARTE
    CX(顧客体験)プラットフォーム

    View full-size slide

  6. 2022.06.14  |  MLOps in KARTE  | 
      |  © PLAID Inc. 6
    Stats of KARTE
    データ規模も爆発的に増加
    145 億UU
    累計ユーザー数 ※1
    0.x 秒/解析
    解析速度
    135,000 over
    秒間トラッキング数 ※3
    2.43 兆円
    年間解析流通金額 ※2
    ※1 ローンチ〜2022年3月までのユニークユーザー数の実績
    ※2 EC領域における解析流通金額。
    2021年3月〜2022年2月までの単年の実績
    ※3 閲覧、クリック、購入など
    KARTEで計測しているユーザーの全イベントが
    対象。ローンチ〜
    2022年3月までにおける最大値

    View full-size slide

  7. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    導入企業様

    View full-size slide

  8. 2022.06.14  |  MLOps in KARTE  | 
      |  © PLAID Inc.
    本日のアジェンダ
    8
    本日のアジェンダ
    KARTEについて
    MLOpsとは?
    ML基盤の変遷
    具体例
    まとめ
    話すこと

    View full-size slide

  9. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    MLOpsとは?
    MLOpsとは?

    View full-size slide

  10. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    MLOpsとは?
    MLOps: Continuous delivery and automation pipelines in machine learning | Google Cloud

    View full-size slide

  11. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    MLOpsとは?
    あくまで理想像
    MLOps: Continuous delivery and automation pipelines in machine learning | Google Cloud

    View full-size slide

  12. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    目的
    目的は...
    「MLを使うこと」
    「ビジネスで価値を出すこと」

    View full-size slide

  13. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    目的
    Lean Startup!

    View full-size slide

  14. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    大事なこと
    実験環境 バッチ予測 リアルタイム予測 バッチ基盤拡張
    積み重ねが大事!
    精度監視
    CI/CD
    Feature Store
    パイプライン

    View full-size slide

  15. 2022.06.14  |  MLOps in KARTE  | 
      |  © PLAID Inc.
    本日のアジェンダ
    15
    本日のアジェンダ
    KARTEについて
    MLOpsとは?
    ML基盤の変遷
    具体例
    まとめ
    話すこと

    View full-size slide

  16. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    ML基盤の変遷
    ML基盤の変遷

    View full-size slide

  17. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    ML基盤の変遷
    西暦 内容 登壇
    2019/8 機械学習基盤の開発コンセプト Google Cloud Next Tokyo ’19
    2020/6 パイプライン基盤(バッチ予測) Google Cloud Day Digital ’20
    2020/12 リアルタイム予測 Google ML Summit ’20
    2021/5 バッチ基盤拡張 Google Cloud Day Digital ’21
    2022/4 Light MLOps Google Cloud Day Digital ’22

    View full-size slide

  18. 2022.06.14  |  MLOps in KARTE  | 
      |  © PLAID Inc.
    コンセプト
    18
    コンセプトから
    いきなりML基盤を作らない
    コンセプト

    View full-size slide

  19. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    パイプライン
    ML System
    Flask
    Server
    UI
    Images
    Container
    Registory
    KARTE System
    Kubernetes
    Engine
    KARTE System
    CI/CD Pipeline
    Github
    Actions
    弊社開発者 Status
    Cloud
    Pub/Sub
    ML Pipeline
    AI Platform
    Pipeline
    Batch Train
    AI Platform
    Training
    Transform Train Inference
    KARTE Data
    BigQuery
    クライアント
    AI Platform Pipeline
    パイプライン基盤(バッチ予測)

    View full-size slide

  20. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    リアルタイム
    ML Pipeline System (Experiment, Train, Deploy)
    All Data
    BigQuery
    Experiment
    AI Platform
    Notebook
    ML Pipeline
    AI Platform
    Pipelines
    Batch Train
    AI Platform
    Training
    Metadata
    Cloud
    Firestore
    Artifacts
    Cloud
    Storage
    ML Realtime System
    Prediction
    API
    Cloud Run
    Event Data
    Cloud
    Spanner
    API trigger
    Cloud
    Pub/Sub
    Data Process
    Cloud
    Dataflow
    Prediction
    Result
    Cloud Bigtable
    Event Data
    Cloud
    Pub/Sub
    Core Server
    Compute
    Engine
    User Data
    Cloud
    Bigtable
    Core System
    エンドユーザー
    Web
    App
    リアルタイム予測

    View full-size slide

  21. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    バッチ基盤拡張
    Analyist
    Session Summary
    BigQuery
    Batch Job
    GKE
    Admin
    GKE
    Autoscaling
    Batch Job
    Dataflow
    Reference Table
    Cloud Spanner
    Client
    Cache Tables
    By Conditions
    BigQuery
    ML Pipeline
    AI Platform
    Pipeline
    Cloud
    Bigtable
    Track
    GCE
    Autoscaling
    Analyze
    GCE
    Autoscaling
    Pub/Sub
    User
    KARTE Pockyevent
    BigQuery
    バッチ基盤拡張
    Prediction Result
    BigQuery

    View full-size slide

  22. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    Light MLOps
    Data
    Scientist
    Client
    Cloud
    Storage
    Cloud
    Run
    JobFlow
    Work ows
    BigQuery
    KARTE Data
    BigQuery
    BigQuery
    Ve ex
    Workbench
    Simplify
    - Facebook
    - Instagram
    Light MLOps

    View full-size slide

  23. 2022.06.14  |  MLOps in KARTE  | 
      |  © PLAID Inc.
    本日のアジェンダ
    23
    本日のアジェンダ
    KARTEについて
    MLOpsとは?
    ML基盤の変遷
    具体例
    まとめ
    話すこと

    View full-size slide

  24. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    具体例
    具体例

    View full-size slide

  25. 2022.06.14  |  MLOps in KARTE  | 
      |  © PLAID Inc.
    本日のテーマ
    25
    - コンセプト
    - 実験環境
    - バッチ予測
    - リアルタイム予測
    - バッチ基盤拡張
    具体的に
    何から始めるべきか?
    話すこと

    View full-size slide

  26. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    コンセプト
    コンセプト

    View full-size slide

  27. 2022.06.14  |  MLOps in KARTE  | 
      |  © PLAID Inc.
    コンセプト
    27
    まずはコンセプトから
    いきなりML基盤を作らない
    マーケットの反応はどうか?
    コンセプト

    View full-size slide

  28. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    実験環境
    実験環境

    View full-size slide

  29. 2022.06.14  |  MLOps in KARTE  | 
      |  © PLAID Inc.
    notebook
    29
    notebook
    Vertex Workbenchで簡単に
    探索的にデータ分析・可視化
    データ権限周りは慎重に!
    notebook

    View full-size slide

  30. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    Light MLOps
    Ve ex
    Workbench
    良さそうな結果が出そうだ!
    すぐにプロダクトに活用する方法はないか?
    Light MLOps

    View full-size slide

  31. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    KARTE Signals
    [Case Study] KARTE Signals

    View full-size slide

  32. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    KARTE Signals
    [Case Study] KARTE Signals

    View full-size slide

  33. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    BQ to BQ
    Data
    Scientist
    Client
    Cloud
    Storage
    Cloud
    Run
    JobFlow
    Work ows
    BigQuery
    KARTE Data
    BigQuery
    BigQuery
    Ve ex
    Workbench
    Simplify
    - Facebook
    - Instagram
    BQ to BQ を実現するには?

    View full-size slide

  34. 2022.06.14  |  MLOps in KARTE  | 
      |  © PLAID Inc.
    Scheduled
    notebookをSchedule実行
    BQ to BQ, BQ to BT など柔軟になんでも可能

    View full-size slide

  35. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    Light MLOps
    notebookだけでも実現可能!
    = Light MLOps

    View full-size slide

  36. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    バッチ予測
    バッチ予測

    View full-size slide

  37. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    バッチ予測
    プロトタイプは良さそうだ!
    なるべく低コストでスピーディーにプロ
    ダクションに入れられないか?
    バッチ予測

    View full-size slide

  38. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    ParaML
    [Case Study] Parameterised ML
    KARTE DATA
    ML Model
    Loyal Customer Score
    (Stored in BigQuery)

    View full-size slide

  39. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    ParaML
    [Case Study] Parameterised ML
    user_id name Loyal Score
    aaa Tanaka 0.98
    bbb Suzuki 0.88
    ccc Iwasaki 0.73
    ddd Murakami 0.42
    eee Takahashi 0.39
    fff Okada 0.32
    ggg Takeda 0.20
    行動データ
    クライアント
    エンドユーザー
    スコアに応じて
    クーポン出し分け
    紐付けテーブル
    算出したスコア
    COUPON
    “A”
    COUPON
    “B”

    View full-size slide

  40. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    バッチ予測
    ML System
    Flask
    Server
    UI
    Images
    Container
    Registory
    KARTE System
    Kubernetes
    Engine
    KARTE System
    CI/CD Pipeline
    Github
    Actions
    弊社開発者 Status
    Cloud
    Pub/Sub
    ML Pipeline
    AI Platform
    Pipeline
    Batch Train
    AI Platform
    Training
    Transform Train Inference
    KARTE Data
    BigQuery
    クライアント
    AI Platform Pipeline
    バッチ予測基盤

    View full-size slide

  41. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    AI Platform Pipipeline
    AI Platform Pipeline

    View full-size slide

  42. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    CI/CD
    CI/CDもこのタイミングで構築
    CI/CD Pipeline
    Github
    Actions
    Service
    Account
    Cloud IAM
    Images
    Container
    Registory
    ML Pipeline
    AI Platform
    Pipeline
    Image
    pipeline

    View full-size slide

  43. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    モニタリング
    モニタリングも

    View full-size slide

  44. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    バッチ予測
    ベースはほとんど揃った!

    View full-size slide

  45. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    リアルタイム予測
    リアルタイム予測

    View full-size slide

  46. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    リアルタイム予測
    バッチからリアルタイムへ

    View full-size slide

  47. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    問い合わせ予測
    [Case Study] リアルタイム問い合わせ予測
    Batch 予測
    - 使用するデータが数日、数週間で
    変化する場合
    Realtime 予測
    - 使用するデータが数秒で
    変化する場合
    1週間後
    ロイヤル
    カスタマーになるか
    20 秒後
    問い合わせをするか

    View full-size slide

  48. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    問い合わせ予測
    [Case Study] リアルタイム問い合わせ予測
    検索結果画面
    15 sec
    検索画面
    8 sec
    エンドユーザー
    検索画面
    10 sec
    検索結果画面
    20 sec
    うまく検索できていないユーザー行動
    上記と類似したユーザー行動をリアルタイムに判別
    ... ...
    event sequence

    View full-size slide

  49. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    ML Pipeline System (Experiment, Train, Deploy)
    All Data
    BigQuery
    Experiment
    AI Platform
    Notebook
    ML Pipeline
    AI Platform
    Pipelines
    Batch Train
    AI Platform
    Training
    Metadata
    Cloud
    Firestore
    Artifacts
    Cloud
    Storage
    ML Realtime System
    Prediction
    API
    Cloud Run
    Event Data
    Cloud
    Spanner
    API trigger
    Cloud
    Pub/Sub
    Data Process
    Cloud
    Dataflow
    Prediction
    Result
    Cloud Bigtable
    Event Data
    Cloud
    Pub/Sub
    Core Server
    Compute
    Engine
    User Data
    Cloud
    Bigtable
    Core System
    エンドユーザー
    Web
    App
    リアルタイム予測基盤
    リアルタイム予測

    View full-size slide

  50. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    ① Core System から event data を受け取る
    ② event data を DB に保存
    ③ 特定 event のみを抽出して、 Prediction
    API に リクエスト送信
    ④ DB から生データを取得し、予測
    ⑤ 予測結果を DB に書き込み
    ML Realtime System
    Prediction
    API
    Cloud Run
    Event Data
    Cloud Spanner
    API trigger
    Cloud
    Pub/Sub
    Data Process
    Cloud
    Dataflow
    Prediction
    Result
    Cloud Bigtable
    Event Data
    Cloud
    Pub/Sub





    {
    "event_name": "view",
    "sync_date": “2020-11-29 23:50:23.142 UTC",
    "keys": {
    "api_key": "xxxxxx",
    "user_id": "user_B",
    "session_id": "yyyy_662",
    },
    "page": "https://plaid.co.jp/",
    ...
    }
    event data 例
    リアルタイム予測基盤
    リアルタイム予測

    View full-size slide

  51. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    バッチ基盤拡張
    バッチ基盤拡張

    View full-size slide

  52. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    User Summary
    [Case Study] User Summary
    セグメントにして接客に活用

    View full-size slide

  53. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    CJ探索
    [Case Study] カスタマージャーニー探索
    ゴール (購入 etc.) に繋がりやすい「行動パターン」を遷移確率を元に分析することで なぜ? が見出せます

    View full-size slide

  54. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    バッチ基盤拡張
    Analyist
    Session Summary
    BigQuery
    Batch Job
    GKE
    Admin
    GKE
    Autoscaling
    Batch Job
    Dataflow
    Reference Table
    Cloud Spanner
    Client
    Cache Tables
    By Conditions
    BigQuery
    ML Pipeline
    AI Platform
    Pipeline
    Cloud
    Bigtable
    Track
    GCE
    Autoscaling
    Analyze
    GCE
    Autoscaling
    Pub/Sub
    User
    KARTE Pockyevent
    BigQuery
    バッチ基盤拡張
    Prediction Result
    BigQuery

    View full-size slide

  55. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    基盤統合
    Analyist
    KARTE Pockyevent
    BigQuery
    Session Summary
    BigQuery
    Batch Job
    GKE
    Admin
    GKE
    Autoscaling
    Batch Job
    Dataflow
    Reference Table
    Cloud Spanner
    Client
    ML Pipeline
    AI Platform
    Pipeline
    Prediction Result
    BigQuery
    分析基盤側
    ML基盤側
    統合
    既存分析基盤とML基盤の統合

    View full-size slide

  56. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    初期構築の延長で迅速にできた!
    初期の基盤構築が肝心!
    バッチ基盤拡張

    View full-size slide

  57. 2022.06.14  |  MLOps in KARTE  | 
      |  © PLAID Inc.
    本日のアジェンダ
    57
    本日のアジェンダ
    KARTEについて
    MLOpsとは?
    ML基盤の変遷
    具体例
    まとめ
    話すこと

    View full-size slide

  58. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    まとめ
    まとめ

    View full-size slide

  59. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    大事なこと
    実験環境 バッチ予測 リアルタイム予測 バッチ基盤拡張
    積み重ねが大事!
    精度監視
    CI/CD
    Feature Store
    パイプライン

    View full-size slide

  60. 2022.06.14  | MLOps in KARTE  | 
      |  © PLAID Inc.
    大事なこと
    Thank you!

    View full-size slide