$30 off During Our Annual Pro Sale. View Details »

LightMLOps using Vertex Workbench

kargo113
April 19, 2022

LightMLOps using Vertex Workbench

kargo113

April 19, 2022
Tweet

More Decks by kargo113

Other Decks in Technology

Transcript

  1. MLOps 再入門!Vertex AI で広が る MLOps の世界と実践例 @kargo113 株式会社プレイド Lead

    Analytics Engineer
  2. Agenda • KARTE について • “Light” MLOps • ワークフロー •

    今後の展望 • まとめ
  3. KARTE について

  4. 株式会社プレイド 東京都中央区銀座6-10-1 GINZA SIX 10F 設立:2011 年 10 月 従業員:190

    名 ※2020 年 9 月 30 日 時点 資本金:26 億 3201 万 3778 円 ※2021 年 3 月 31 日 時点 創業 CXプラットフォーム「KARTE」正式版を提供開始 「KARTE for App」を提供開始 既存投資家を中心に 7社から総額27億円の資金調達を実施 「2018 年日本テクノロジー Fast 50」で 3 位受賞 Google からの資金調達を実施 「KARTE Blocks」を提供開始 東証マザーズへ新規上場 2011 年 10 月 2015 年 3 月 2018 年 3 月 2018 年 4 月 2018 年 10 月 2019 年 11 月 2020 年 7 月 2020 年 12 月 東京都中央区銀座 6-10-1 GINZA SIX 10F 設立:2011 年 10 月 従業員:240 名(2021 年 12 月時点) 株式会社プレイド
  5. Customer Experience Platform karte.io

  6. 145 億 UU 累計ユーザー数 ※1 135,000 over 秒間トラッキング数 ※3 0.x

    秒/解析 解析速度 2.43 兆円 年間解析流通金額 ※2 ※1 ローンチ〜 2022 年 3 月までの解析ユニークユーザー数の実績 ※2 EC 領域における解析流通金額。 2021 年 3 月 〜 2022 年 2 月までの 単年の実績 ※3 秒間解析イベント数 (閲覧、購入、クリックなど全計測イベントが対象。 2022 年 3 月最大値) 180 + PB 月間解析データ量 8 + PB 蓄積データ量 Customer Experience Platform karte.io
  7. KARTE 導入企業様 ※2021 年 9 月 27 日時点(順不同/一部抜粋)

  8. KARTE Signals Face book Insta gram

  9. KARTE Signals Facebook Instagram

  10. “Light” MLOps

  11. MLOps vs “Light” MLOps MLOps “Light” MLOps エンジニア工数の削減 △ ◦

    モデル開発集中度 △ ◦ 複雑なワークフロー ◦ △ Github 管理 ◦ △
  12. MLOps Architecture Data Scientist Client Cloud Storage Cloud Run JobFlow

    Work ows BigQuery BigQuery AI Pla orm Training AI Pla orm Training AI Pla orm Training AI Pla orm Pipeline Container Registory Github Actions AI Pla orm Notebooks KARTE Data BigQuery Engineer - Facebook - Instagram
  13. “Light” MLOps Architecture Data Scientist Client Cloud Storage Cloud Run

    JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Vertex Workbench Simplify - Facebook - Instagram
  14. ワークフロー

  15. Data Scientist のワークフロー External Table Link 必要に応じて KARTE または 外部のテーブルと連携する

    Notebook Notebook で分析及び機械学習 モデルを作成 Output Table 出力テーブルが定期更新されて いるか確認する Schedule Execution Notebook を定期実行する Parameterized 変数を Parameter にして汎用化 する
  16. “Light” MLOps Architecture Data Scientist Client Cloud Storage Cloud Run

    JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Vertex Workbench - Facebook - Instagram
  17. Place Image Here Notebook Component ごとに処理を構築し、 Notebook を作成します install Parameters

    Preprocess Train, Inference, PostProcess … etc
  18. Place Image Here Pamameterized Parameters を設定したい Cell を 選択します

  19. Place Image Here Pamameterized Cell に「Parameters」 タグを付与する ことで、Execution する際に変更可能 な

    Parameters を設定します
  20. Place Image Here Schedule Execution Execute ボタンをクリックします

  21. Place Image Here Schedule Execution Schedule Execution を設定します

  22. Place Image Here Schedule Execution 最後に Submit します

  23. Place Image Here Schedule Execution 「Schedules」のタブから設定したタス クが確認できます

  24. Place Image Here Schedule Execution 「Executions」のタブからタスクの実行 結果がそれぞれ確認できます

  25. Place Image Here Schedule Execution さらに「VIEW RESULT」から実行結果 が簡単に確認できます

  26. Place Image Here Schedule Execution Confusion Matrix や Feature Importance

    なども確認できます
  27. Place Image Here Output Table 出力先のテーブルが Schedule 通り に更新されていることを確認します

  28. Place Image Here Output Table ユーザーごとに CV するかどうかのラ ベルの予測値が更新されます

  29. “Light” MLOps Architecture Data Scientist Client Cloud Storage Cloud Run

    JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Vertex Workbench - Facebook - Instagram
  30. Place Image Here External Table Link KARTE Datahub のデータセットと連 携します

  31. “Light” MLOps Architecture Data Scientist Client Cloud Storage Cloud Run

    JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Vertex Workbench - Facebook - Instagram
  32. Place Image Here External Table Link JobFlow にて Facebook Conversions

    API に日次で連携する ジョブを構築します Face book Insta gram
  33. Data Scientist のワークフロー External Table Link 必要に応じて KARTE または 外部のテーブルと連携する

    Notebook Notebook で分析及び機械学習 モデルを作成 Output Table 出力テーブルが定期更新されて いるか確認する Schedule Execution Notebook を定期実行する Parameterized 変数を Parameter にして汎用化 する エンジニア工数なし! モデル開発に集中可能!
  34. 今後の展望

  35. execute notebook operator を利用 することで、任意の notebook を pipeline 連携できるようになります Vertex

    Pipeline
  36. “Light” MLOps Future Architecture Data Scientist Client API Vertex Workbench

    KARTE Data BigQuery Vertex Pipeline Cloud Storage Cloud Run JobFlow Work ows BigQuery BigQuery Vertex Workbench Vertex Workbench - Facebook - Instagram
  37. まとめ

  38. エンジニアの工数を用いずに、データサイエンティストの みで MLOps がスムーズに行えるようになる 01 03 02 “Light” MLOps まとめ

    データサイエンティストがこれまで以上にモデル開発に 集中できるようになる Vertex Pipeline 等の Vertex AI 各種機能を用いること で、さらなる拡張が可能になる