機械学習モデルの運用と実用的なアプローチ

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

©2023 Databricks Inc. — All rights reserved Conﬁdential and Proprietary ML Code Configuration Data Collection Data Verification Feature Extraction Machine Resource Management Analysis Tools Process Management Tools Serving Infrastructure Monitoring “Hidden Technical Debt in Machine Learning Systems,” Google NIPS 2015 Figure 1: 中央の⼩さなボックスで⽰されているように、実際の ML システムのうち ML コードで構成されているのはごく⼀部。必要な周辺インフラストラクチャは広⼤かつ複雑。 MLの最も難しい部分はMLではない

Slide 7

Slide 7 text

Slide 8

Slide 8 text

©2023 Databricks Inc. — All rights reserved Conﬁdential and Proprietary なぜMLOpsが必要なのかリスクの軽減に有⽤ 8 ● 技術的なリスク - 精度の低いモデル、壊れやすいインフラ ● コンプライアンスのリスク - 規制や企業ポリシーの違反自動化を通じて長期的な効率を改善 ● モデルのプロダクションへのデリバリーを効率化 ● プロダクションでエラーが発生する前に捕捉 ● 手動プロセスによる遅延を回避 #dmm_databricks

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

©2023 Databricks Inc. — All rights reserved Conﬁdential and Proprietary 環境 ● Dev ○ データサイエンティスト/機械学習エンジニアが⾃由に開発できる環境 ○ 任意のコードを実⾏可能 ● Staging ○ Dev で開発された機能を本番環境にリリースされる前にテスト ● Prod ○ 本番環境 13 #dmm_databricks

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

©2023 Databricks Inc. — All rights reserved Conﬁdential and Proprietary モデルとコードのライフサイクル 18 #dmm_databricks モデルのデプロイコードのデプロイ Dev ● 学習コードの開発 ● 補助コードの開発 ● プロダクションデータで学習 ● 補助コードとモデルをプロモート ● 学習コードの開発 ● 補助コードの開発 ● Dev データで学習 ● コードをプロモート Staging ● モデルをテスト ● 補助コードをテスト ● 補助コードとモデルをプロモート ● プロダクションデータのサブセットで学習 ● 補助コードをテスト ● コードをプロモート Production ● モデルと補助コードをデプロイ ● プロダクションデータで学習 ● モデルをテスト ● モデルと補助コードをデプロイ

Slide 19

Slide 19 text

©2023 Databricks Inc. — All rights reserved Conﬁdential and Proprietary モデルとコードのライフサイクル 19 #dmm_databricks モデルのデプロイコードのデプロイ Dev ● 学習コードの開発 ● 補助コードの開発 ● プロダクションデータで学習 ● 補助コードとモデルをプロモート ● 学習コードの開発 ● 補助コードの開発 ● Dev データで学習 ● コードをプロモート Staging ● モデルをテスト ● 補助コードをテスト ● 補助コードとモデルをプロモート ● プロダクションデータのサブセットで学習 ● 補助コードをテスト ● コードをプロモート Production ● モデルと補助コードをデプロイ ● プロダクションデータで学習 ● モデルをテスト ● モデルと補助コードをデプロイ • 1回限りの学習 • 学習に⾮常に時間がかかる場合

Slide 20

Slide 20 text

©2023 Databricks Inc. — All rights reserved Conﬁdential and Proprietary モデルとコードのライフサイクル 20 #dmm_databricks モデルのデプロイコードのデプロイ Dev ● 学習コードの開発 ● 補助コードの開発 ● プロダクションデータで学習 ● 補助コードとモデルをプロモート ● 学習コードの開発 ● 補助コードの開発 ● Dev データで学習 ● コードをプロモート Staging ● モデルをテスト ● 補助コードをテスト ● 補助コードとモデルをプロモート ● プロダクションデータのサブセットで学習 ● 補助コードをテスト ● コードをプロモート Production ● モデルと補助コードをデプロイ ● プロダクションデータで学習 ● モデルをテスト ● モデルと補助コードをデプロイ RECOMMENDED

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

©2023 Databricks Inc. — All rights reserved Conﬁdential and Proprietary 参考資料 ● The Big Book of MLOps https://www.databricks.com/resources/ebook/the-big-book-of-mlops ○ 約80ページの超⼤作 ○ LLM Ops についても記載 ○ 以下のQRコードか「The Big Book of MLOps」で検索🔎 36 #dmm_databricks

Slide 37

Slide 37 text