$30 off During Our Annual Pro Sale. View Details »

MLOps初心者がMLflowを触る / MLflow Brief Introduction

MLOps初心者がMLflowを触る / MLflow Brief Introduction

Henry Cui

July 29, 2023
Tweet

More Decks by Henry Cui

Other Decks in Programming

Transcript

  1. MLOps初心者がMLflowを触る
    機械学習の社会実装勉強会第25回
    Henry
    2023/7/29

    View Slide

  2. モチベーション
    ■ MLOpsにおいて実験管理をきちんとしたい
    ● データバージョン
    ● モデルバージョン
    ● 実行バージョン
    ● …
    ● 今までは自前ログ + flaskで可視化
    ■ MLflowが有力な候補
    ● 4つの機能:Tracking, Projects, Models, Registry
    ● オープンソースでスター15k近く
    ● 他のフレームワークと相性が良い
    2

    View Slide

  3. 内容
    ■ 環境情報
    ● Python 3.8.6
    ● mlflow==2.5.0
    ■ MLflow Trackingの基本的な概念
    ■ インタラクティブなUI
    3

    View Slide

  4. run
    ■ 一回の一区切りの動きは、一つの run
    ■ with mlflow.start_run(): のスコープで書くことがで
    きる
    ■ 同じコードを複数回実行することで、複数のrunの履歴が作ら
    れる
    ■ 詳しくはデモで
    4

    View Slide

  5. インタラクティブなUI
    ■ mlflow ui コマンド
    ■ pydantic 2の問題でmlflow uiが立ち上がらない
    ● pydantic.errors.PydanticUserError: If you use
    `@root_validator` with pre=False (the default)
    you MUST specify `skip_on_failure=True`. Note
    that `@root_validator` is deprecated and should
    be replaced with `@model_validator`.
    ● pydantic==1.10.12に戻せばよい
    ■ runの履歴の間の比較もできる
    5

    View Slide

  6. experiment は run を束ねる
    ■ mlflow.tracking.MlflowClientのインスタンスを用いて操作する
    ■ そのインスタンスのメソッドで、experimentとrunの制御を行う
    ● experimentやrunの制御
    ● パラメータのログ
    ● …
    ■ 詳しくはデモで
    6

    View Slide

  7. まとめ
    ■ mlflowの基本的な概念
    ■ mlflow uiの基本的な扱い方
    7

    View Slide