Upgrade to Pro — share decks privately, control downloads, hide ads and more …

MLOpsはバズワード

fetaro
June 16, 2021

 MLOpsはバズワード

MLOpsという言葉からは運用という印象を受けますが、MLOps製品の機能やMLOpsカンファレンスの発表内容をみると、印象とは異なります。本スライドではなぜMLOpsがバズワードなのか紹介します

fetaro

June 16, 2021
Tweet

More Decks by fetaro

Other Decks in Technology

Transcript

  1. Mobility Technologies Co., Ltd.
    MLOpsはバズワード
    株式会社 Mobility Technologies
    渡部 徹太郎
    2021/6/16
    第8回 MLOps 勉強会 Tokyo (Online)

    View full-size slide

  2. Mobility Technologies Co., Ltd.
    ⾃⼰紹介
    2
    ID :fetaro
    名前:渡部 徹太郎
    学生:東京工業大学でデータベースと情報検索の研究
    (@日本データベース学会)
    職歴:
    * 野村総合研究所(NRI)
    - オンライントレードシステム基盤
    - オープンソース技術部隊
    * リクルートテクノロジーズ
    - ビッグデータ分析基盤
    * Mobility Technologies
    - データエンジニア
    エディタ:emacs派→ InteliJ派
    趣味:麻雀、自宅サーバ
    著書
    増版きまりました!

    View full-size slide

  3. Mobility Technologies Co., Ltd.
    nOpsという⾔葉から受けるイメージは監視や改善
    MLOpsという⾔葉
    3
    ML Ops
    =Machine Learning Operations
    =機械学習の運⽤
    →「機械学習システムを本番化したあとの監視・改善」
    のような印象を受ける

    View full-size slide

  4. Mobility Technologies Co., Ltd.
    nアンケートを取ってみたが、本番化や監視・改善が⼀番多かった
    MLOpsという⾔葉
    4
    https://twitter.com/fetarodc/status/1331412910778683392?s=20 https://twitter.com/fetarodc/status/1400329729413054467?s=20
    では本番化や監視・改善がML Opsなのか? → 実態は違う

    View full-size slide

  5. Mobility Technologies Co., Ltd.
    nよく⾒るGoogleの「Hidden Technical Debt in Machine Learning Systems」の図
    (機械学習システムの隠れた技術的負債)
    機械学習システムでやることは多岐にわたる
    5
    https://papers.nips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf

    View full-size slide

  6. Mobility Technologies Co., Ltd.
    機械学習システムでやることは多岐にわたる
    6
    MLOpsの文脈で見聞きしたことがある要素
    MLの本丸
    説明
    本番化
    モデル開発
    データ準備




    正解
    ラベル
    付け
    (アノテーシ
    ョン)





    モデル推定 オンライン
    推論機




    実験管理
    バッチ
    推論機
    学習
    データ
    分散処理・ハードウェア(GPU)
    特徴量
    ストア
    モデル
    監視
    精度監視
    性能
    評価
    開発ツール
    ノートブック
    説明可能性
    Explainability
    データ
    ドリフト監視
    ハイパー
    パラメータ
    チューニング



    パイプライン (ワークフロー管理)
    バージョン管理 コンテナ管理
    特徴量
    ストア
    分析ツール
    デバッガ
    nMLOpsの⽂脈で⾒聞きしたことがある要素

    View full-size slide

  7. Mobility Technologies Co., Ltd.
    nMLOpsとは、この図の全域または⼀部であり、明確な定義はない
    nこの図にないものも今後MLOpsと呼ばれるかもしれない
    MLOpsとは
    7
    MLOpsの文脈で見聞きしたことがある要素
    MLの本丸
    説明
    本番化
    モデル開発
    データ準備




    正解
    ラベル
    付け
    (アノテーシ
    ョン)





    モデル推定 オンライン
    推論機




    実験管理
    バッチ
    推論機
    学習
    データ
    分散処理・ハードウェア(GPU)
    特徴量
    ストア
    モデル
    監視
    精度監視
    性能
    評価
    開発ツール
    ノートブック
    説明可能性
    Explainability
    データ
    ドリフト監視
    ハイパー
    パラメータ
    チューニング



    パイプライン (ワークフロー管理)
    バージョン管理 コンテナ管理
    特徴量
    ストア
    分析ツール
    デバッガ

    View full-size slide

  8. Mobility Technologies Co., Ltd.
    nITベンダは⾃社製品にMLOpsの謳い⽂句をつけるが、カバー範囲がバラバラ
    n例えば Amazon SageMakerはかなり広い範囲をカバーしている
    ITベンダにとってのMLOps
    8
    https://aws.amazon.com/jp/sagemaker/

    View full-size slide

  9. Mobility Technologies Co., Ltd.
    n他にも広い範囲をカバーしているツールはある
    (「エンドツーエンド」とよばれることもある)
    n 有名どころ
    n AWS SageMaker
    n Kubeflow ( Kubeflow Pipelines )
    n TensorFlow Extended(TFX)
    n その他
    n GCP AI Platform, Azure AI, MLflow, DataRobot MLOps, ABEJA...
    nこれらのツールによくある機能
    n モデル推定、モデル管理、デプロイ、オンライン推論、バッチ推論
    nこれらのツールでも珍しい機能
    n アノテーション、 特徴量ストア、ハイパーパラメータチューニング、実験管理
    ITベンダにとってのMLOps
    9

    View full-size slide

  10. Mobility Technologies Co., Ltd.
    n⼀部に特化するツールもある
    nMLOps Toysというページで多数紹介されている
    n 7つの分類「データバージョニング」「学習オーケス
    トレーション」「特徴量ストア」「実験管理」「モデ
    ル提供」「モデル監視」「説明可能性」
    n例
    n Aporia:データ監視
    n Aim:ハイパーパラメータ管理、実験管理
    n BentoML:デプロイ、監視
    n Bodywork:kubenetesへのデプロイ
    n Butterfree:特徴量ストア
    ITベンダにとってのMLOps
    10
    https://mlops.toys/

    View full-size slide

  11. Mobility Technologies Co., Ltd.
    n 2019年開催の「ML Ops NYC19」
    n 発表内容は多岐にわたっていた
    n 例
    n Uber
    n Tensorflow ExtendedではなくApache Sparkを採⽤してパイプラインを作った話
    n https://www.youtube.com/watch?v=u2fs95L5BwI
    n Netflix
    n データサイエンティストに優しい機械学習フレームワーク「METAFLOW」
    n 紹介ブログ: https://lab.mo-t.com/blog/andonlabo-mlops-nyc19
    n Walmart
    n 機械学習プロジェクトの実態と、「⼈」「技術」「プロセス」の3つにフォーカスしたベストプラ
    クティス
    MLOpsのカンファレンス
    11
    詳細はMoTのテックブログ参照
    ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注⽬セッションまとめ

    View full-size slide

  12. Mobility Technologies Co., Ltd.
    n 今まさに開催中の「MLOps World」
    n 相変わらずセッションの内容は多岐にわたる
    MLOpsのカンファレンス
    12
    →Kubeflowの話
    →Kubeflowの話
    →データの監視の話
    →監視やモデル説明可能性の話
    →デプロイメントの話
    →Pythonライブラリの話
    https://mlopsworld.com/

    View full-size slide

  13. Mobility Technologies Co., Ltd.
    nMLOpsという⾔葉から本番化や運⽤といったイメージを受けるが、実態は違う
    nMLOpsは、機械学習システムにおいて、
    モデル推定以外のやることの全体または⼀部を表しており、
    明確な定義はない
    nITベンダの出すMLOps製品は、全体をカバーしているものもあれば、
    ⼀部に特化しているものもある
    nMLOpsカンファレンスの発表内容は、ツールから⼈材まで多岐にわたる
    まとめ
    13

    View full-size slide

  14. Mobility Technologies Co., Ltd.
    MLOpsといわれたら
    「MLOpsのどの辺?」
    と聞き返すようにしよう
    まとめ
    14

    View full-size slide

  15. ⽂章·画像等の内容の無断転載及び複製等の⾏為はご遠慮ください。
    Mobility Technologies Co., Ltd.
    15

    View full-size slide