MLOpsはバズワード

MLOpsという言葉からは運用という印象を受けますが、MLOps製品の機能やMLOpsカンファレンスの発表内容をみると、印象とは異なります。本スライドではなぜMLOpsがバズワードなのか紹介します

Transcript

1. Mobility Technologies Co., Ltd.
   MLOpsはバズワード
   株式会社 Mobility Technologies
   渡部 徹太郎
   2021/6/16
   第8回 MLOps 勉強会 Tokyo (Online)
   

   View Slide

2. Mobility Technologies Co., Ltd.
   ⾃⼰紹介
   2
   ID ：fetaro
   名前：渡部 徹太郎
   学生：東京工業大学でデータベースと情報検索の研究
   (@日本データベース学会)
   職歴：
   * 野村総合研究所(NRI)
   - オンライントレードシステム基盤
   - オープンソース技術部隊
   * リクルートテクノロジーズ
   - ビッグデータ分析基盤
   * Mobility Technologies
   - データエンジニア
   エディタ：emacs派→ InteliJ派
   趣味：麻雀、自宅サーバ
   著書
   増版きまりました！
   

   View Slide

3. Mobility Technologies Co., Ltd.
   nOpsという⾔葉から受けるイメージは監視や改善
   MLOpsという⾔葉
   3
   ML Ops
   ＝Machine Learning Operations
   ＝機械学習の運⽤
   →「機械学習システムを本番化したあとの監視・改善」
   のような印象を受ける
   

   View Slide

4. Mobility Technologies Co., Ltd.
   nアンケートを取ってみたが、本番化や監視・改善が⼀番多かった
   MLOpsという⾔葉
   4
   https://twitter.com/fetarodc/status/1331412910778683392?s=20 https://twitter.com/fetarodc/status/1400329729413054467?s=20
   では本番化や監視・改善がML Opsなのか？ → 実態は違う
   

   View Slide

5. Mobility Technologies Co., Ltd.
   nよく⾒るGoogleの「Hidden Technical Debt in Machine Learning Systems」の図
   （機械学習システムの隠れた技術的負債）
   機械学習システムでやることは多岐にわたる
   5
   https://papers.nips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf
   

   View Slide

6. Mobility Technologies Co., Ltd.
   機械学習システムでやることは多岐にわたる
   6
   MLOpsの文脈で見聞きしたことがある要素
   MLの本丸
   説明
   本番化
   モデル開発
   データ準備
   生
   成
   収
   集
   正解
   ラベル
   付け
   （アノテーシ
   ョン）
   特
   徴
   量
   変
   換
   モデル推定 オンライン
   推論機
   デ
   プ
   ロ
   イ
   実験管理
   バッチ
   推論機
   学習
   データ
   分散処理・ハードウェア（GPU）
   特徴量
   ストア
   モデル
   監視
   精度監視
   性能
   評価
   開発ツール
   ノートブック
   説明可能性
   Explainability
   データ
   ドリフト監視
   ハイパー
   パラメータ
   チューニング
   前
   処
   理
   パイプライン (ワークフロー管理)
   バージョン管理 コンテナ管理
   特徴量
   ストア
   分析ツール
   デバッガ
   nMLOpsの⽂脈で⾒聞きしたことがある要素
   

   View Slide

7. Mobility Technologies Co., Ltd.
   nMLOpsとは、この図の全域または⼀部であり、明確な定義はない
   nこの図にないものも今後MLOpsと呼ばれるかもしれない
   MLOpsとは
   7
   MLOpsの文脈で見聞きしたことがある要素
   MLの本丸
   説明
   本番化
   モデル開発
   データ準備
   生
   成
   収
   集
   正解
   ラベル
   付け
   （アノテーシ
   ョン）
   特
   徴
   量
   変
   換
   モデル推定 オンライン
   推論機
   デ
   プ
   ロ
   イ
   実験管理
   バッチ
   推論機
   学習
   データ
   分散処理・ハードウェア（GPU）
   特徴量
   ストア
   モデル
   監視
   精度監視
   性能
   評価
   開発ツール
   ノートブック
   説明可能性
   Explainability
   データ
   ドリフト監視
   ハイパー
   パラメータ
   チューニング
   前
   処
   理
   パイプライン (ワークフロー管理)
   バージョン管理 コンテナ管理
   特徴量
   ストア
   分析ツール
   デバッガ
   

   View Slide

8. Mobility Technologies Co., Ltd.
   nITベンダは⾃社製品にMLOpsの謳い⽂句をつけるが、カバー範囲がバラバラ
   n例えば Amazon SageMakerはかなり広い範囲をカバーしている
   ITベンダにとってのMLOps
   8
   https://aws.amazon.com/jp/sagemaker/
   

   View Slide

9. Mobility Technologies Co., Ltd.
   n他にも広い範囲をカバーしているツールはある
   （「エンドツーエンド」とよばれることもある）
   n 有名どころ
   n AWS SageMaker
   n Kubeflow ( Kubeflow Pipelines )
   n TensorFlow Extended（TFX）
   n その他
   n GCP AI Platform, Azure AI, MLflow, DataRobot MLOps, ABEJA...
   nこれらのツールによくある機能
   n モデル推定、モデル管理、デプロイ、オンライン推論、バッチ推論
   nこれらのツールでも珍しい機能
   n アノテーション、 特徴量ストア、ハイパーパラメータチューニング、実験管理
   ITベンダにとってのMLOps
   9
   

   View Slide

10. Mobility Technologies Co., Ltd.
    n⼀部に特化するツールもある
    nMLOps Toysというページで多数紹介されている
    n ７つの分類「データバージョニング」「学習オーケス
    トレーション」「特徴量ストア」「実験管理」「モデ
    ル提供」「モデル監視」「説明可能性」
    n例
    n Aporia：データ監視
    n Aim：ハイパーパラメータ管理、実験管理
    n BentoML：デプロイ、監視
    n Bodywork：kubenetesへのデプロイ
    n Butterfree：特徴量ストア
    ITベンダにとってのMLOps
    10
    https://mlops.toys/
    

    View Slide

11. Mobility Technologies Co., Ltd.
    n 2019年開催の「ML Ops NYC19」
    n 発表内容は多岐にわたっていた
    n 例
    n Uber
    n Tensorflow ExtendedではなくApache Sparkを採⽤してパイプラインを作った話
    n https://www.youtube.com/watch?v=u2fs95L5BwI
    n Netflix
    n データサイエンティストに優しい機械学習フレームワーク「METAFLOW」
    n 紹介ブログ： https://lab.mo-t.com/blog/andonlabo-mlops-nyc19
    n Walmart
    n 機械学習プロジェクトの実態と、「⼈」「技術」「プロセス」の３つにフォーカスしたベストプラ
    クティス
    MLOpsのカンファレンス
    11
    詳細はMoTのテックブログ参照
    ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注⽬セッションまとめ
    

    View Slide

12. Mobility Technologies Co., Ltd.
    n 今まさに開催中の「MLOps World」
    n 相変わらずセッションの内容は多岐にわたる
    MLOpsのカンファレンス
    12
    →Kubeflowの話
    →Kubeflowの話
    →データの監視の話
    →監視やモデル説明可能性の話
    →デプロイメントの話
    →Pythonライブラリの話
    https://mlopsworld.com/
    

    View Slide

13. Mobility Technologies Co., Ltd.
    nMLOpsという⾔葉から本番化や運⽤といったイメージを受けるが、実態は違う
    nMLOpsは、機械学習システムにおいて、
    モデル推定以外のやることの全体または⼀部を表しており、
    明確な定義はない
    nITベンダの出すMLOps製品は、全体をカバーしているものもあれば、
    ⼀部に特化しているものもある
    nMLOpsカンファレンスの発表内容は、ツールから⼈材まで多岐にわたる
    まとめ
    13
    

    View Slide

14. Mobility Technologies Co., Ltd.
    MLOpsといわれたら
    「MLOpsのどの辺？」
    と聞き返すようにしよう
    まとめ
    14
    

    View Slide

15. ⽂章·画像等の内容の無断転載及び複製等の⾏為はご遠慮ください。
    Mobility Technologies Co., Ltd.
    15
    

    View Slide