Mobility Technologies Co., Ltd. MLOpsはバズワード 株式会社 Mobility Technologies 渡部 徹太郎 2021/6/16 第8回 MLOps 勉強会 Tokyo (Online) 

Mobility Technologies Co., Ltd. ⾃⼰紹介 2 ID ：fetaro 名前：渡部 徹太郎 学生：東京工業大学でデータベースと情報検索の研究 (@日本データベース学会) 職歴： * 野村総合研究所(NRI) - オンライントレードシステム基盤 - オープンソース技術部隊 * リクルートテクノロジーズ - ビッグデータ分析基盤 * Mobility Technologies - データエンジニア エディタ：emacs派→ InteliJ派 趣味：麻雀、自宅サーバ 著書 増版きまりました！ 

Mobility Technologies Co., Ltd. nOpsという⾔葉から受けるイメージは監視や改善 MLOpsという⾔葉 3 ML Ops ＝Machine Learning Operations ＝機械学習の運⽤ →「機械学習システムを本番化したあとの監視・改善」 のような印象を受ける 

Mobility Technologies Co., Ltd. nアンケートを取ってみたが、本番化や監視・改善が⼀番多かった MLOpsという⾔葉 4 https://twitter.com/fetarodc/status/1331412910778683392?s=20 https://twitter.com/fetarodc/status/1400329729413054467?s=20 では本番化や監視・改善がML Opsなのか？ → 実態は違う 

Mobility Technologies Co., Ltd. nよく⾒るGoogleの「Hidden Technical Debt in Machine Learning Systems」の図 （機械学習システムの隠れた技術的負債） 機械学習システムでやることは多岐にわたる 5 https://papers.nips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf 

Mobility Technologies Co., Ltd. 機械学習システムでやることは多岐にわたる 6 MLOpsの文脈で見聞きしたことがある要素 MLの本丸 説明 本番化 モデル開発 データ準備 生 成 収 集 正解 ラベル 付け （アノテーシ ョン） 特 徴 量 変 換 モデル推定 オンライン 推論機 デ プ ロ イ 実験管理 バッチ 推論機 学習 データ 分散処理・ハードウェア（GPU） 特徴量 ストア モデル 監視 精度監視 性能 評価 開発ツール ノートブック 説明可能性 Explainability データ ドリフト監視 ハイパー パラメータ チューニング 前 処 理 パイプライン (ワークフロー管理) バージョン管理 コンテナ管理 特徴量 ストア 分析ツール デバッガ nMLOpsの⽂脈で⾒聞きしたことがある要素 

Mobility Technologies Co., Ltd. nMLOpsとは、この図の全域または⼀部であり、明確な定義はない nこの図にないものも今後MLOpsと呼ばれるかもしれない MLOpsとは 7 MLOpsの文脈で見聞きしたことがある要素 MLの本丸 説明 本番化 モデル開発 データ準備 生 成 収 集 正解 ラベル 付け （アノテーシ ョン） 特 徴 量 変 換 モデル推定 オンライン 推論機 デ プ ロ イ 実験管理 バッチ 推論機 学習 データ 分散処理・ハードウェア（GPU） 特徴量 ストア モデル 監視 精度監視 性能 評価 開発ツール ノートブック 説明可能性 Explainability データ ドリフト監視 ハイパー パラメータ チューニング 前 処 理 パイプライン (ワークフロー管理) バージョン管理 コンテナ管理 特徴量 ストア 分析ツール デバッガ 

Mobility Technologies Co., Ltd. nITベンダは⾃社製品にMLOpsの謳い⽂句をつけるが、カバー範囲がバラバラ n例えば Amazon SageMakerはかなり広い範囲をカバーしている ITベンダにとってのMLOps 8 https://aws.amazon.com/jp/sagemaker/ 

Mobility Technologies Co., Ltd. n他にも広い範囲をカバーしているツールはある （「エンドツーエンド」とよばれることもある） n 有名どころ n AWS SageMaker n Kubeflow ( Kubeflow Pipelines ) n TensorFlow Extended（TFX） n その他 n GCP AI Platform, Azure AI, MLflow, DataRobot MLOps, ABEJA... nこれらのツールによくある機能 n モデル推定、モデル管理、デプロイ、オンライン推論、バッチ推論 nこれらのツールでも珍しい機能 n アノテーション、 特徴量ストア、ハイパーパラメータチューニング、実験管理 ITベンダにとってのMLOps 9 

Mobility Technologies Co., Ltd. n⼀部に特化するツールもある nMLOps Toysというページで多数紹介されている n ７つの分類「データバージョニング」「学習オーケス トレーション」「特徴量ストア」「実験管理」「モデ ル提供」「モデル監視」「説明可能性」 n例 n Aporia：データ監視 n Aim：ハイパーパラメータ管理、実験管理 n BentoML：デプロイ、監視 n Bodywork：kubenetesへのデプロイ n Butterfree：特徴量ストア ITベンダにとってのMLOps 10 https://mlops.toys/ 

Mobility Technologies Co., Ltd. n 2019年開催の「ML Ops NYC19」 n 発表内容は多岐にわたっていた n 例 n Uber n Tensorflow ExtendedではなくApache Sparkを採⽤してパイプラインを作った話 n https://www.youtube.com/watch?v=u2fs95L5BwI n Netflix n データサイエンティストに優しい機械学習フレームワーク「METAFLOW」 n 紹介ブログ： https://lab.mo-t.com/blog/andonlabo-mlops-nyc19 n Walmart n 機械学習プロジェクトの実態と、「⼈」「技術」「プロセス」の３つにフォーカスしたベストプラ クティス MLOpsのカンファレンス 11 詳細はMoTのテックブログ参照 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注⽬セッションまとめ 

Mobility Technologies Co., Ltd. n 今まさに開催中の「MLOps World」 n 相変わらずセッションの内容は多岐にわたる MLOpsのカンファレンス 12 →Kubeflowの話 →Kubeflowの話 →データの監視の話 →監視やモデル説明可能性の話 →デプロイメントの話 →Pythonライブラリの話 https://mlopsworld.com/ 

Mobility Technologies Co., Ltd. nMLOpsという⾔葉から本番化や運⽤といったイメージを受けるが、実態は違う nMLOpsは、機械学習システムにおいて、 モデル推定以外のやることの全体または⼀部を表しており、 明確な定義はない nITベンダの出すMLOps製品は、全体をカバーしているものもあれば、 ⼀部に特化しているものもある nMLOpsカンファレンスの発表内容は、ツールから⼈材まで多岐にわたる まとめ 13 

Mobility Technologies Co., Ltd. MLOpsといわれたら 「MLOpsのどの辺？」 と聞き返すようにしよう まとめ 14 

⽂章·画像等の内容の無断転載及び複製等の⾏為はご遠慮ください。 Mobility Technologies Co., Ltd. 15