今さら聞けないシリーズ - 機械学習とMLOpsとは

今さら聞けないシリーズ機械学習とMLOpsとは弥生隆明ソリューションアーキテクトデータブリックス・ジャパン

アジェンダ • 機械学習とは • MLOpsとは • Databricksで実現する機械学習・MLOps

機械学習とは機械学習がどう言うものかを説明する前に、機械学習が活用されるデータサイエンスのプロセスを説明します。質問仮説実験分析結果の分析・解釈結果の提供・
コミュニケーション

機械学習とはデータサイエンスは、さまざまなデータから知見を抽出するために 3つのスキルが求められます。ドメイン知識コンピューターサイエンス応用統計学データサイエンス

機械学習とは以下のようにデータサイエンスを定義できます。データサイエンスは、特定ドメインにおいて知見を抽出し、適用するための科学的なプロセスでデータを活用することを目的とした、ドメイン知識、応用統計学、コンピューターサイエンス、そして、機械学習から構成される複数の学問分野にまたがる領域です。

機械学習とはデータサイエンスプロジェクトを成功に導くには、いくつか注意する点があります。質問仮説実験分析結果の分析・解釈結果の提供・
コミュニケーション実世界の問題のフレーミング計測可能な実世界の目標制約、ベースラインソリューション全体の継続的計測

機械学習とは機械学習はデータサイエンスで用いられる、応用統計学とコンピューターサイエンスを組み合わせた技術です。コンピューターサイエンス応用統計学機械学習

機械学習とは機械学習はデータサイエンスで用いられる、応用統計学とコンピューターサイエンスを組み合わせた技術です。機械学習(Machine Learning) タスクを実行するために、コンピュータに対して明示的にプログラムを行うのではなく、機械学習においてはコンピュータがタスクの実行方法を学習します。

機械学習とは機械学習の詳細に行く前に、「機械学習ではない」明示的なプログラミングの例を見ておきましょう。今日は雨が降るでしょうか？コンピューターにプログラミングします... If If Then これは機械学習ではありません

機械学習とは明示的にタスクをプログラムすることなしに、コンピューターはタスクの実施方法を学習します。 P( )

機械学習とは機械学習アルゴリズムはデータから学習を行います。日付湿度雲量雨 2020-08-27 65% 82% Yes
2020-08-28 62% 55% Yes 2020-08-29 30% 12% No 2020-08-30 95% 100% Yes 2020-08-31 82% 40% Yes 2020-09-01 40% 15% No 2020-09-02 21% 9% No

機械学習とは機械学習の利点とは何でしょうか？ ❏ より精度の高い予測 ❏ 大量のデータ(行数)への対応 ❏ 大量の特徴量(列数)への対応 ❏ 人の負荷の削減

機械学習とは機械学習のワークフローを説明します。データ探索データクレンジング特徴量エンジニアリングモデル開発モデル評価モデルデプロ
イメント

機械学習とは機械学習ワークフローとデータサイエンスのプロセスの関係は以下のようになります。データ探索データクレンジング特徴量エンジニアリングモデル開発モデル評価モデルデプロ
イメント質問仮説実験分析結果の分析・解釈結果の提供・コミュニケーション

機械学習とは明示的にタスクをプログラムすることなしに、コンピューターはタスクの実施方法を学習します。 P( )

機械学習とは機械学習にはいくつかのタイプが存在します。前述の例は「教師あり学習」です。日付湿度雲量雨 2020-08-27 65% 82% Yes
2020-08-28 62% 55% Yes 2020-08-29 30% 12% No 教師あり学習では、アルゴリズムは入出力のサンプルに基づき、入力・出力をマッピングする関数を学習します

機械学習とは教師あり学習の例には以下のようなものがあります。 ❏ どのくらいの雨量になるのか？ ❏ いつ在庫切れが起きるのか？ ❏ 患者に対してこの治療法は有効か？ ❏ 立候補者は何票獲得するのか？

機械学習とは教師あり学習で使用した教師データ (ラベル)が存在しない場合でも、「教師なし学習」を活用できる場合があります。教師なし学習では、アルゴリズムは既存のラベルなしに入力データ間の関係性を理解しようとします日付湿度雲量雨 2020-08-27
65% 82% Yes 2020-08-28 62% 55% Yes 2020-08-29 30% 12% No

機械学習とは教師なし学習の例には以下のようなものがあります。 ❏ 購買行動に基づいて顧客をグルーピングできるか？ ❏ 症状に基づいて患者をグルーピングできるか？ ❏ 他のトランザクションと異なる不正行為と思われるトランザクションを特定することができるか？

機械学習とは雨の予測にもいくつかのパターンが存在します。以下のいずれも教師あり学習で解く問題です。 P( ) 降水確率雨量

機械学習とは「雨かそうでないか」を予測する場合、 2つのクラスのどちらかを予測する「分類 (Classification)」問題となります。 P( ) 降水確率日付雨 2020-08-27
Yes 2020-08-28 Yes 2020-08-29 No 分類は教師あり学習のサブセットであり、モデルは事前定義済みのクラスの中からどのクラスであるのかを予測しようとします

機械学習とは分類の例には以下のようなものがあります。 ❏ 誰が選挙に勝つかを予測できるか？ ❏ どのチームがサッカーの試合に勝つかを予測できるか？ ❏ 画像の中にあるのがどの果物であるかを予測できるか？

機械学習とは「どのくらいの量の雨が降るのか」を予測する場合、ラベルの値を予測する「回帰 (Regression)」問題となります。日付雨 2020-08-27 10 mm 2020-08-28 15
mm 2020-08-29 0 mm 回帰は教師あり学習のサブセットであり、モデルは連続的なラベルの値に基づき定量的な値を予測しようとします雨量

機械学習とは回帰の例には以下のようなものがあります。 ❏ 候補者が何票獲得するのかを予測できるか？ ❏ 試合でサッカーチームが何点獲得するのかを予測できるか？

機械学習とは「教師なし学習」はラベルが存在しない場合でも、データ間の関係性の理解に活用することができます。教師なし学習では、アルゴリズムは既存のラベルなしに入力データ間の関係性を理解しようとします日付湿度雲量雨 2020-08-27 65%
82% Yes 2020-08-28 62% 55% Yes 2020-08-29 30% 12% No

機械学習とは教師なし学習の一例として「クラスタリング」があります。日付湿度雲量雨 2020-08-27 65% 82% Yes
2020-08-28 62% 55% Yes 2020-08-29 30% 12% No 2020-08-30 95% 100% Yes 2020-08-31 82% 40% Yes 2020-09-01 40% 15% No 2020-09-02 21% 9% No クラスター1 クラスター2 クラスター3 • 類似するレコードには類似する特徴量が含まれます。 • 事前にクラスター数を決めておく必要があります。

MLOpsとは前章では機械学習とは何か、どのようなモデルを構築するのかを説明しました。しかし、これで終わりではありません！データ探索データクレンジング特徴量エンジニアリングモデル開発モデル評価モデルデプロ
イメント質問仮説実験分析結果の分析・解釈結果の提供・コミュニケーション機械学習モデルを活用してビジネス価値を創出し続けるためには、モデルを運用し続ける必要があります

ML コード設定データ収集データ検証特徴量エンジニアリング計算リソース管理
分析ツールプロセス管理ツールインフラストラクチャの提供モニタリング “Hidden Technical Debt in Machine Learning Systems,” Google NIPS 2015 図1: 上の図に示すように、MLコードは実世界におけるMLシステムのほんの一部です。必要となる周辺のインフラストラクチャは広大かつ複雑なものとなります。 MLにおいて最も難しいのはMLではなくデータです

“これはとても複雑なことになっているぞ” のデータサイエンスプロジェクトは本格運用の前に中断されています。のAIプロジェクトは決して本格配備に到達しません。のMLプロジェクトは本格配備の前のどこかで頓挫しています。
その通りです。そう感じているのはあなただけではありません。 87% 80% 78%

データエンジニア x データサイエンティスト MLOpsとはデータ、MLに必要な技術、チームはサイロ化されています。

• 場当たり的な実験追跡アプローチ • 実験の再現性確保が困難データ準備 • 複数の複雑なデプロイメントオプション •
フレームワークごとに異なるモニタリングアプローチモデル構築モデルのデプロイ • データとMLの連携不足 • モデルで使用されるデータの追跡が困難 MLOpsとは MLのライフサイクルは手動であり、一貫性がなく分断されています。

標準化が必要です

MLOpsとは MLOpsとは機械学習モデルライフサイクル全般を円滑にするために必要な体制・基盤・手法全般を意味します。 MLOps(Machine Learning Operations)とは、データサイエンスチーム、運用チームなど、機械学習モデルの構築・運用に関わるチームが協調し、円滑に機械学習モデルを運用していくための体制・基盤を構築すること、その概念全般を意味します。

MLOpsは恒常的なモデル運用には不可欠ですデータアクセス探索的データ分析特徴量エンジニアリングモデルチューニングモデルトレーニング実験
トラッキングモデル管理 CI / CD モデルサービングモデル監視維持 & ガバナンス

なぜMLOpsはそれほど難しいのでしょうか？ The story of enterprise Machine Learning: “It
took me 3 weeks to develop the model. It’s been >11 months, and it’s still not deployed.” @DineshNirmallBM #StrataData #strataconf 10:19 AM - Mar 7, 2018 • TweetDeck 企業における機械学習の物語：モデル構築に3週間かかったけど、 11ヶ月以上経ってもデプロイされていません。

孤立したデータチーム主流のソフトウェアエンジニアリングオペレーションとの統合の欠如 The story of enterprise Machine Learning: “It
took me 3 weeks to develop the model. It’s been >11 months, and it’s still not deployed.” @DineshNirmallBM #StrataData #strataconf 10:19 AM - Mar 7, 2018 • TweetDeck 混沌としたツールチェイン環境に散在する異なる目的に特化したML ツール実世界で求められるパフォーマンスの欠如時間経過に伴うモデルドリフト、貧弱な観察可能性、説明可能性企業における機械学習の物語：モデル構築に3週間かかったけど、 11ヶ月以上経ってもデプロイされていません。なぜMLOpsはそれほど難しいのでしょうか？

データサイエンスと機械学習はチームスポーツです。しかし、3つの問題が障害となっています。データアクセス探索的データ分析特徴量エンジニアリングモデルチューニングモデルトレーニング
実験トラッキングモデル管理 CI / CD モデルサービングモデル監視維持 & ガバナンス ML / DevOps エンジニアデータエンジニアデータ/ML サイエンティスト

データサイエンスと機械学習はチームスポーツです。しかし、3つの問題が障害となっています。データアクセス探索的データ分析特徴量エンジニアリングモデルチューニングモデルトレーニング
実験トラッキングモデル管理 CI / CD モデルサービングモデル監視維持 & ガバナンス ML / DevOps エンジニアデータエンジニアデータ/ML サイエンティストデータサイエンスで最もハードなのはデータです実験は複雑なものです MLの本格運用は困難です

MLOpsとは MLOpsにおいては共通的な課題が存在しています。 ▪ サイロ化 ▪ MLプロセスのそれぞれが異なる部門に依存しています。 ▪ 再現性の確保 ▪ MLの実験を再現可能、監査可能にするのが困難です。
▪ MLの結果は常に使用されたデータのバージョンに依存します。既存MLモデルのメンテナンスは面倒で時間を浪費するものです！

MLOpsとは MLOpsでは以下のゴールを達成する必要があります。 • チームスポーツです！DE、DS、Opsメンバーが協働する必要があります。 • エンドツーエンドのMLライフサイクルの自動化 • 再現性のあるMLパイプラインの構築 ◦ コードのバージョン管理
(モデル、データ処理) - Azure DevOps, Github, ... ◦ 設定のバージョン管理 (モデル、デプロイ) - Terraform, ... ◦ データのバージョン管理 - Delta, ... • モデルトレーニング、デプロイのための再利用可能なソフトウェア環境 • モデルの追跡、パッケージ、デプロイ • エンドツーエンドのMLライフサイクルのデータガバナンス • 運用、ML関連の課題に対するMLアプリケーションのモニタリング • MLライフサイクルにおけるイベントの通知、アラート

MLOpsとは MLOpsでは以下のゴールを達成する必要があります。 • データとモデルのテスト・検証を追加することで、継続的インテグレーション (CI) はコードのテスト・検証を拡張します。 • 継続的デリバリー (CD) は、新たなMLモデル予測サービスを自動でデプロイ
するMLトレーニングパイプラインのデリバリーに関するものです • 継続的トレーニング (CT) は、再デプロイのためにMLモデルを自動で再トレーニングを行います。 • 継続的モニタリング (CM) は、ビジネスメトリクスに関係するプロダクションデータ、モデルパフォーマンスのモニタリングに関するものです。

©2021 Databricks Inc. — All rights reserved Databricksは、データサイエンスの取り組みをシンプルにするお手伝いをしますデータアクセス
探索的データ分析特徴量エンジニアリングモデルチューニングモデルトレーニング実験トラッキングモデル管理 CI / CD モデルサービングモデル監視維持 & ガバナンス ML / DevOps エンジニアデータエンジニアデータ/ML サイエンティストデータサイエンスで最もハードなのはデータです実験は複雑なものです MLの本格運用は困難です

©2021 Databricks Inc. — All rights reserved データチームをまとめあげるコラボレーティブワークスペースを提供します Data
Access Exploratory Data Analysis Feature Engineering Model Tuning Model Training Experiment Tracking Model Management CI / CD Model Serving Model Monitoring Maintenance & Governance < Data Engineers> < Data Scientists > < MLOps + DevOps > データ/ ML サイエンティスト ML / DevOps エンジニア The hardest part of data science is data 実験は複雑なものです MLの本格運用は困難ですコラボレーティブデータ探索ワークスペースビルトインのデータ準備機能 | ネイティブの可視化機能 | 最適化されたランタイム

©2021 Databricks Inc. — All rights reserved そして、MLライフサイクル全体をサポートする環境を提供します Data
Access Exploratory Data Analysis Feature Engineering Model Tuning Model Training Experiment Tracking Model Management CI / CD Model Serving Model Monitoring Maintenance & Governance < Data Engineers> < Data Scientists > < MLOps + DevOps > ML / DevOps エンジニア The hardest part of data science is data Experimentation is complex MLの本格運用は困難ですコラボレーティブデータ探索ワークスペースビルトインのデータ準備機能 | ネイティブの可視化機能 | 最適化されたランタイム実験環境特徴量ストア | 実験トラッキング | モデルレジストリ

©2021 Databricks Inc. — All rights reserved 大規模データサイエンス運用のためのツールも提供します Data Access
Exploratory Data Analysis Feature Engineering Model Tuning Model Training Experiment Tracking Model Management CI / CD Model Serving Model Monitoring Maintenance & Governance < Data Engineers> < Data Scientists > < MLOps + DevOps > The hardest part of data science is data Experimentation is complex Productionizing ML is difﬁcult コラボレーティブデータ探索ワークスペースビルトインのデータ準備機能 | ネイティブの可視化機能 | 最適化されたランタイム実験環境特徴量ストア | 実験トラッキング | モデルレジストリ MLOps + DevOpsの本格運用 Git連携 | モデルサービング | モデル監視

©2021 Databricks Inc. — All rights reserved Databricks: 完全なデータサイエンス/MLプラットフォーム Exploratory
Data Analysis Data Visualization Feature Selection Model Tuning Model Training Experiment Tracking Model Management CI / CD Model Serving Model Monitoring Maintenance & Governance < Data Scientists > < DevOps > コラボレーティブデータ探索ワークスペースビルトインのデータ準備機能 | ネイティブの可視化機能 | 最適化されたランタイム実験環境特徴量ストア | 実験トラッキング | モデルレジストリ MLOps + DevOpsの本格運用 Git連携 | モデルサービング | モデル監視

©2021 Databricks Inc. — All rights reserved Exploratory Data Analysis
Data Visualization Feature Selection Model Tuning Model Training Experiment Tracking Model Management CI / CD Model Serving Model Monitoring Maintenance & Governance < Data Scientists > < DevOps > MLOps + DevOpsの本格運用 Git連携 | モデルサービング | モデル監視実験環境特徴量ストア | 実験トラッキング | モデルレジストリコラボレーティブデータ探索ワークスペースビルトインのデータ準備機能 | ネイティブの可視化機能 | 最適化されたランタイム Databricks: 完全なデータサイエンス/MLプラットフォーム

©2021 Databricks Inc. — All rights reserved クラウドネイティブのコラボレーション大規模コラボレーティブデータ分析、データサイエンス多言語対応ノートブック
Python、R、Scala、SQL対応の共同編集可能なノートブック実運用への対応ライブラリ、環境定義を構成する任意のファイルタイプのサポートビルトインの可視化、ダッシュボード 12以上の可視化タイプをネイティブサポート、インタラクティブなダッシュボードを作成可能

©2021 Databricks Inc. — All rights reserved サードパーティのエディタのサポートお使いのIDEからセキュアかつスケーラブルな計算資源を利用可能人気のエディタと連携
Jupyter、PyCharm、VSCodeなどと接続可能 RStudioのホスティング RStudioはネイティブでDatabricksでホスティングできます Databricks 管理の計算資源

©2021 Databricks Inc. — All rights reserved データネイティブMLのためのビルトイン特徴量ストア特徴量の再利用、トレーニング、サービングでの活用検索可能な資産としての特徴量
リネージュベースの検索を通じた特徴量の探索、 ACLによって管理された再利用の促進トレーニングとサービングの一貫性トレーニングで使用された特徴量と同じものが、低レーテンシーのモデルサービングでも使用されることを保証モデルデプロイをスムーズに特徴量の再利用とMLﬂowによるMLOpsの自動化を通じてモデルのデプロイを加速

©2021 Databricks Inc. — All rights reserved 自動化されたトラッキングと再現性の確保実験に関するあらゆる情報を自動で記録しますコーディング不要のMLネイティブロギ
ング Tensorﬂow、Pytorch、Scikit-Learn、MLlib などのトレーニングを自動で記録ビルトインのデータバージョンロギング Delta Lakeによるデータバージョンの自動記録

©2021 Databricks Inc. — All rights reserved 自動化されたトラッキングと再現性の確保実験に関するあらゆる情報を自動で記録しますアウトオブボックスの再現性
コード、クラスター設定、ライブラリのバージョンも記録コーディング不要のMLネイティブロギング Tensorﬂow、Pytorch、Scikit-Learn、MLlib などのトレーニングを自動で記録ビルトインのデータバージョンロギング Delta Lakeによるデータバージョンの自動記録

©2021 Databricks Inc. — All rights reserved ネイティブのGit連携 DatabricksでGit操作を行うことで迅速にコードをデプロイ UIベースのGit操作
UIベースのGit操作を通じてデータチームでベストプラクティスを活用 Gitワークフローの自動化著名なCI/CDツールとの連携を通じてワークロードを自動化するAPI エンタープライズにおけるGit デプロイメントプライベートネットワークのエンタープライズGit のサポート

今さら聞けないシリーズ - 機械学習とMLOpsとは

今さら聞けないシリーズ - 機械学習とMLOpsとは

More Decks by Takaaki Yayoi

Other Decks in Technology

Featured

Transcript