今さら聞けないシリーズ - 機械学習とMLOpsとは

Slide 1

Slide 1 text

今さら聞けないシリーズ機械学習とMLOpsとは弥生隆明ソリューションアーキテクトデータブリックス・ジャパン

Slide 2

Slide 2 text

アジェンダ ● 機械学習とは ● MLOpsとは ● Databricksで実現する機械学習・MLOps

Slide 3

Slide 3 text

アジェンダ ● 機械学習とは ● MLOpsとは ● Databricksで実現する機械学習・MLOps

Slide 4

Slide 4 text

機械学習とは機械学習がどう言うものかを説明する前に、機械学習が活用されるデータサイエンスのプロセスを説明します。質問仮説実験分析結果の分析・解釈結果の提供・コミュニケーション

Slide 5

Slide 5 text

機械学習とはデータサイエンスは、さまざまなデータから知見を抽出するために 3つのスキルが求められます。ドメイン知識コンピューターサイエンス応用統計学データサイエンス

Slide 6

Slide 6 text

機械学習とは以下のようにデータサイエンスを定義できます。データサイエンスは、特定ドメインにおいて知見を抽出し、適用するための科学的なプロセスでデータを活用することを目的とした、ドメイン知識、応用統計学、コンピューターサイエンス、そして、機械学習から構成される複数の学問分野にまたがる領域です。

Slide 7

Slide 7 text

機械学習とはデータサイエンスプロジェクトを成功に導くには、いくつか注意する点があります。質問仮説実験分析結果の分析・解釈結果の提供・コミュニケーション実世界の問題のフレーミング計測可能な実世界の目標制約、ベースラインソリューション全体の継続的計測

Slide 8

Slide 8 text

機械学習とは機械学習はデータサイエンスで用いられる、応用統計学とコンピューターサイエンスを組み合わせた技術です。コンピューターサイエンス応用統計学機械学習

Slide 9

Slide 9 text

機械学習とは機械学習はデータサイエンスで用いられる、応用統計学とコンピューターサイエンスを組み合わせた技術です。機械学習(Machine Learning) タスクを実行するために、コンピュータに対して明示的にプログラムを行うのではなく、機械学習においてはコンピュータがタスクの実行方法を学習します。

Slide 10

Slide 10 text

機械学習とは機械学習の詳細に行く前に、「機械学習ではない」明示的なプログラミングの例を見ておきましょう。今日は雨が降るでしょうか？コンピューターにプログラミングします... If If Then これは機械学習ではありません

Slide 11

Slide 11 text

機械学習とは明示的にタスクをプログラムすることなしに、コンピューターはタスクの実施方法を学習します。 P( )

Slide 12

Slide 12 text

機械学習とは機械学習アルゴリズムはデータから学習を行います。日付湿度雲量雨 2020-08-27 65% 82% Yes 2020-08-28 62% 55% Yes 2020-08-29 30% 12% No 2020-08-30 95% 100% Yes 2020-08-31 82% 40% Yes 2020-09-01 40% 15% No 2020-09-02 21% 9% No

Slide 13

Slide 13 text

機械学習とは機械学習の利点とは何でしょうか？ ❏ より精度の高い予測 ❏ 大量のデータ(行数)への対応 ❏ 大量の特徴量(列数)への対応 ❏ 人の負荷の削減

Slide 14

Slide 14 text

機械学習とは機械学習のワークフローを説明します。データ探索データクレンジング特徴量エンジニアリングモデル開発モデル評価モデルデプロイメント

Slide 15

Slide 15 text

機械学習とは機械学習ワークフローとデータサイエンスのプロセスの関係は以下のようになります。データ探索データクレンジング特徴量エンジニアリングモデル開発モデル評価モデルデプロイメント質問仮説実験分析結果の分析・解釈結果の提供・コミュニケーション

Slide 16

Slide 16 text

機械学習とは明示的にタスクをプログラムすることなしに、コンピューターはタスクの実施方法を学習します。 P( )

Slide 17

Slide 17 text

機械学習とは機械学習にはいくつかのタイプが存在します。前述の例は「教師あり学習」です。日付湿度雲量雨 2020-08-27 65% 82% Yes 2020-08-28 62% 55% Yes 2020-08-29 30% 12% No 教師あり学習では、アルゴリズムは入出力のサンプルに基づき、入力・出力をマッピングする関数を学習します

Slide 18

Slide 18 text

機械学習とは教師あり学習の例には以下のようなものがあります。 ❏ どのくらいの雨量になるのか？ ❏ いつ在庫切れが起きるのか？ ❏ 患者に対してこの治療法は有効か？ ❏ 立候補者は何票獲得するのか？

Slide 19

Slide 19 text

機械学習とは教師あり学習で使用した教師データ (ラベル)が存在しない場合でも、「教師なし学習」を活用できる場合があります。教師なし学習では、アルゴリズムは既存のラベルなしに入力データ間の関係性を理解しようとします日付湿度雲量雨 2020-08-27 65% 82% Yes 2020-08-28 62% 55% Yes 2020-08-29 30% 12% No

Slide 20

Slide 20 text

機械学習とは教師なし学習の例には以下のようなものがあります。 ❏ 購買行動に基づいて顧客をグルーピングできるか？ ❏ 症状に基づいて患者をグルーピングできるか？ ❏ 他のトランザクションと異なる不正行為と思われるトランザクションを特定することができるか？

Slide 21

Slide 21 text

機械学習とは雨の予測にもいくつかのパターンが存在します。以下のいずれも教師あり学習で解く問題です。 P( ) 降水確率雨量

Slide 22

Slide 22 text

機械学習とは「雨かそうでないか」を予測する場合、 2つのクラスのどちらかを予測する「分類 (Classification)」問題となります。 P( ) 降水確率日付雨 2020-08-27 Yes 2020-08-28 Yes 2020-08-29 No 分類は教師あり学習のサブセットであり、モデルは事前定義済みのクラスの中からどのクラスであるのかを予測しようとします

Slide 23

Slide 23 text

機械学習とは分類の例には以下のようなものがあります。 ❏ 誰が選挙に勝つかを予測できるか？ ❏ どのチームがサッカーの試合に勝つかを予測できるか？ ❏ 画像の中にあるのがどの果物であるかを予測できるか？

Slide 24

Slide 24 text

機械学習とは「どのくらいの量の雨が降るのか」を予測する場合、ラベルの値を予測する「回帰 (Regression)」問題となります。日付雨 2020-08-27 10 mm 2020-08-28 15 mm 2020-08-29 0 mm 回帰は教師あり学習のサブセットであり、モデルは連続的なラベルの値に基づき定量的な値を予測しようとします雨量

Slide 25

Slide 25 text

機械学習とは回帰の例には以下のようなものがあります。 ❏ 候補者が何票獲得するのかを予測できるか？ ❏ 試合でサッカーチームが何点獲得するのかを予測できるか？

Slide 26

Slide 26 text

機械学習とは「教師なし学習」はラベルが存在しない場合でも、データ間の関係性の理解に活用することができます。教師なし学習では、アルゴリズムは既存のラベルなしに入力データ間の関係性を理解しようとします日付湿度雲量雨 2020-08-27 65% 82% Yes 2020-08-28 62% 55% Yes 2020-08-29 30% 12% No

Slide 27

Slide 27 text

機械学習とは教師なし学習の一例として「クラスタリング」があります。日付湿度雲量雨 2020-08-27 65% 82% Yes 2020-08-28 62% 55% Yes 2020-08-29 30% 12% No 2020-08-30 95% 100% Yes 2020-08-31 82% 40% Yes 2020-09-01 40% 15% No 2020-09-02 21% 9% No クラスター1 クラスター2 クラスター3 ● 類似するレコードには類似する特徴量が含まれます。 ● 事前にクラスター数を決めておく必要があります。

Slide 28

Slide 28 text

アジェンダ ● 機械学習とは ● MLOpsとは ● Databricksで実現する機械学習・MLOps

Slide 29

Slide 29 text

MLOpsとは前章では機械学習とは何か、どのようなモデルを構築するのかを説明しました。しかし、これで終わりではありません！データ探索データクレンジング特徴量エンジニアリングモデル開発モデル評価モデルデプロイメント質問仮説実験分析結果の分析・解釈結果の提供・コミュニケーション機械学習モデルを活用してビジネス価値を創出し続けるためには、モデルを運用し続ける必要があります

Slide 30

Slide 30 text

ML コード設定データ収集データ検証特徴量エンジニアリング計算リソース管理分析ツールプロセス管理ツールインフラストラクチャの提供モニタリング “Hidden Technical Debt in Machine Learning Systems,” Google NIPS 2015 図1: 上の図に示すように、MLコードは実世界におけるMLシステムのほんの一部です。必要となる周辺のインフラストラクチャは広大かつ複雑なものとなります。 MLにおいて最も難しいのはMLではなくデータです

Slide 31

Slide 31 text

“これはとても複雑なことになっているぞ” のデータサイエンスプロジェクトは本格運用の前に中断されています。のAIプロジェクトは決して本格配備に到達しません。のMLプロジェクトは本格配備の前のどこかで頓挫しています。その通りです。そう感じているのはあなただけではありません。 87% 80% 78%

Slide 32

Slide 32 text

データエンジニア x データサイエンティスト MLOpsとはデータ、MLに必要な技術、チームはサイロ化されています。

Slide 33

Slide 33 text

● 場当たり的な実験追跡アプローチ ● 実験の再現性確保が困難データ準備 ● 複数の複雑なデプロイメントオプション ● フレームワークごとに異なるモニタリングアプローチモデル構築モデルのデプロイ ● データとMLの連携不足 ● モデルで使用されるデータの追跡が困難 MLOpsとは MLのライフサイクルは手動であり、一貫性がなく分断されています。

Slide 34

Slide 34 text

標準化が必要です

Slide 35

Slide 35 text

MLOpsとは MLOpsとは機械学習モデルライフサイクル全般を円滑にするために必要な体制・基盤・手法全般を意味します。 MLOps(Machine Learning Operations)とは、データサイエンスチーム、運用チームなど、機械学習モデルの構築・運用に関わるチームが協調し、円滑に機械学習モデルを運用していくための体制・基盤を構築すること、その概念全般を意味します。

Slide 36

Slide 36 text

MLOpsは恒常的なモデル運用には不可欠ですデータアクセス探索的データ分析特徴量エンジニアリングモデルチューニングモデルトレーニング実験トラッキングモデル管理 CI / CD モデルサービングモデル監視維持 & ガバナンス

Slide 37

Slide 37 text

なぜMLOpsはそれほど難しいのでしょうか？ The story of enterprise Machine Learning: “It took me 3 weeks to develop the model. It’s been >11 months, and it’s still not deployed.” @DineshNirmallBM #StrataData #strataconf 10:19 AM - Mar 7, 2018 • TweetDeck 企業における機械学習の物語：モデル構築に3週間かかったけど、 11ヶ月以上経ってもデプロイされていません。

Slide 38

Slide 38 text

孤立したデータチーム主流のソフトウェアエンジニアリングオペレーションとの統合の欠如 The story of enterprise Machine Learning: “It took me 3 weeks to develop the model. It’s been >11 months, and it’s still not deployed.” @DineshNirmallBM #StrataData #strataconf 10:19 AM - Mar 7, 2018 • TweetDeck 混沌としたツールチェイン環境に散在する異なる目的に特化したML ツール実世界で求められるパフォーマンスの欠如時間経過に伴うモデルドリフト、貧弱な観察可能性、説明可能性企業における機械学習の物語：モデル構築に3週間かかったけど、 11ヶ月以上経ってもデプロイされていません。なぜMLOpsはそれほど難しいのでしょうか？

Slide 39

Slide 39 text

データサイエンスと機械学習はチームスポーツです。しかし、3つの問題が障害となっています。データアクセス探索的データ分析特徴量エンジニアリングモデルチューニングモデルトレーニング実験トラッキングモデル管理 CI / CD モデルサービングモデル監視維持 & ガバナンス ML / DevOps エンジニアデータエンジニアデータ/ML サイエンティスト

Slide 40

Slide 40 text

Slide 41

Slide 41 text

MLOpsとは MLOpsにおいては共通的な課題が存在しています。 ▪ サイロ化 ▪ MLプロセスのそれぞれが異なる部門に依存しています。 ▪ 再現性の確保 ▪ MLの実験を再現可能、監査可能にするのが困難です。 ▪ MLの結果は常に使用されたデータのバージョンに依存します。既存MLモデルのメンテナンスは面倒で時間を浪費するものです！

Slide 42

Slide 42 text

MLOpsとは MLOpsでは以下のゴールを達成する必要があります。 ● チームスポーツです！DE、DS、Opsメンバーが協働する必要があります。 ● エンドツーエンドのMLライフサイクルの自動化 ● 再現性のあるMLパイプラインの構築 ○ コードのバージョン管理 (モデル、データ処理) - Azure DevOps, Github, ... ○ 設定のバージョン管理 (モデル、デプロイ) - Terraform, ... ○ データのバージョン管理 - Delta, ... ● モデルトレーニング、デプロイのための再利用可能なソフトウェア環境 ● モデルの追跡、パッケージ、デプロイ ● エンドツーエンドのMLライフサイクルのデータガバナンス ● 運用、ML関連の課題に対するMLアプリケーションのモニタリング ● MLライフサイクルにおけるイベントの通知、アラート

Slide 43

Slide 43 text

MLOpsとは MLOpsでは以下のゴールを達成する必要があります。 ● データとモデルのテスト・検証を追加することで、継続的インテグレーション (CI) はコードのテスト・検証を拡張します。 ● 継続的デリバリー (CD) は、新たなMLモデル予測サービスを自動でデプロイするMLトレーニングパイプラインのデリバリーに関するものです ● 継続的トレーニング (CT) は、再デプロイのためにMLモデルを自動で再トレーニングを行います。 ● 継続的モニタリング (CM) は、ビジネスメトリクスに関係するプロダクションデータ、モデルパフォーマンスのモニタリングに関するものです。

Slide 44

Slide 44 text

アジェンダ ● 機械学習とは ● MLOpsとは ● Databricksで実現する機械学習・MLOps

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

©2021 Databricks Inc. — All rights reserved Databricksは、データサイエンスの取り組みをシンプルにするお手伝いをしますデータアクセス探索的データ分析特徴量エンジニアリングモデルチューニングモデルトレーニング実験トラッキングモデル管理 CI / CD モデルサービングモデル監視維持 & ガバナンス ML / DevOps エンジニアデータエンジニアデータ/ML サイエンティストデータサイエンスで最もハードなのはデータです実験は複雑なものです MLの本格運用は困難です

Slide 48

Slide 48 text

©2021 Databricks Inc. — All rights reserved データチームをまとめあげるコラボレーティブワークスペースを提供します Data Access Exploratory Data Analysis Feature Engineering Model Tuning Model Training Experiment Tracking Model Management CI / CD Model Serving Model Monitoring Maintenance & Governance < Data Engineers> < Data Scientists > < MLOps + DevOps > データ/ ML サイエンティスト ML / DevOps エンジニア The hardest part of data science is data 実験は複雑なものです MLの本格運用は困難ですコラボレーティブデータ探索ワークスペースビルトインのデータ準備機能 | ネイティブの可視化機能 | 最適化されたランタイム

Slide 49

Slide 49 text

©2021 Databricks Inc. — All rights reserved そして、MLライフサイクル全体をサポートする環境を提供します Data Access Exploratory Data Analysis Feature Engineering Model Tuning Model Training Experiment Tracking Model Management CI / CD Model Serving Model Monitoring Maintenance & Governance < Data Engineers> < Data Scientists > < MLOps + DevOps > ML / DevOps エンジニア The hardest part of data science is data Experimentation is complex MLの本格運用は困難ですコラボレーティブデータ探索ワークスペースビルトインのデータ準備機能 | ネイティブの可視化機能 | 最適化されたランタイム実験環境特徴量ストア | 実験トラッキング | モデルレジストリ

Slide 50

Slide 50 text

©2021 Databricks Inc. — All rights reserved 大規模データサイエンス運用のためのツールも提供します Data Access Exploratory Data Analysis Feature Engineering Model Tuning Model Training Experiment Tracking Model Management CI / CD Model Serving Model Monitoring Maintenance & Governance < Data Engineers> < Data Scientists > < MLOps + DevOps > The hardest part of data science is data Experimentation is complex Productionizing ML is difﬁcult コラボレーティブデータ探索ワークスペースビルトインのデータ準備機能 | ネイティブの可視化機能 | 最適化されたランタイム実験環境特徴量ストア | 実験トラッキング | モデルレジストリ MLOps + DevOpsの本格運用 Git連携 | モデルサービング | モデル監視

Slide 51

Slide 51 text

©2021 Databricks Inc. — All rights reserved Databricks: 完全なデータサイエンス/MLプラットフォーム Exploratory Data Analysis Data Visualization Feature Selection Model Tuning Model Training Experiment Tracking Model Management CI / CD Model Serving Model Monitoring Maintenance & Governance < Data Scientists > < DevOps > コラボレーティブデータ探索ワークスペースビルトインのデータ準備機能 | ネイティブの可視化機能 | 最適化されたランタイム実験環境特徴量ストア | 実験トラッキング | モデルレジストリ MLOps + DevOpsの本格運用 Git連携 | モデルサービング | モデル監視

Slide 52

Slide 52 text

Slide 53

Slide 53 text

©2021 Databricks Inc. — All rights reserved Exploratory Data Analysis Data Visualization Feature Selection Model Tuning Model Training Experiment Tracking Model Management CI / CD Model Serving Model Monitoring Maintenance & Governance < Data Scientists > < DevOps > MLOps + DevOpsの本格運用 Git連携 | モデルサービング | モデル監視実験環境特徴量ストア | 実験トラッキング | モデルレジストリコラボレーティブデータ探索ワークスペースビルトインのデータ準備機能 | ネイティブの可視化機能 | 最適化されたランタイム Databricks: 完全なデータサイエンス/MLプラットフォーム

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

©2021 Databricks Inc. — All rights reserved クラウドネイティブのコラボレーション大規模コラボレーティブデータ分析、データサイエンス多言語対応ノートブック Python、R、Scala、SQL対応の共同編集可能なノートブック実運用への対応ライブラリ、環境定義を構成する任意のファイルタイプのサポートビルトインの可視化、ダッシュボード 12以上の可視化タイプをネイティブサポート、インタラクティブなダッシュボードを作成可能

Slide 57

Slide 57 text

©2021 Databricks Inc. — All rights reserved サードパーティのエディタのサポートお使いのIDEからセキュアかつスケーラブルな計算資源を利用可能人気のエディタと連携 Jupyter、PyCharm、VSCodeなどと接続可能 RStudioのホスティング RStudioはネイティブでDatabricksでホスティングできます Databricks 管理の計算資源

Slide 58

Slide 58 text

Slide 59

Slide 59 text

©2021 Databricks Inc. — All rights reserved データネイティブMLのためのビルトイン特徴量ストア特徴量の再利用、トレーニング、サービングでの活用検索可能な資産としての特徴量リネージュベースの検索を通じた特徴量の探索、 ACLによって管理された再利用の促進トレーニングとサービングの一貫性トレーニングで使用された特徴量と同じものが、低レーテンシーのモデルサービングでも使用されることを保証モデルデプロイをスムーズに特徴量の再利用とMLﬂowによるMLOpsの自動化を通じてモデルのデプロイを加速

Slide 60

Slide 60 text

©2021 Databricks Inc. — All rights reserved 自動化されたトラッキングと再現性の確保実験に関するあらゆる情報を自動で記録しますコーディング不要のMLネイティブロギング Tensorﬂow、Pytorch、Scikit-Learn、MLlib などのトレーニングを自動で記録ビルトインのデータバージョンロギング Delta Lakeによるデータバージョンの自動記録

Slide 61

Slide 61 text

©2021 Databricks Inc. — All rights reserved 自動化されたトラッキングと再現性の確保実験に関するあらゆる情報を自動で記録しますアウトオブボックスの再現性コード、クラスター設定、ライブラリのバージョンも記録コーディング不要のMLネイティブロギング Tensorﬂow、Pytorch、Scikit-Learn、MLlib などのトレーニングを自動で記録ビルトインのデータバージョンロギング Delta Lakeによるデータバージョンの自動記録

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

©2021 Databricks Inc. — All rights reserved ネイティブのGit連携 DatabricksでGit操作を行うことで迅速にコードをデプロイ UIベースのGit操作 UIベースのGit操作を通じてデータチームでベストプラクティスを活用 Gitワークフローの自動化著名なCI/CDツールとの連携を通じてワークロードを自動化するAPI エンタープライズにおけるGit デプロイメントプライベートネットワークのエンタープライズGit のサポート