DatabricksにおけるLLMOpsのベストプラクティス

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2024 Databricks Inc. — All rights reserved | Conﬁdential and proprietary 自己紹介弥生隆明 (やよいたかあき) Databricks ソリューションアーキテクト ▪ 2020年からデータブリックスジャパンにおいて、プレセールス、POCに従事 ▪ 前職はコンサルファーム、総合電機メーカーにてデータ分析・Web サービス構築などに従事。インド赴任経験あり。 ▪ Databricks Certiﬁed (Data Engineer | Machine Learning) Professional, Generative AI Engineer Associate ▪ Qiitaでいろいろ書いています。 2 @taka_aki

Slide 3

Slide 3 text

Slide 4

Slide 4 text

©2024 Databricks Inc. — All rights reserved | Conﬁdential and proprietary 10,000+ のグローバル顧客 $1.5B+ の収益 $4B の投資レイクハウスの発明者 & 生成AIのパイオニア Gartnerに認知されるリーダー Database Management Systems Data Science and Machine Learning Platforms データ & AIカンパニーのクリエイター

Slide 5

Slide 5 text

Slide 6

Slide 6 text

©2024 Databricks Inc. — All rights reserved | Conﬁdential and proprietary MLOpsとは MLOpsとは機械学習モデルライフサイクル全般を円滑にするために必要な体制・基盤・手法全般を意味します。 MLOps(Machine Learning Operations)とは、データサイエンスチーム、運用チームなど、機械学習モデルの構築・運用に関わるチームが協調し、円滑に機械学習モデルを運用していくための体制・基盤を構築すること、その概念全般を意味します。 MLOps = DataOps + DevOps + ModelOps

Slide 7

Slide 7 text

©2024 Databricks Inc. — All rights reserved | Conﬁdential and proprietary LLMOpsとは LLMOpsとはLLMライフサイクル全般を円滑にするために必要な体制・基盤・手法全般を意味します。 LLMOps(Large Language Model Operations)とは、データサイエンスチーム、運用チームなど、LLMの構築・運用に関わるチームが協調し、円滑にLLMを運用していくための体制・基盤を構築すること、その概念全般を意味します。

Slide 8

Slide 8 text

©2024 Databricks Inc. — All rights reserved Conﬁdential and Proprietary MLOps - LLMで何が変わる？ 8 LLMの特性 MLOpsの示唆様々な形態で LLMを利用可能: ● 課金API経由での一般的なプロプライエタリモデル、OSSモデル ● すぐに利用できるオープンソースモデル ● 特定のアプリケーションにファインチューンされたカスタムモデル ● カスタムの事前トレーニング済みモデル開発プロセス : ● インクリメンタルな開発 ● APIからスタートしカスタムモデルへ LLMは入力として自然言語のプロンプトを受け入れる : ● 期待するレスポンスを得るためにプロンプトエンジニアリングが可能開発プロセス : ● LLMに問い合わせを行うテストテンプレートの設計が開発プロセスの重要な一部にアーティファクトのパッケージング : ● パッケージングされるアーティファクトとプロダクションにおけるプロンプトは、モデルというよりパイプラインに LLMにはサンプルやコンテキストを伴うプロンプトを指定可能サービングのインフラストラクチャ : ● 適切なコンテキストの検索に使用されるベクトルデータベースのような外部ツール

Slide 9

Slide 9 text

©2024 Databricks Inc. — All rights reserved Conﬁdential and Proprietary MLOps - LLMで何が変わる？ 9 LLMの特性 MLOpsの示唆サードパーティの APIプロバイダー経由でプロプライエタリモデルや OSSモデルを利用可能 APIガバナンス : ● APIプロバイダーをスイッチできる選択可能性や柔軟性を持つために、APIガバナンスのための集中管理されたシステムを持つことが重要に LLMは非常に大きなディープラーニングモデルであり、多くの場合、数Gバイトから数百 Gバイトにサービングのインフラストラクチャ : ● LLMのサービングには GPUが必要 ● モデルを動的にロードする必要がある場合には、高速なストレージが重要に LLMにおいては、多くの場合、単一の「適切な」回答が存在しないため、従来のMLメトリクスを通じた評価が困難人間のフィードバック : ● LLMの評価、テストで必要になることが多い ● 将来的なファインチューニングのためには、テスト、モニタリングを含む MLOpsに直接組み込むことが重要に

Slide 10

Slide 10 text

©2024 Databricks Inc. — All rights reserved Conﬁdential and Proprietary DevOps MLOps - LLMで何が変わる？ 10 ● これらの新たな要件に適合するために、多くの既存ツール、既存プロセスの修正は軽微です ○ 開発、ステージング、プロダクションの分離は変わりません ○ パイプラインやモデルをプロダクションに移行する際に、Gitのバージョン管理とUnity CatalogにおけるMLﬂowモデルレジストリは依然として主要なパイプラインとなります。 ○ データ管理に対するレイクハウスアーキテクチャは、効率性のために依然として適切で重要です。 ○ 既存のCI/CDインフラストラクチャには変更はありません。 ○ モデルトレーニングのためのパイプライン、モデル推論のためのパイプラインなどを用いた、モジュール化されたMLOpsの構造は同じです。レイクハウスプラットフォーム開発ステージングプロダクション DataOps Unity Catalog ModelOps

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

©2024 Databricks Inc. — All rights reserved Conﬁdential and Proprietary 機械学習にデータ中心アプローチを採用 14 • いかなるMLプロジェクトにおいても、コアとなる構成要素はシンプルにデータパイプラインと見なすことができます: 特徴量エンジニアリング、トレーニング、モデルのデプロイメント、推論、パイプラインのモニタリングのすべてはデータパイプラインです。 • そのようなMLソリューションの本格運用には、予測結果、モニタリングからのデータ、特徴量テーブルやその他の適切なデータとの結合が必要となります。 • 基本的に、これを達成する最もシンプルな方法はプロダクションデータの管理に用いられているのと同じプラットフォームでAIを活用したソリューションを開発することです。

Slide 15

Slide 15 text

©2024 Databricks Inc. — All rights reserved Conﬁdential and Proprietary 常にビジネスゴールを念頭に置く 15 • LLMOpsにおける技術的な取り組みの優先度付けを行う際、ビジネスインパクトを考慮しましょう: これは新たなビジネスユースケースを実現するのか？データチームの生産性を改善するのか？オペレーションコストやリスクを削減するのか？ • 最新、あるいは最も複雑なモデルによって気が逸らされる誘惑に抗いましょう。はじめに、シンプルな経験則を用いてあなたのKPIやベースラインの成功を定義しましょう。

Slide 16

Slide 16 text

©2024 Databricks Inc. — All rights reserved Conﬁdential and Proprietary モジュール化された方法でLLMOpsを実装する 16 • すべてのソフトウェアアプリケーションと同じように、LLMアプリケーションにおいてコードの品質は最重要事項です。 • モジュール化されたコードによって、個々のコンポーネントのテストを可能にし、将来的なコードのリファクタリングの難易度を軽減します。

Slide 17

Slide 17 text

©2024 Databricks Inc. — All rights reserved Conﬁdential and Proprietary プロセスは自動化をガイドすべきである 17 • 開発プロセスは最も重要なものであり、このプロセスにおけるそれぞれのモジュールは必要に応じて自動化されるべきです。 • 依然として、人間がビジネス上の質問を定義し、いくつかのモジュールは常にデプロイメントの前に人間による確認を必要とします。 • 特定の自動化ツールを検討する際、あなたの人材やプロセスに調和するものを選択しましょう。 • 例えば、エージェントシステムを構築する場合、エージェントの開発から管理、監視までもカバーするMosaic AI Agent Framework & Agent Evaluationを活用することができます。

Slide 18

Slide 18 text

©2024 Databricks Inc. — All rights reserved Conﬁdential and Proprietary データとAIのガバナンスを統合ガバナンスとMLOpsをシンプルにするために、データとAIへのワークスペース横断アクセスを提供 Feature Store 特徴量特徴量特徴量モデルレジストリモデルモデルモデル Unity Catalog 特徴量特徴量特徴量モデルモデルモデルデータデータデータ

Slide 19

Slide 19 text

©2024 Databricks Inc. — All rights reserved Conﬁdential and Proprietary AI資産 AIモデルの構築 AutoMLによるローコード、ノーコードノートブック+OSSツールによるコーディング 🤗, c ,x , etc MLﬂowによるプロンプトエンジニアリング SQL関数経由のプロンプトエンジニアリングオープンソースツールでAIを構築データ特徴量インデックス 19 Packaging による評価 1 2 3 4 全てのペルソナ、スキルレベルに合わせたツールチェーン & エージェントの構成ノートブック+OSSツールによるコーディング 🦜🔗 LangChain, c , etc AI資産 Unity Catalog

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

©2024 Databricks Inc. — All rights reserved Conﬁdential and Proprietary 統合モニタリング (レイクハウスモニタリング ) モデルを切り替え、管理するためのゲートウェイ 2 最先端モデルのトレーニング 3 データとAIに対する統合ガバナンスデータとAIに対する統合モニタリング 1 4 22 UI Model 非構造化データサービング (VectorDB) データパイプライン構造化データサービング (key-value) モデルサービングモデルトレーニングFT 全ての商用、オープンソース、カスタムモデル Unity Catalog Mosaic AI: データ中心のAIプラットフォーム

Slide 23

Slide 23 text

©2024 Databricks Inc. — All rights reserved Confidential and Proprietary Mosaic AI レイクハウスに生成AIが完全に連携 Mosaic AIの機能 (AI) レイクハウスの機能 (データ + AI) MLOps + LLMOps MLflow Asset Bundles (DABs) CI/CD サポートデータとベクトルの準備ネイティブツールによるデータと特徴量の準備 SQL ワークフロー Delta Live Tables ノートブックアプリケーションの提供リアルタイムアプリにモデルを組み込み & 監視モデルサービング AI Functions SQLからモデル Databricks Apps レイクハウスモニタリングモデルの構築と評価カスタムモデルのトレーニング、ファインチューン、事前学習モデルのプロンプトエンジニアリングノートブック w/ MLランタイム AutoML ファインチューン Models in Marketplace MPT LLaMA2 AI Playground MLflow Track & Evaluate データとベクトルのサービング Feature Serving Vector Search Function Serving ガバナンスモデルレジストリ in Unity Catalog Unity Catalog Feature Store in Unity Catalog データプラットフォーム Deltaテーブル構造化データファイル (Volumes) 非構造化データ

Slide 24

Slide 24 text

©2024 Databricks Inc. — All rights reserved Conﬁdential and Proprietary Mosaic AIの動作原理 Unity Catalog + Delta Lake Monitor Data & AI Logs Metrics Logs データストレージモデルチェーンエージェント特徴量インデックス 24 データ準備バッチストリーミングリアルタイムガバナンス & リネージ Features 特徴量インデックス

Slide 25

Slide 25 text

©2024 Databricks Inc. — All rights reserved Conﬁdential and Proprietary Mosaic AIの動作原理 Unity Catalog + Delta Lake Monitor Data & AI Packaging 特徴量インデックス AI 資産 Logs Metrics Logs データストレージモデルチェーンエージェント特徴量インデックス 25 データ準備バッチストリーミングリアルタイムガバナンス & リネージ Features 特徴量インデックス AIの開発 & 評価 🤗 pipelines 🦜🔗 chains + prompt + credential function(...) AIの開発 & 評価 🤗 pipelines 🦜🔗 chains + prompt + credential function(...)

Slide 26

Slide 26 text

©2024 Databricks Inc. — All rights reserved Conﬁdential and Proprietary Mosaic AIの動作原理 AIのサービング Unity Catalog + Delta Lake Monitor Data & AI Packaging Packaging 特徴量インデックス AI 資産 AI 資産 Logs Metrics Logs 特徴量インデックスデータストレージモデルチェーンエージェント特徴量インデックス 26 APIs BI / SQL ETL / ストリーミングパイプラインデータ準備バッチストリーミングリアルタイムガバナンス & リネージ Features 特徴量インデックスデータのサービング AIの開発 & 評価 🤗 pipelines 🦜🔗 chains + prompt + credential function(...)

Slide 27

Slide 27 text

©2024 Databricks Inc. — All rights reserved Conﬁdential and Proprietary Mosaic AIの動作原理 AIのサービング Unity Catalog + Delta Lake データとAIの監視 Packaging Packaging 特徴量インデックス AI 資産 AI 資産ログメトリクスログ特徴量インデックスデータストレージモデルチェーンエージェント特徴量インデックス 27 APIs BI / SQL ETL / ストリーミングパイプラインデータ準備バッチストリーミングリアルタイムガバナンス & リネージ特徴量特徴量インデックスデータのサービング AIの開発 & 評価 🤗 pipelines 🦜🔗 chains + prompt + credential function(...)

Slide 28

Slide 28 text

©2024 Databricks Inc. — All rights reserved Confidential and Proprietary Agent Framework & Agent Evaluation Mosaic AI Agent Evaluation Mosaic AI Agent Framework • エージェントを評価するためにプロプライエタリなLLMジャッジを活用 • Mosaic ResearchではこれらのLLM審判を高品質にするために投資しています • レーテンシーやトークンのコストのようなパフォーマンスメトリクスを収集 • Agent Frameworkと独立して活用可能 • エージェントを作成、MLflowで記録 • 1行のコードでエージェントをモデルサービングエンドポイントにデプロイ • ステークホルダーからフィードバックを収集するためのレビューアプリを自動で作成 MLflow、Unity Catalog、Mosaic AIと密連携