DatabricksにおけるLLMOps - ML15min

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2023 Databricks Inc. — All rights reserved 自己紹介弥生隆明 (やよいたかあき) Databricks アカウントSA部部長 ▪ 2020年からデータブリックスジャパンにおいて、プレセールス、POCに従事 ▪ 前職はコンサルティングファーム、総合電機メーカーにてデータ分析・Web サービス構築などに従事。インド赴任経験あり。 ▪ Qiitaでいろいろ書いています。 2 @taka_aki

Slide 3

Slide 3 text

データブリックスのUnity Catalogで実現する真のデータガバナンス日時: 2023年11月17日（金） URL: https://events.databricks.com/20231027-unitycatalog-jp イベント概要みなさまの組織では、ガバナンス、特にデータガバナンスは効いている状態でしょうか？生成AI 以前もデータの活用は進んでいましたが、それと同時にデータガバナンスの重要性も注目されていました。 Databricksが提供する統合ガバナンスソリューションである Unity Catalog は、データやAI活用におけるガバナンスの課題のほとんどを解決します。本セッションでは、 Unity Catalogがどのようにしてガバナンスの課題を解決するのかをデモを交えてご説明し、 Unity Catalogを利用する際に留意すべきベストプラクティスをご紹介します。

Slide 4

Slide 4 text

©2023 Databricks Inc. — All rights reserved 投資 $3B 市場価値は5兆円以上従業員数 5000+ (3年前は1500人) 収益(ARR) $1B+ (1,360億円) データレイクハウスの発明者でパイオニア導入企業数 10000+ レイクハウスカンパニーのクリエーターが 2013年に起業知る人ぞ知るデカコーン Databricksは2022年も攻勢を続ける | Coral Capital

Slide 5

Slide 5 text

Slide 6

Slide 6 text

©2023 Databricks Inc. — All rights reserved | Conﬁdential and proprietary MLOpsとは MLOpsとは機械学習モデルライフサイクル全般を円滑にするために必要な体制・基盤・手法全般を意味します。 MLOps(Machine Learning Operations)とは、データサイエンスチーム、運用チームなど、機械学習モデルの構築・運用に関わるチームが協調し、円滑に機械学習モデルを運用していくための体制・基盤を構築すること、その概念全般を意味します。 LLMOps(Large Language Model Operations)とは、データサイエンスチーム、運用チームなど、LLMの構築・運用に関わるチームが協調し、円滑にLLMを運用していくための体制・基盤を構築すること、その概念全般を意味します。

Slide 7

Slide 7 text

©2023 Databricks Inc. — All rights reserved Conﬁdential and Proprietary MLOps - LLMで何が変わる？ 7 LLMの特性 MLOpsの示唆様々な形態でLLMを利用可能: ● 課金API経由での一般的なプロプライエタリモデル、OSSモデル ● すぐに利用できるオープンソースモデル ● 特定のアプリケーションにファインチューンされたカスタムモデル ● カスタムの事前トレーニング済みモデル開発プロセス: ● インクリメンタルな開発 ● APIからスタートしカスタムモデルへ LLMは入力として自然言語のプロンプトを受け入れ : ● 期待するレスポンスを得るためにプロンプトエンジニアリングが可能開発プロセス: ● LLMに問い合わせを行うテストテンプレートの設計が開発プロセスの重要な一部にアーティファクトのパッケージング : ● パッケージングされるアーティファクトとプロダクションにおけるプロンプトはモデルというよりパイプラインに LLMにはサンプルやコンテキストを伴うプロンプトを指定可能サービングのインフラストラクチャ : ● 適切なコンテキストの検索に使用されるベクトルデータベースのような外部ツール

Slide 8

Slide 8 text

©2023 Databricks Inc. — All rights reserved Conﬁdential and Proprietary MLOps - LLMで何が変わる？ 8 LLMの特性 MLOpsの示唆サードパーティの APIプロバイダー経由でプロプライエタリモデルや OSSモデルを利用可能 APIガバナンス: ● APIプロバイダーをスイッチできる選択可能性や柔軟性を持つために、APIガバナンスのための集中管理されたシステムを持つことが重要に LLMは非常に大きなディープラーニングモデルであり、多くの場合、数Gバイトから数百Gバイトにサービングのインフラストラクチャ : ● LLMのサービングには GPUが必要 ● モデルを動的にロードする必要がある場合には、高速なストレージが重要に LLMにおいては、多くの場合、単一の「適切な」回答が存在しないため、従来の MLメトリクスを通じた評価が困難人間のフィードバック : ● LLMの評価、テストで必要になることが多い ● 将来的なファインチューニングのためには、テスト、モニタリングを含む MLOpsに直接組み込むことが重要に

Slide 9

Slide 9 text

©2023 Databricks Inc. — All rights reserved Conﬁdential and Proprietary DevOps MLOps - LLMで何が変わる？ 9 ● これらの新たな要件に適合するために、多くの既存ツール、既存プロセスの修正は軽微です ○ 開発、ステージング、プロダクションの分離は変わりません ○ パイプラインやモデルをプロダクションに移行する際に、Gitのバージョン管理とUnity CatalogにおけるMLﬂow モデルレジストリは依然として主要なパイプラインとなります。 ○ データ管理に対するレイクハウスアーキテクチャは、効率性のために依然として適切で重要です。 ○ 既存のCI/CDインフラストラクチャには変更はありません。 ○ モデルトレーニングのためのパイプライン、モデル推論のためのパイプラインなどを用いた、モジュール化されたMLOpsの構造は同じです。レイクハウスプラットフォーム開発ステージングプロダクション DataOps Unity Catalog ModelOps

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Data Engineering Model Development Model Deployment ⓒ 2023 Databricks Inc. — All rights reserved AIの課題 AIライフサイクルでサイロ化された技術スタック Datasets Models Applications Governance of data and models モデル開発に必要なクリーンで信頼できるデータの取得が困難インテグレーション欠如による開発の遅延完全なAIライフサイクルを制御、管理、追跡できないことによるリスクの増加

Slide 13

Slide 13 text

Lakehouse AIはデータ中心アプローチです事前学習モデルの活用あるいはカスタムモデルの構築リアルタイムアプリにモデルをサービング・監視ネイティブツールによるデータと特徴量の準備データプラットフォーム — Delta Lake ガバナンス — Unity Catalog データセットモデルアプリケーション

Slide 14

Slide 14 text

Lakehouse AIはデータ中心アプローチです Use Existing Model or Build Your Own Model Serving and Monitoring Data Collection and Preparation DATA PLATFORM UNITY CATALOG Datasets Models Applications データプラットフォーム上に構築高速なデプロイメントビルトインのガバナンスとモニタリング

Slide 15

Slide 15 text

Slide 16

Slide 16 text

事前学習モデルの活用あるいはカスタムモデルの構築リアルタイムアプリへのモデルの提供、監視ネイティブツールによるデータと特徴量の準備データプラットフォーム — Delta Lake ガバナンス — Unity Catalog Vector Search Model Serving MLflow Lakehouse AI — キーとなる製品 MosaicML AutoML Lakehouse Monitoring Feature Engineering

Slide 17

Slide 17 text

Unity Catalogのテーブルをトレーニングやサービングにおけるソースとして活用可能レイクハウスのDeltaテーブルに基づいて継続的に更新モデルサービングや外部エンドポイントを使用しているアプリにオンデマンドのサービングネイティブのデータ収集、準備 Unity Catalogにおける特徴量エンジニアリング特徴量の効率的かつ高信頼な作成、管理、提供

Slide 18

Slide 18 text

ビルトインのガバナンス、権限管理、リネージフルマネージド、サーバレス、すぐに利用可能エンベディング生成においてMLﬂowやモデルサービングとインテグレーションネイティブのデータ収集、準備ベクトル検索 Unity Catalogのデータから自動更新されるベクトル検索インデックスの作成

Slide 19

Slide 19 text

©2023 Databricks Inc. — All rights reserved 簡素化され、スケーラブルでコスト効率の高い大規模AIモデルのトレーニングご自身のセキュアな環境で自分のデータを用いて、自分の生成AIモデルをトレーニングあるいはファインチューニングモデルとデータプライバシーに対する完全なコントロール MosaicML 大規模AIモデルのトレーニングを最大7倍高速、安価に事前学習モデルの活用カスタムモデルの構築

Slide 20

Slide 20 text

トレーニングコストの制限サービングのコスト目標品質サービングのレーテンシー Auto ML ご自身のデータを用いて自身のモデルを構築事前学習モデルの活用カスタムモデルの構築 Databricksによってキュレーションされたモデルを含む、お好きなモデルからスタートテキスト生成モデルの例 : MPT-7B-Instruct, MPT-30B-Instruct, Falcon-7B-Instruct etc. 十分な量のトレーニングデータセットの持込例: 過去の顧客とのやり取りからの質問・回答のペア AutoML エンベディングのファインチューニングやモデル作成のためのローコードツール

Slide 21

Slide 21 text

Slide 22

Slide 22 text

リアルタイムアプリへのモデルのサービング監視高可用性、低レーテンシー、ゼロまで自動スケールするサービングデプロイメントを自動化し、エラーを削減するための、自動特徴量検索、監視、統合ガバナンス最大10倍のレーテンシー、コスト削減を実現するオープンソース生成AIモデルに最適化モデルサービング最大10倍のレーテンシー削減、コスト削減を提供するモデルのリアルタイム推論

Slide 23

Slide 23 text

リアルタイムアプリへのモデルのサービング監視数分でデータとモデルに対する完全な可視性を提供し、市場投入に要する時間とコストを削減データとモデルの異常をプロアクティブかつシンプルに検知異常の根本原因を追跡することでシームレスにデバッグレイクハウスモニタリングインテリジェントなデータとモデルのモニタリング

Slide 24

Slide 24 text

Lakehouse AI — データ中心アプローチ事前学習モデルの活用あるいはカスタムモデルの構築リアルタイムアプリにモデルをサービング・監視ネイティブツールによるデータと特徴量の準備データプラットフォーム — Delta Lake ガバナンス — Unity Catalog データセットモデルアプリケーション