生成AIとレイクハウス・ガバナンス

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

©2022 Databricks Inc. — All rights reserved #ctoa_aigov プロプライエタリ LLMs オープンソース LLMs 所有権ベンダーが管理・所有フルオープン、独自カスタマイズが可能セキュリティプライバシーベンダー提供サービングエンドポイント(外部)にデータ転送ユーザー環境内に閉じるカスタマイズベンダーサービス依存フルカスタマイズ可能透明性コード、モデル重み、トレーニングデータベンダー管理 (ブラックボックス) ソースコード、モデル重み、トレーニングデータ 100％オープンで、入手可能。アクセス形態 API経由でアクセス 3P SLAに依存自前ホスティング or ベンダーホスティングコスト・品質すべてユースケースに「最適」なモデルない GPT-J Examples: LLaMA Dolly 大規模言語モデル (LLM) Proprietary vs Open Source 4

Slide 4

Slide 4 text

General モデルの推移 0 100 20 40 60 80 2019 2020 2021 2022 2023 Open Source vs. Private Models, 5-Shot MMLU Performance Private Open Source Falcon 180 LlaMA 2 Flan-T5-XXL LlaMA DBRX LlaMA 3 GPT-2.1.5B GPT-3 PaLM 540B GPT 3.5 Claude 3 GPT-4 Flan-PaLM 2 PaLM 2 Claude 2 GPT-4o Now

Slide 5

Slide 5 text

...最先端 AI 成果、一つ LLMモデルでなく、複数コンポーネントを持つ複合システムによって得られることが多くなっている。 “ コンパウンド AIシステム

Slide 6

Slide 6 text

Results using a single commercial LLM Commercial LLM Generate Formula 59% 精度 15s 処理遅延

Slide 7

Slide 7 text

Results using a Compound AI system Fine-tuned OSS Model Vector Embeddings PaLM Commercial LLM Query Processor Dataset Retrieval Generate Arguments Generate Final Formula 85% 精度 6s 処理遅延

Slide 8

Slide 8 text

©2022 Databricks Inc. — All rights reserved #ctoa_aigov GenAI 行動を誘導するため特別なプロンプトとパイプライン作成 LLMとカスタム・エンタープライズ・データ組み合わせ事前に訓練されたGenAIモデルを特定データセットやドメインに適応させる GenAIモデルをゼロからトレーニングするコントロールとカスタマイズ幅広がるが、計算量と複雑さ増す GenAI 旅データを活用しながら、基本的なGenAIから高度なGenAIへ反復的なパスを計画する。プロンプトエンジニアリングリトリーバル・オーグメンテッド・ジェネレーション（RAG）ファインチューニング事前トレーニング

Slide 9

Slide 9 text

©2022 Databricks Inc. — All rights reserved #ctoa_aigov ● これら互いに排他的な選択肢でない。 ● シンプルに始めて、ベースラインを作り、反復する。 GenAI 旅 ● 以下に基づいてテクニックを選択する： ○ データ量と質 ○ コンピュート・リソース ○ レイテンシー要件 ○ 特定ドメインまたアプリケーションデータを活用して、基本的なGenAIから高度なGenAIへ反復的なパスを計画する。プロンプトエンジニアリングリトリーバル・オーグメンテッド・ジェネレーション（RAG）ファインチューニング事前トレーニング

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

©2022 Databricks Inc. — All rights reserved #ctoa_aigov 利用パターン定義主な用途データ要件学習時間メリット考慮点プロンプトエンジニアリングモデル行動を導くため特別なプロンプト作成迅なオンザフライ・モデル・ガイダンス特にない特にない迅、費用対効果、トレーニング不要ファインチューニングよりもコントロール性が劣る Retrieval augmented generation (RAG) LLMと外部知識検索組み合わせダイナミックなデータセットと外部知識外部知識ベースまたベクトルデータベース中程度 (埋め込み計算など）コンテクストが動的に更新され、精度が向上プロンプト長さと推論計算量が増加ファインチューニング事前に訓練されたモデルを特定データセットやドメインに適応させるドメインまたタスク専門化ドメイン特化、インストラクション例データセットが数1000程度必要中～長（データサイズによる）きめ細かなコントロール、高い専門性ラベル付きデータが必要、計算コスト事前トレーニング GenAI journey

Slide 13

Slide 13 text

Slide 14

Slide 14 text

データビルド評価デプロイガバナンス簡素化されたAIシステムと RAG開発企業データによるモデルチューニングとカスタマイズスケーラブルなモデル、機能、エージェント提供カスタマイズ可能なガードレール自動評価人間による評価 LLMトレーニングためデータ準備ストリーミングデータデータ、モデル、ツールガバナンスデータとモデル全体モニタリングまとめると、何が必要になるのか => ガバナンス Build Production Quality Compound AI System

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

©2023 Databricks Inc. — All rights reserved データレイクハウスすべてデータに対するオープンで統合された基盤オープンデータレイクすべて生データ (ログ、テキスト、音声、動画、画像) Databricksがレイクハウスアーキテクチャを発明 2020 統合セキュリティ、ガバナンス、カタログ信頼性と共有ため統合データストレージ ETL & リアルタイム分析オーケストレーションデータウェアハウスデータサイエンス & AI Databricks AI Delta Live Tables Workﬂows Databricks SQL Unity Catalog Delta Lake グローバル企業 74% がレイクハウスを導入現在 MIT Technology Review Insights, 2023

Slide 18

Slide 18 text

©2023 Databricks Inc. — All rights reserved Partner ecosystem Data + AI assets UniForm Universal standard Any asset Any client Any engine Any format Unity REST API Iceberg REST catalog API Delta Sharing UNITY CATALOG (OSS) AI / ML Functions ML Models Vector DBs Unity Catalog: The open universal catalog for Data and AI Microsoft Fabric Google Cloud MAJOR CLOUD PLATFORMS DATA + AI PLATFORMS COMPUTE ENGINES LlamaIndex UNIFIED GOVERNANCE Objects Volumes Image Audio PDF Tables Managed External Views Delta Iceberg Hudi Parquet CSV JSON

Slide 19

Slide 19 text

©2022 Databricks Inc. — All rights reserved #ctoa_aigov LLM Ops on レイクハウス強み独自AIツール + データプラットフォーム複数AIツール + データプラットフォームレイクハウス (Data + AI) 統一されたデータ・AIガバナンス ✕ Separate governance ✕ Some tools don’t have governance ✓ 検索と発見一元化 Data & AI ～ Separate search interfaces ✕ Some tools don’t have search ✓ データとAI 統合ツールキット ✕ Separate data / AI tools ✕ Separate data / AI tools ✓ データ単一コピー ✕ Copy of data in each platform ✕ Copy of data in each tool ✓ 統一された自動系統追跡～ Only within each platform ✕ Not provided ✓ パフォーマンスとスケーラビリティ ✓ ✓ ✓ コスト～ Costly effort to integrate platform ✕ Stitch together 10s of tools ✓ AI＝生成AI、LLM、機械学習

Slide 20

Slide 20 text

©2023 Databricks Inc. — All rights reserved Databricksデータインテリジェンスプラットフォーム (データインテリジェンス = レイクハウス + GenAI) Databricks AI 生成AI • カスタムモデル • モデルサービング • RAG エンドツーエンドAI • MLOps (MLﬂow) • AutoML • モニタリング • ガバナンスあなたデータセマンティクスを理解するために生成AIを活用データインテリジェンスエンジンオープンデータレイクすべて生データ (ログ、テキスト、音声、動画、画像 ) Databricks SQL テキストからSQL Workﬂows 過去処理に基づくジョブコスト最適化 Delta Live Tables データ品質自動化 Databricks AI カスタムLLM 作成チューニング、提供 Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウトを最適化

Slide 21

Slide 21 text

©2023 Databricks Inc. — All rights reserved Databricksデータインテリジェンスプラットフォームあなたデータセマンティクスを理解するためにデータインテリジェンスエンジオープンデータレイクすべて生データ (ログ、テキスト、音声、動画、画像 Workﬂo 過去処理にジョブコスト Delta Live Tables データ品質自動化 Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウト Databricks AI カスタムLLM 作成チューニング、提供オペレーション財務マーケティングカスタマーサービスどうすれ組織皆にデータとAIを展開できるか？ “Project Genie” 自然言語で誰でもデータや AIを活用

Slide 22

Slide 22 text

データビルド評価デプロイガバナンス簡素化されたAIシステムと RAG開発企業データによるモデルチューニングとカスタマイズスケーラブルなモデル、機能、エージェント提供カスタマイズ可能なガードレール自動評価人間による評価 LLMトレーニングためデータ準備ストリーミングデータデータ、モデル、ツールガバナンスデータとモデル全体モニタリング (再掲)まとめると、何が必要になるのか => ガバナンス Build Production Quality Compound AI System