DatabricksによるRAGアーキテクチャー

Slide 1

Slide 1 text

Mosaic AIのデータ中心アプローチ事前学習モデルの活用、カスタムモデルの構築リアルタイムアプリにモデルを提供して監視ネイティブツールによるデータと特徴量の準備データプラットフォーム — Delta Lake ガバナンス — Unity Catalog データセットモデルアプリ

Slide 2

Slide 2 text

©2024 Databricks Inc. — All rights reserved 2 RAGはMosaic AIの一部です Mosaic AIはすべてのタイプのAIで動作します - 古典的なML、ディープラーニング、RAGを含む生成AI MLOps + LLMOps データとベクトルの準備ネイティブツールでデータと特徴量を準備アプリケーションの提供リアルタイムアプリにモデルを提供して監視モデルの構築と評価カスタムモデルのトレーニング、ファインチューニング、事前学習モデルに対するプロンプトエンジニアリング構造化データとベクトルデータベースのサービングリアルタイムAPIとしてデータを提供データとAIのガバナンス – Unity Catalog データプラットフォーム – Delta Lake

Slide 3

Slide 3 text

©2023 Databricks Inc. — All rights reserved 3 Fine Tuning Model Serving Pre-training Model Serving Vector Search Model Serving MLflow AI Gateway MLflow Evaluation MLflow Prompt Engg 生成AIアプリケーションにリアルタイムデータを接続するためにRAGが必要ですプロンプトエンジニアリング Retrieval Augmented Generation (RAG) ファインチューニング事前トレーニング LLMの挙動をガイドするための特殊なプロンプトを作成 LLMと企業データを結合事前学習LLMを特定のデータセット、ドメインに適合最初からLLMをトレーニング

Slide 4

Slide 4 text

©2024 Databricks Inc. — All rights reserved 4 RAGはMosaic AIの一部です Mosaic AIの機能 (AI) レイクハウスの機能 (Data + AI) Mosaic AIはすべてのタイプのAIで動作します - 古典的なML、ディープラーニング、RAGを含む生成AI MLOps + LLMOps MLﬂow アセットバンドル (DAB) CI/CDサポートデータとベクトルの準備ネイティブツールでデータと特徴量を準備 SQL ワークフロー Delta Live Tables ノートブックアプリケーションの提供リアルタイムアプリにモデルを提供して監視モデルサービング AI Functions SQLからモデル呼出 Lakehouse Apps レイクハウスモニタリングモデルの構築と評価カスタムモデルのトレーニング、ファインチューニング事前学習モデルのプロンプトエンジニアリング MLランタイムとノートブック AutoML Fine Tuning マーケットプレースのモデル MPT LLaMA2 AI Playground MLﬂow Track & Evaluate データとベクトルの提供 Feature Serving Vector Search Function Serving ガバナンスモデルレジストリ in Unity Catalog Unity Catalog Feature Store in Unity Catalog データプラットフォーム Deltaテーブル構造化データファイル (ボリューム) 非構造化データ

Slide 5

Slide 5 text

©2024 Databricks Inc. — All rights reserved RAGアプリケーションはリアルタイム、バッチ、ストリーミングですリアルタイム例: ポリシーに関する質問に回答するチャットbot バッチ / ストリーミング例: リスクに関するアンケートが新たに 1万件アップロードされた際に処理保存データパイプライン Webアプリ Slack / Teams SaaSアプリ SMS RAG アプリ

Slide 6

Slide 6 text

©2024 Databricks Inc. — All rights reserved 記録 REST API Databricks内あるいはREST APIによるセキュアな接続自動同期構造化 & 非構造化データチャットアプリケーション UI/UX、ユーザー認証、セッション管理などモニタリング Databricks によるRAGのデプロイレイクハウス: ストレージ & ガバナンスモデルデータ & ベクトルサービングデータ & ベクトル準備パイプライン RAGチェーンアプリからの質問に反応するために、認証情報の管理、ガバナンス、ロギングを含むモデルとデータのオーケストレーション

Slide 7

Slide 7 text

©2024 Databricks Inc. — All rights reserved 記録 REST API Databricks内あるいはREST APIによるセキュアな接続自動で同期 Databricks によるRAGのデプロイチャットアプリケーション UI/UX、ユーザー認証、セッション管理など既存アプリ Salesforce、Webポータルなど Lakehouse Apps Databricksがホストモニタリングレイクハウスモニタリングレイクハウス: ストレージ & ガバナンスモデル GenAI Model serving データ & ベクトルサービング Feature Serving Vector Search データ&ベクトルの準備ワークフロー Delta Live Tables ワークフローバッチ/ストリームパイプライン RAGチェーンアプリからの質問に反応するために、認証情報の管理、ガバナンス、ロギングを含むモデルとデータのオーケストレーションモデルサービング LangChain, Python, … Unity Catalog Deltaテーブルボリューム Mosaic AIの機能 (AI) Lakehouseの機能 (Data + AI)

Slide 8

Slide 8 text

Slide 9

Slide 9 text

©2024 Databricks Inc. — All rights reserved 9 非構造化データの準備 Databricks管理のエンべディングとVector Search モデルサービングベクトルDB Vector Search 格納 Delta テーブル自動で同期外部モデルカスタムモデル基盤モデルチャンク & 特徴量 Databricksがエンべディングを計算モデル任意のオープン、プロプライエタリのモデル MPT LLaMA2 外部ソース取り込みテーブルボリュームファイル & メタデータ文書の処理 1. 解析 2. クレンジング 3. チャンク作成 4. 特徴量生成ワークフロー Delta Live Tables ノートブック

Slide 10

Slide 10 text

©2024 Databricks Inc. — All rights reserved 10 非構造化データの準備顧客管理のエンべディングとVector Search モデルサービング外部モデルカスタムモデル基盤モデル外部ソース取り込み Tables Volumes ファイル & メタデータ文書の処理 1. 解析 2. クレンジング 3. チャンク作成 4. 特徴量生成チャンク & 特徴量ワークフロー Delta Live Tables ノートブックモデル任意のオープン、プロプライエタリのモデル MPT LLaMA2 ベクトルDB Vector Search 格納 Delta テーブル自動同期エンべディングご自身でエンべディングを計算して格納ワークフロー Delta Live Tables ノートブックチャンクベクトル特徴量

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

©2024 Databricks Inc. — All rights reserved 13 モデルサービングデータサービングチェーンのロジック　　　　 RAGアーキテクチャ: チェーンモデルサービング質問クエリー処理クエリー展開リトリーバプロンプトエンジニアリング生成応答外部モデルカスタムモデル基盤モデル Feature Serving Vector Search 後処理 Unity Catalog Deltaテーブル記録モニタリングレイクハウスモニタリング 🦜🔗