Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DatabricksによるRAGアーキテクチャー
Search
Databricks Japan
May 12, 2024
Technology
0
80
DatabricksによるRAGアーキテクチャー
DatabricksによるRAGアーキテクチャーについて説明します。
Databricks Japan
May 12, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
生成AIとレイクハウス・ガバナンス
databricksjapan
0
19
データプロダクトにおけるCI/CD: Databricks Asset Bundleとは?
databricksjapan
0
33
Databricks クリーンルームについてのご紹介
databricksjapan
0
67
Unity Catalog データ分離設計ガイド / Unity Catalog Data Isolation Design Guide
databricksjapan
1
240
機械学習モデルの運用と実用的なアプローチ
databricksjapan
0
540
Unity Catalogの自動有効化
databricksjapan
1
73
Unity Catalog 技術ディープダイブ
databricksjapan
1
310
パフォーマンス最適化のベストプラクティス
databricksjapan
0
1.4k
Databricks アシスタントとは?
databricksjapan
0
150
Other Decks in Technology
See All in Technology
たくさん本を読んだけど 1年後には綺麗サッパリ!を乗り越えて 学習の鬼になるぞ👹
yum3
0
160
[I/O Extended Android 2024] What`s new in Android 2024
kyeongwan
0
220
フルリモートワークはエンジニアの夢を叶えたか? #cm_odyssey
mamohacy
2
600
さらに高品質・高速化を目指すAI時代のテスト設計支援と、めざす先 / AI Test Lab vol.1
shift_evolve
0
190
大規模ドラレコデータ収集・機械学習基盤を支える AWS CDK 〜導入・運用事例紹介〜
pemugi
0
110
「単なる OAuth 2.0 を認証に使うと、車が通れるほどのどでかいセキュリティー・ホールができる」のか検証してみた
terara
0
380
初中級者用如何使用backlog -VALE TUDOEDITION-
in0u
0
140
[NIKKEI Tech Talk]Bias for Action!! 実践から学ぶための仕組とコミュニティ / Community for Practice and Learning
kanamasa
0
280
クラウド利用者の「責任」をどう果たす?AWSセキュリティ対策のススメ #AWSSummit
hiashisan
0
280
AOAI Dev Day LLMシステム開発 Tips集
hirosatogamo
15
3.8k
可視化プラットフォームGrafanaの基本と活用方法の全て
hamadakoji
0
230
CTOから見た事業開発とプロダクト開発 / My Perspective on Business and Product Development as CTO
keisuke69
4
960
Featured
See All Featured
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
No one is an island. Learnings from fostering a developers community.
thoeni
17
2.8k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
245
1.2M
Dealing with People You Can't Stand - Big Design 2015
cassininazir
360
22k
Being A Developer After 40
akosma
72
580k
Web Components: a chance to create the future
zenorocha
307
41k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.3k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
353
29k
The Pragmatic Product Professional
lauravandoore
29
6.1k
RailsConf 2023
tenderlove
16
720
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
149
45k
Producing Creativity
orderedlist
PRO
340
39k
Transcript
Mosaic AIのデータ中心アプローチ 事前学習モデルの 活用、カスタム モデルの構築 リアルタイムアプリに モデルを提供して監 視 ネイティブツールによ るデータと特徴量の
準備 データプラットフォーム — Delta Lake ガバナンス — Unity Catalog データセット モデル アプリ
©2024 Databricks Inc. — All rights reserved 2 RAGはMosaic AIの一部です
Mosaic AIはすべてのタイプのAIで動作します - 古典的なML、ディープラーニング、RAGを含む生成AI MLOps + LLMOps データとベクトルの準備 ネイティブツールでデータと特徴量を準備 アプリケーションの提供 リアルタイムアプリにモデルを提供して監視 モデルの構築と評価 カスタムモデルのトレーニング、ファインチューニング、事前学習 モデルに対するプロンプトエンジニアリング 構造化データとベクトルデータベースのサービング リアルタイムAPIとしてデータを提供 データとAIのガバナンス – Unity Catalog データプラットフォーム – Delta Lake
©2023 Databricks Inc. — All rights reserved 3 Fine Tuning
Model Serving Pre-training Model Serving Vector Search Model Serving MLflow AI Gateway MLflow Evaluation MLflow Prompt Engg 生成AIアプリケーションにリアルタイムデータを接 続するためにRAGが必要です プロンプト エンジニアリング Retrieval Augmented Generation (RAG) ファイン チューニング 事前トレーニング LLMの挙動をガイドする ための特殊なプロンプトを作 成 LLMと企業データを結合 事前学習LLMを特定の データセット、ドメイン に適合 最初からLLMを トレーニング
©2024 Databricks Inc. — All rights reserved 4 RAGはMosaic AIの一部です
Mosaic AIの機能 (AI) レイクハウスの機能 (Data + AI) Mosaic AIはすべてのタイプのAIで動作します - 古典的なML、ディープラーニング、RAGを含む生成AI MLOps + LLMOps MLflow アセットバンドル (DAB) CI/CDサポート データとベクトルの準備 ネイティブツールでデータと特徴量を準備 SQL ワークフロー Delta Live Tables ノートブック アプリケーションの提供 リアルタイムアプリにモデルを提供して監視 モデル サービング AI Functions SQLからモデル呼出 Lakehouse Apps レイクハウス モニタリング モデルの構築と評価 カスタムモデルのトレーニング、ファインチューニング 事前学習モデルのプロンプトエンジニアリング MLランタイムと ノートブック AutoML Fine Tuning マーケット プレースのモデル MPT LLaMA2 AI Playground MLflow Track & Evaluate データとベクトルの提供 Feature Serving Vector Search Function Serving ガバナンス モデルレジストリ in Unity Catalog Unity Catalog Feature Store in Unity Catalog データプラットフォーム Deltaテーブル 構造化データ ファイル (ボリューム) 非構造化データ
©2024 Databricks Inc. — All rights reserved RAGアプリケーションはリアルタイム、バッチ、 ストリーミングです リアルタイム
例: ポリシーに関する質問に回答する チャットbot バッチ / ストリーミング 例: リスクに関するアンケートが新たに 1万件アップロードされた際に処理 保存データ パイプ ライン Webアプリ Slack / Teams SaaSアプリ SMS RAG アプリ
©2024 Databricks Inc. — All rights reserved 記録 REST API
Databricks内あるいはREST APIによる セキュアな接続 自動 同期 構造化 & 非構造化データ チャットアプリケーション UI/UX、ユーザー認証、セッション管理など モニタリング Databricks によるRAGの デプロイ レイクハウス: ストレージ & ガバナンス モデル データ & ベクトルサービング データ & ベクトル 準備パイプライン RAGチェーン アプリからの質問に反応するために、認証情報の管理、ガバナンス、ロギングを 含むモデルとデータのオーケストレーション
©2024 Databricks Inc. — All rights reserved 記録 REST API
Databricks内あるいはREST APIによる セキュアな接続 自動で 同期 Databricks によるRAGの デプロイ チャットアプリケーション UI/UX、ユーザー認証、セッション管理など 既存アプリ Salesforce、Webポータルなど Lakehouse Apps Databricksがホスト モニタリング レイクハウスモ ニタリング レイクハウス: ストレージ & ガバナンス モデル GenAI Model serving データ & ベクトルサービング Feature Serving Vector Search データ&ベクトルの準備 ワーク フロー Delta Live Tables ワークフロー バッチ/ストリームパイプライン RAGチェーン アプリからの質問に反応するために、認証情報の管理、ガバナンス、ロギングを 含むモデルとデータのオーケストレーション モデルサービング LangChain, Python, … Unity Catalog Deltaテーブル ボリューム Mosaic AIの機能 (AI) Lakehouseの機能 (Data + AI)
©2024 Databricks Inc. — All rights reserved データの準備
©2024 Databricks Inc. — All rights reserved 9 非構造化データの準備 Databricks管理のエンべディングとVector
Search モデルサービング ベクトルDB Vector Search 格納 Delta テーブル 自動で同期 外部モデル カスタムモデル 基盤モデル チャンク & 特徴量 Databricksが エンべディング を計算 モデル 任意のオープン、プロプライエタリのモデル MPT LLaMA2 外部 ソース 取り込み テーブル ボリューム ファイル & メタデータ 文書の処理 1. 解析 2. クレンジング 3. チャンク作成 4. 特徴量生成 ワークフロー Delta Live Tables ノートブック
©2024 Databricks Inc. — All rights reserved 10 非構造化データの準備 顧客管理のエンべディングとVector
Search モデルサービング 外部モデル カスタムモデル 基盤モデル 外部 ソース 取り込み Tables Volumes ファイル & メタデータ 文書の処理 1. 解析 2. クレンジング 3. チャンク作成 4. 特徴量生成 チャンク & 特徴量 ワークフロー Delta Live Tables ノートブック モデル 任意のオープン、プロプライエタリのモデル MPT LLaMA2 ベクトルDB Vector Search 格納 Delta テーブル 自動 同期 エンべ ディング ご自身で エンべディング を計算して格納 ワークフロー Delta Live Tables ノートブック チャンク ベクトル 特徴量
©2024 Databricks Inc. — All rights reserved 11 構造化データの準備 サービング
Feature Serving 格納 外部 ソース 取り込み Deltaテーブル Deltaテーブル 自動同期 行 特徴量 エンジニア リング 特徴量 ワークフロー Delta Live Tables ノートブック オンライン テーブル Feature Servingとオンラインテーブル
©2024 Databricks Inc. — All rights reserved チェーンの構築と提供
©2024 Databricks Inc. — All rights reserved 13 モデルサービング データサービング
チェーンのロジック RAGアーキテクチャ: チェーン モデルサービング 質問 クエリー 処理 クエリー 展開 リトリーバ プロンプト エンジニア リング 生成 応答 外部モデル カスタムモデル 基盤モデル Feature Serving Vector Search 後処理 Unity Catalog Deltaテーブル 記録 モニタリング レイクハウスモ ニタリング 🦜🔗
©2024 Databricks Inc. — All rights reserved アプリケーション モニタリング Databricks
によるRAGの デプロイ レイクハウス: ストレージ & ガバナンス モデル データ & ベクトル サービング データ&ベクトル 準備パイプライン RAGチェーン