Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DatabricksによるRAGアーキテクチャー
Search
Databricks Japan
May 12, 2024
Technology
0
250
DatabricksによるRAGアーキテクチャー
DatabricksによるRAGアーキテクチャーについて説明します。
Databricks Japan
May 12, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
JEDAI Meetup! Databricks AI/BI概要
databricksjapan
0
190
Databricks AI/BIクイックワークショップ 環境セットアップガイド
databricksjapan
1
61
Databricks AI/BIクイックワークショップ
databricksjapan
1
340
[2024年10月版] Notebook 2.0のご紹介 / Notebook2.0
databricksjapan
1
1.8k
Databricksによるデータサイエンスと機械学習 / Data Science With Databricks
databricksjapan
2
93
Databricksで挑む!SEGAのデータ活用の次なる一歩
databricksjapan
2
420
Azure Databricksアカウント & Unity Catalogメタストア概要 / Azure Databricks Account and Unity Catalog Metastore Overview
databricksjapan
0
100
[2024年12月版] Unity Catalogセットアップガイド / Unity Catalog Setup Guide
databricksjapan
0
410
[2024年12月版] Databricks Express Setup手順 / Databricks Express Setup
databricksjapan
1
130
Other Decks in Technology
See All in Technology
「海外登壇」という 選択肢を与えるために 〜Gophers EX
logica0419
0
810
Developer Summit 2025 [14-D-1] Yuki Hattori
yuhattor
19
6.3k
プロダクトエンジニア構想を立ち上げ、プロダクト志向な組織への成長を続けている話 / grow into a product-oriented organization
hiro_torii
1
230
30分でわかる『アジャイルデータモデリング』
hanon52_
9
2.7k
【Developers Summit 2025】プロダクトエンジニアから学ぶ、 ユーザーにより高い価値を届ける技術
niwatakeru
2
1.4k
Oracle Cloud Infrastructure:2025年2月度サービス・アップデート
oracle4engineer
PRO
1
240
リアルタイム分析データベースで実現する SQLベースのオブザーバビリティ
mikimatsumoto
0
1.4k
なぜ私は自分が使わないサービスを作るのか? / Why would I create a service that I would not use?
aiandrox
0
790
Tech Blogを書きやすい環境づくり
lycorptech_jp
PRO
1
250
AndroidXR 開発ツールごとの できることできないこと
donabe3
0
130
管理者しか知らないOutlookの裏側のAIを覗く#AzureTravelers
hirotomotaguchi
2
470
ソフトウェアエンジニアと仕事するときに知っておいたほうが良いこと / Key points for working with software engineers
pinkumohikan
0
110
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
How to Think Like a Performance Engineer
csswizardry
22
1.4k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Git: the NoSQL Database
bkeepers
PRO
427
64k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
12
970
How to train your dragon (web standard)
notwaldorf
91
5.8k
Agile that works and the tools we love
rasmusluckow
328
21k
Faster Mobile Websites
deanohume
306
31k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.3k
Unsuck your backbone
ammeep
669
57k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Done Done
chrislema
182
16k
Transcript
Mosaic AIのデータ中心アプローチ 事前学習モデルの 活用、カスタム モデルの構築 リアルタイムアプリに モデルを提供して監 視 ネイティブツールによ るデータと特徴量の
準備 データプラットフォーム — Delta Lake ガバナンス — Unity Catalog データセット モデル アプリ
©2024 Databricks Inc. — All rights reserved 2 RAGはMosaic AIの一部です
Mosaic AIはすべてのタイプのAIで動作します - 古典的なML、ディープラーニング、RAGを含む生成AI MLOps + LLMOps データとベクトルの準備 ネイティブツールでデータと特徴量を準備 アプリケーションの提供 リアルタイムアプリにモデルを提供して監視 モデルの構築と評価 カスタムモデルのトレーニング、ファインチューニング、事前学習 モデルに対するプロンプトエンジニアリング 構造化データとベクトルデータベースのサービング リアルタイムAPIとしてデータを提供 データとAIのガバナンス – Unity Catalog データプラットフォーム – Delta Lake
©2023 Databricks Inc. — All rights reserved 3 Fine Tuning
Model Serving Pre-training Model Serving Vector Search Model Serving MLflow AI Gateway MLflow Evaluation MLflow Prompt Engg 生成AIアプリケーションにリアルタイムデータを接 続するためにRAGが必要です プロンプト エンジニアリング Retrieval Augmented Generation (RAG) ファイン チューニング 事前トレーニング LLMの挙動をガイドする ための特殊なプロンプトを作 成 LLMと企業データを結合 事前学習LLMを特定の データセット、ドメイン に適合 最初からLLMを トレーニング
©2024 Databricks Inc. — All rights reserved 4 RAGはMosaic AIの一部です
Mosaic AIの機能 (AI) レイクハウスの機能 (Data + AI) Mosaic AIはすべてのタイプのAIで動作します - 古典的なML、ディープラーニング、RAGを含む生成AI MLOps + LLMOps MLflow アセットバンドル (DAB) CI/CDサポート データとベクトルの準備 ネイティブツールでデータと特徴量を準備 SQL ワークフロー Delta Live Tables ノートブック アプリケーションの提供 リアルタイムアプリにモデルを提供して監視 モデル サービング AI Functions SQLからモデル呼出 Lakehouse Apps レイクハウス モニタリング モデルの構築と評価 カスタムモデルのトレーニング、ファインチューニング 事前学習モデルのプロンプトエンジニアリング MLランタイムと ノートブック AutoML Fine Tuning マーケット プレースのモデル MPT LLaMA2 AI Playground MLflow Track & Evaluate データとベクトルの提供 Feature Serving Vector Search Function Serving ガバナンス モデルレジストリ in Unity Catalog Unity Catalog Feature Store in Unity Catalog データプラットフォーム Deltaテーブル 構造化データ ファイル (ボリューム) 非構造化データ
©2024 Databricks Inc. — All rights reserved RAGアプリケーションはリアルタイム、バッチ、 ストリーミングです リアルタイム
例: ポリシーに関する質問に回答する チャットbot バッチ / ストリーミング 例: リスクに関するアンケートが新たに 1万件アップロードされた際に処理 保存データ パイプ ライン Webアプリ Slack / Teams SaaSアプリ SMS RAG アプリ
©2024 Databricks Inc. — All rights reserved 記録 REST API
Databricks内あるいはREST APIによる セキュアな接続 自動 同期 構造化 & 非構造化データ チャットアプリケーション UI/UX、ユーザー認証、セッション管理など モニタリング Databricks によるRAGの デプロイ レイクハウス: ストレージ & ガバナンス モデル データ & ベクトルサービング データ & ベクトル 準備パイプライン RAGチェーン アプリからの質問に反応するために、認証情報の管理、ガバナンス、ロギングを 含むモデルとデータのオーケストレーション
©2024 Databricks Inc. — All rights reserved 記録 REST API
Databricks内あるいはREST APIによる セキュアな接続 自動で 同期 Databricks によるRAGの デプロイ チャットアプリケーション UI/UX、ユーザー認証、セッション管理など 既存アプリ Salesforce、Webポータルなど Lakehouse Apps Databricksがホスト モニタリング レイクハウスモ ニタリング レイクハウス: ストレージ & ガバナンス モデル GenAI Model serving データ & ベクトルサービング Feature Serving Vector Search データ&ベクトルの準備 ワーク フロー Delta Live Tables ワークフロー バッチ/ストリームパイプライン RAGチェーン アプリからの質問に反応するために、認証情報の管理、ガバナンス、ロギングを 含むモデルとデータのオーケストレーション モデルサービング LangChain, Python, … Unity Catalog Deltaテーブル ボリューム Mosaic AIの機能 (AI) Lakehouseの機能 (Data + AI)
©2024 Databricks Inc. — All rights reserved データの準備
©2024 Databricks Inc. — All rights reserved 9 非構造化データの準備 Databricks管理のエンべディングとVector
Search モデルサービング ベクトルDB Vector Search 格納 Delta テーブル 自動で同期 外部モデル カスタムモデル 基盤モデル チャンク & 特徴量 Databricksが エンべディング を計算 モデル 任意のオープン、プロプライエタリのモデル MPT LLaMA2 外部 ソース 取り込み テーブル ボリューム ファイル & メタデータ 文書の処理 1. 解析 2. クレンジング 3. チャンク作成 4. 特徴量生成 ワークフロー Delta Live Tables ノートブック
©2024 Databricks Inc. — All rights reserved 10 非構造化データの準備 顧客管理のエンべディングとVector
Search モデルサービング 外部モデル カスタムモデル 基盤モデル 外部 ソース 取り込み Tables Volumes ファイル & メタデータ 文書の処理 1. 解析 2. クレンジング 3. チャンク作成 4. 特徴量生成 チャンク & 特徴量 ワークフロー Delta Live Tables ノートブック モデル 任意のオープン、プロプライエタリのモデル MPT LLaMA2 ベクトルDB Vector Search 格納 Delta テーブル 自動 同期 エンべ ディング ご自身で エンべディング を計算して格納 ワークフロー Delta Live Tables ノートブック チャンク ベクトル 特徴量
©2024 Databricks Inc. — All rights reserved 11 構造化データの準備 サービング
Feature Serving 格納 外部 ソース 取り込み Deltaテーブル Deltaテーブル 自動同期 行 特徴量 エンジニア リング 特徴量 ワークフロー Delta Live Tables ノートブック オンライン テーブル Feature Servingとオンラインテーブル
©2024 Databricks Inc. — All rights reserved チェーンの構築と提供
©2024 Databricks Inc. — All rights reserved 13 モデルサービング データサービング
チェーンのロジック RAGアーキテクチャ: チェーン モデルサービング 質問 クエリー 処理 クエリー 展開 リトリーバ プロンプト エンジニア リング 生成 応答 外部モデル カスタムモデル 基盤モデル Feature Serving Vector Search 後処理 Unity Catalog Deltaテーブル 記録 モニタリング レイクハウスモ ニタリング 🦜🔗
©2024 Databricks Inc. — All rights reserved アプリケーション モニタリング Databricks
によるRAGの デプロイ レイクハウス: ストレージ & ガバナンス モデル データ & ベクトル サービング データ&ベクトル 準備パイプライン RAGチェーン