DatabricksにおけるRAGの実践

こちらのイベントで説明した資料です。

RAG MLOps LT大会！！！ - connpass https://mlops.connpass.com/event/315387/

補足記事はこちら。

DatabricksにおけるRAGの実践 #Databricks - Qiita https://qiita.com/taka_yayoi/items/cdd95f41098fd9f29f90

Transcript

1. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary 1 データブリックス・ジャパン Databricks 弥生 隆明 DatabricksにおけるRAGの実践 2024/5/22
2. ©2024 Databricks Inc. — All rights reserved 自己紹介 弥生 隆明 (やよい たかあき) Databricksソリューションアーキテクト ▪ 2020年からデータブリックス ジャパンにお いて、プレセールス、POCに従事 ▪ 前職はコンサルティングファーム、 総合電機メーカーにてデータ分析・Web サービス構築などに従事。 インド赴任経験あり。 ▪ Qiitaでいろいろ書いています。 2 @taka_aki
3. ©2024 Databricks Inc. — All rights reserved Apache Spark徹底入門 発売中！ Learning Spark 2nd Editionの翻訳 + αの内容となっています！ 本書は、ビッグデータを主な対象としたデータ分析フ レームワークであるApache Spark、MLflow、Delta Lakeの中級入門書です。 「動かしてみる」だけではなく、どのような 仕組みになっているのか、どうすれば効率的な実装 が行えるかまで踏み込みつつ、データAIの実装者が Apache Spark、MLflow、および Delta Lakeを使いこなすための解説を行います。
4. ©2024 Databricks Inc. — All rights reserved 6000+ の従業員 $1.5B+ の収益 $4B の投資 レイクハウスの発明者 & 生成AIのパイオニア Gartnerに認知されるリーダー Database Management Systems データ & AIカンパニー のクリエイター
5. ©2024 Databricks Inc. — All rights reserved 記録 REST API Databricks内あるいはREST APIによる セキュアな接続 自動で 同期 Databricks によるRAGの デプロイ チャットアプリケーション UI/UX、ユーザー認証、セッション管理など 既存アプリ Salesforce、Webポータルなど Lakehouse Apps Databricksがホスト モニタリング レイクハウスモ ニタリング レイクハウス: ストレージ & ガバナンス モデル GenAI Model serving データ & ベクトルサービング Feature Serving Vector Search データ&ベクトルの準備 ワーク フロー Delta Live Tables ワークフロー バッチ/ストリームパイプライン RAGチェーン アプリからの質問に反応するために、認証情報の管理、ガバナンス、ロギングを 含むモデルとデータのオーケストレーション モデルサービング LangChain, Python, … Unity Catalog Deltaテーブル ボリューム Mosaic AIの機能 (AI) Lakehouseの機能 (Data + AI)
6. ©2024 Databricks Inc. — All rights reserved プロダクションの生成AIアプリの構築 あなたのユース ケースにベストな モデルの評価、特定 生成AIモデルの 選択 あなたの組織のIPと データをモデルにエ ンコード 生成AIモデルの 文脈付け 生成AIアプリの デプロイ、監視 フィードバックの実 装 アプリの デプロイと監視
7. ©2024 Databricks Inc. — All rights reserved プロダクションの生成AIアプリの構築 あなたのユース ケースにベストな モデルの評価、特定 生成AIモデルの 選択 あなたの組織のIPと データをモデルにエ ンコード 生成AIモデルの 文脈付け 生成AIアプリの デプロイ、監視 フィードバックの実 装 アプリの デプロイと監視
8. ©2024 Databricks Inc. — All rights reserved Mosaic AIモデルサービング 8 すべてのタイプのAIモデルを管理するために統合されたUI、API、SDK モデルサービング カスタムモデル Foundation Models API 外部モデル サーバレスコンピュートに よるREST APIとしてすべてのモ デルをデプロイし MLflowで管理。 CPUとGPUをサポート。 Feature Store、Vector Searchと連携。 外部のモデルと APIを管理。 これによって、LLMに対するMLflowデ プロイメントのガバナンスと、 従来のDatabricksモデルサービングの モニタリングとペイロード記録を提供。 Databricksがトップの基盤モデルを 厳選、シンプルな APIで提供。 自分でサービングをセットアップする ことなしに、すぐに実験を スタート。
9. ©2024 Databricks Inc. — All rights reserved Mosaic AI Playground • Databricks内外でホストされている 基盤モデルと容易にインタラクショ ン • 複数のモデルにおけるアウトプッ ト、レーテンシー、その他のパフォー マンス特性を比較 • プロンプトエンジニアリングとテキス ト生成パラメータのチューニングに 対するクイックな実験 様々な基盤モデルとのインタラクションを比較
10. ©2024 Databricks Inc. — All rights reserved プロダクションの生成AIアプリの構築 あなたのユース ケースにベストな モデルの評価、特定 生成AIモデルの 選択 あなたの組織のIPと データをモデルにエ ンコード 生成AIモデルの 文脈付け 生成AIアプリの デプロイ、監視 フィードバックの実 装 アプリの デプロイと監視
11. ©2024 Databricks Inc. — All rights reserved • レイクハウスプラットフォームで ベクトル検索をインテグレーションする もっともシンプルな方法 • ビルトインのガバナンス、 権限管理、リネージ • エンべディング生成でMLflowと モデルサービングと連携 RAG向けのMosaic AI Vector Search あなた専用のデータで基盤モデルを拡張
12. ©2024 Databricks Inc. — All rights reserved プロダクションの生成AIアプリの構築 あなたのユース ケースにベストな モデルの評価、特定 生成AIモデルの 選択 あなたの組織のIPと データをモデルにエ ンコード 生成AIモデルの 文脈付け 生成AIアプリの デプロイ、監視 フィードバックの実 装 アプリの デプロイと監視
13. ©2024 Databricks Inc. — All rights reserved 低レーテンシーですべてのAI資産をデプロイ AIモデルとワークフローに対するシンプルなデプロイメント すべてのAI資産をデプロイ: サーバレス コンピュートのAPIとして、基盤モデル、 langchain、カスタ ムモデルを含むすべての資産をデプロイ TCOの削減: レーテンシーとコストを削減するLLM固 有の最適化がなされたスケーラブルな 計算資源 セキュアなデプロイメント: マルチレイヤーの セキュリティコントロールと厳密な コンプライアンスによる高可用性かつ セキュアなインフラストラクチャ