SnowflakeとDatabricks両方でRAGを構築してみた

by camay

Slide 1

Slide 1 text

SnowflakeとDatabricks両方でRAGを構築してみた DATUM STUDIO株式会社亀井友裕 Cross Data Platforms Meetup #1

Slide 2

Slide 2 text

© 2025 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 1 自己紹介 #大阪 #RADWIMPS #ライブ #カラオケ #服 #ビール #スノボ #YouTube #オモコロ #vtuber 亀井友裕会社 DATUM STUDIO 株式会社主な業務経験データパイプラインの構築（Databricks）需要予測モデルの運用（Databricks） RAGの精度改善（AWS）資格 SnowPro Advanced: Data Scientist Databricks Certified Data Engineer Associate

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2025 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 4 RAG（Retrieval Augmented Generation）とは RAGとは、LLMへの問い合わせの際、外部のドキュメントやデータベースから関連情報を検索し、LLMの回答に反映させる技術です。稟議申請のやり方を教えて ①関連情報の検索 ②LLMへのプロンプト生成稟議申請の手順書.pdf 稟議申請の手順書.pdfによると、、、 ③回答

Slide 6

Slide 6 text

© 2025 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 5 ベーシックなRAGのパイプライン（1/2）：ベクトルインデックスの作成 1. 保存：ソースとなるドキュメントを保存します。 2. 分割：大きなドキュメントたちを小さなチャンクに分割します。 3. ベクトル化（埋め込み）：チャンクをそれぞれベクトルに変換します。 4. 保存：後で検索できるように、ベクトルをストレージに保存しておきます。 https://python.langchain.com/docs/tutorials/rag/#indexing

Slide 7

Slide 7 text

© 2025 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 6 ベーシックなRAGのパイプライン（2/2）：取得と生成 5. 質問: ユーザーが質問を入力します。 6. 取得: ユーザー入力の質問に対して、関連するチャンクをベクトルインデックスから取得します。 7. プロンプト作成: 取得したチャンクと質問の両方を含むプロンプトを作成します。 8. 回答生成: プロンプトからを回答を生成します。 https://python.langchain.com/docs/tutorials/rag/#retrieval-and-generation

Slide 8

Slide 8 text

© 2025 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 7 RAG構築に必要なコンポーネント RAGパイプラインの構築のためには、さまざまなコンポーネント（部品）が必要です。コンテキスト・リポジトリチャンク分割関数埋め込みモデルベクトルDB クライアント/アプリ UI PDFなどのドキュメントを格納するストレージドキュメントをチャンクに分割するpythonの関数などチャンクをベクトルに変換する機械学習モデルベクトルデータを格納するストレージユーザーからの質問を受け取り、 RAGパイプラインをからの返答を返すアプリUI ベクトル検索機能質問をベクトルデータに変換し、ベクトルDBから類似ドキュメントを検索する機能 LLM API 生成されたプロンプトを受けとって、回答を生成するLLMのAPI コンポーネント概要

Slide 9

Slide 9 text

© 2025 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 8 それぞれの製品で使用する機能 Snowflake, Databricksはそれぞれ、RAGパイプラインの構築に必要な機能を揃えています。コンテキスト・リポジトリチャンク分割関数埋め込みモデルベクトルDB クライアント/アプリ UI ベクトル検索機能 LLM API コンポーネント Stage cortex.SPLIT_TEXT_RECURSIVE_CHARACTER Snowflake Cortex Search Streamlit in Snowflake Snowflake Cortex LLM（complete関数） Snowflakeの機能 Volumes Langchain の Text Splitters関数など Mosaic AI Vector Search Databricks Apps（PuPr） Databricks Model Serving Endpoint Databricksの機能 Databricks Model Serving Endpoint

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© 2025 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 20 実際に作ってみよう！Databricks編（2/7） pdfファイルをパースし、チャンクに分割する snowflake チャンク分割関数埋め込みモデルベクトルDB クライアント/アプリ UI ベクトル検索機能 LLM API コンポーネントコンテキスト・リポジトリ Databricks

Slide 22

Slide 22 text

© 2025 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 21 実際に作ってみよう！Databricks編（3/7） Mosaic AI Vecoter Search Index オブジェクトを作成（埋め込みモデルは、デフォルトでホストされているモデル（GTE (En)）を使用） snowflake クライアント/アプリ UI LLM API コンポーネントコンテキスト・リポジトリチャンク分割関数埋め込みモデルベクトルDB ベクトル検索機能 databricks Databricks

Slide 23

Slide 23 text

© 2025 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 22 実際に作ってみよう！Databricks編（4/7） Databricks App(Streamlit)を作成 snowflake コンテキスト・リポジトリチャンク分割関数埋め込みモデルベクトルDB ベクトル検索機能 LLM API コンポーネントクライアント/アプリ UI Databricks

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

© 2025 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 28 比較観点1:開発体験総括 Snowflakeの便利ポイント Databricksの便利ポイントベーシックなRAGの構築するなら、総コード量はそんなに変わらないパース、チャンク分割をSQLで完結させられるので楽 Stageに配置しているドキュメントのリンク作成がサクッとできるのも嬉しい Streamlitアプリの作成がめっちゃスムーズ Pythonライブラリのインストールに対するハードルが低いのが嬉しい Mlflowによるロギング周りの機能が充実している

Slide 30

Slide 30 text

© 2025 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 29 比較観点2: デフォルトで使用できるLLMモデルデフォルトで使用できるモデル群は以下です。Snowflakeでは、日本語に対応した埋め込みモデルが使えるのが強みと言えそうです。埋め込みモデル埋め込みモデル snowflake-arctic-embed-m-v1.5 snowflake-arctic-embed-m e5-base-v2 snowflake-arctic-embed-l-v2.0 nv-embed-qa-4 multilingual-e5-large voyage-multilingual-2 GTE Large (En) BGE Large (En) GTE v1.5(En) BGE v1.5(En) Llama-3.1-8b Llama-3.1-70b Llama-3.1-405b Llama-3.2-1b Llama-3.2-3b Llama-3-8b Llama-3-70b Llama-4-Maverick Mistral-7b Mixtral-8x7b Deep Seek-R1 Claude-3.5-Sonnet mistral-large mistral-large2 reka-flash reka-core jamba-instruct jamba-1.5-mini jamba-1.5-large Claude-3.7-Sonnet DBRX MPT Databricks Snowflake ※太字は日本語対応（と、公式で謳われている）モデル

Slide 31

Slide 31 text

© 2025 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 30 比較観点3: コストベクトル検索のサービングはSnowflakeが安く、アプリのホストはDatabricksが安そうでした。 LLM API （Llama-3.3-70B）ベクトル検索のサービングクライアント/アプリ UI 機能 $1.25 / M tokens $220.59/unit, Month $4.3/hour Snowflake (東京リージョン & Enterprise Edition) $0.64 / M input tokens $1.93 / M output tokens $259.2/unit, Month $0.415/hour Databricks (東京リージョン & Premium plan) *1unit = 2M vectors with 768 dim *XSクラスタのアタッチを想定 *1unit = 2M vectors with 768 dim *アタッチできるクラスタは 2vCPU, 6 GB RAMのみ