Databricks 生成AIワークショップ / gen-ai-workshop

Databricks を活用し、PDFなどの業務文書をもとに回答する RAG チャットボット構築をハンズオンで体験する実践ワークショップです。

Transcript

1. ©2025 Databricks Inc. — All rights reserved 1 データブリックス・ジャパン株式会社 2026年2月 1 2時間で身につく！ Databricksを用いた 生成AIワークショップ 安全情報RAGチャットボット構築
2. ©2025 Databricks Inc. — All rights reserved 2時間で身につく！ Databricksを用いた生成 AIワークショップ 主な対象者 2時間のワークショップを通じて、 Databricksを活用したRAGチャットボット構築 をハンズオン 形式で体験いただき ます。 • 業務で使用するPDFなどドキュメントに基づいた結果を返す チャットボット構築に興味をお持ちの方 • Databricksの経験は不問です ゴール 事前準備 アジェンダ 1. 事前説明 （20分） 2. ハンズオン （100分） ◦ AI Playgroundの利用 ◦ データ作成・ベクトル DB化 ◦ RAGチャットボット • Databricksを用いた ◦ さまざまな生成AIの試し方を理解する ◦ PDFからのテキスト自動抽出方法 を身につける ◦ 生成AIを本番運用化する手法を理解する • 環境：お客様のDatabricks環境を利用いただきます • データ：弊社よりサンプルデータを提供いたします
3. ©2025 Databricks Inc. — All rights reserved Agenda 1. RAGとは？（10分） 2. 利用機能紹介（10分） ◦ AI Playground ◦ Vector Search ◦ モデルサービング 3. ハンズオン（100分） ◦ データ取り込み（ai_parse_document, ai_query） ◦ データ作成・ベクトルDB化（Vector Search） ◦ RAGチャットボット試用
4. ©2025 Databricks Inc. — All rights reserved 　　RAG　　って 聞いたことありますか？
5. ©2025 Databricks Inc. — All rights reserved 　　RAG　　って 聞いたことありますか？ 聞いたことあるけど よく知らない 生成AI関連で 聞くけど実際よく わかってない
6. ©2025 Databricks Inc. — All rights reserved 6 ©2025 Databricks Inc. — All rights reserved 一般的な内容だけではなく 関連する情報を検索して回答する仕組み
7. ©2025 Databricks Inc. — All rights reserved Retrieval – 検索して Augmented – 知識を追加して Generation – 回答を生成する いまさら聞けない RAGの意味
8. ©2025 Databricks Inc. — All rights reserved 1 2 プロンプトエンジニアリング 感電を防止するための対策を教えて 一般的に感電を回避するには〜 Anthropic Claude Sonnet 3.7 チャットボットは一般的な回答を生成して返してくれるが、会社固有の情報は回答できない
9. ©2025 Databricks Inc. — All rights reserved 汎用 インテリジェンス ビジネスデータと無関係な 大規模汎用データで 学習された基盤モデル データ インテリジェンス 顧客データと連携し、 ドメイン固有の課題を 解決できるAI VS 汎用的なAIではエンタープライズのユースケースに対応 できない
10. ©2025 Databricks Inc. — All rights reserved RAGの例 感電を防止するための対策を要約して教えて Anthropic Claude Sonnet 3.7 { "query": " 感電 防止対策" } 類似事例情報 ユーザ 労災情報データ 1 2 3 4 過去の事例に基づいて感電を回避するには〜 RAGチャットボットはKnowledge Baseから情報を検索して回答を作成する
11. ©2025 Databricks Inc. — All rights reserved Agenda 1. RAGとは？（10分） 2. 利用機能紹介（ 10分） ◦ AI Playground ◦ Vector Search ◦ モデルサービング 3. ハンズオン（100分） ◦ データ作成（ai_parse_document, ai_query） ◦ ベクトルDB化（Vector Search） ◦ RAGチャットボット試用
12. ©2024 Databricks Inc. — All rights reserved モデルサービング 12 すべてのタイプのAIモデルを本番運用するためのUI モデルサービング カスタムモデル Foundation Models API 外部モデル サーバレスコンピュートに よるREST APIとしてすべてのモ デルをデプロイし MLflowで管理。 CPUとGPUをサポート。 Feature Store、Vector Searchと連携。 外部のモデルと APIを管理。 これによって、LLMに対するMLflowデ プロイメントのガバナンスと、 従来のDatabricksモデルサービングの モニタリングとペイロード記録を提供。 Databricksがトップの基盤モデルを 厳選、シンプルな APIで提供。 自分でサービングをセットアップする ことなしに、すぐに実験を スタート。
13. ©2025 Databricks Inc. — All rights reserved • Databricks内外でホストされている モデルと対話 • 複数のモデルにおけるアウトプッ ト、レーテンシー、その他のパフォー マンス特性を比較 • プロンプトエンジニアリングとテキス ト生成パラメータのチューニングに 対するクイックな実験 AI Playground 様々なモデルの返答を比較可能なUI
14. ©2024 Databricks Inc. — All rights reserved • レイクハウスプラットフォームで ベクトル検索をインテグレーションする もっともシンプルな方法 • ビルトインのガバナンス、 権限管理、リネージ • エンべディング生成でMLflowと モデルサービングと連携 Vector Search あなた専用のデータで基盤モデルを拡張
15. ©2025 Databricks Inc. — All rights reserved Agenda 1. RAGとは？（10分） 2. 利用機能紹介（10分） ◦ AI Playground ◦ Vector Search ◦ モデルサービング 3. ハンズオン（ 100分） ◦ データ作成（ ai_parse_document, ai_query） ◦ ベクトルDB化（Vector Search） ◦ RAGチャットボット試用
16. ©2025 Databricks Inc. — All rights reserved 全体像 ヒヤリハットPDF 単なるチャットボットではなく、業務知識を活用したRAGチャットボットを開発 テキスト化 (ai_document_parse関数) 生テキスト 要約 (ai_query関数) 整形済み テキスト Bronze Silver 1 2 3 4 テキストを数値化 （Vector Search）
17. ©2025 Databricks Inc. — All rights reserved データソース確認 公開されている下記のヒヤリハット事例を用いる https://www.safety-chubu.meti.go.jp/denry oku/data/r6fy/jiko_r5fy_rei.pdf
18. ©2025 Databricks Inc. — All rights reserved テキスト化 ai_parse_document()関数を用いてPDFをテキスト化する
19. ©2025 Databricks Inc. — All rights reserved テキスト化 ai_parse_document()関数を用いてPDFをテキスト化する CREATE OR REPLACE TABLE near_miss_bronze AS SELECT path, ai_parse_document(content) AS content FROM READ_FILES( '/Volumes/aibi_demo_catalog/default/handson/jiko_r5fy_rei.pdf', format => 'binaryFile' ); 実行するSQL
20. ©2025 Databricks Inc. — All rights reserved テキストから必要な情報を抽出 ai_query()関数を用いてテキスト化した内容から必要情報を抽出する c
21. ©2025 Databricks Inc. — All rights reserved テキストから必要な情報を抽出 ai_query()関数を用いてテキスト化した内容から必要情報を抽出する CREATE OR REPLACE TABLE near_miss_silver AS SELECT path, ai_query( "databricks-claude-3-7-sonnet", "貴方はテキスト整理のプロフェッショナルです。事例についてJSON形式でまとめてください。parse_jsonできるように余計な文 字列は入れないでください。 それぞれの事例の事例番号ごとに発生場所、発生月、天候、発生箇所、被害内容、自己原因、使用電圧、発生状況をまとめて 一つのテキストに整形してください。 Keyはそれぞれ\"事例番号\"と\"事例サマリ\"でお願いします。 [で始まり、]で終わるJSONで返してください。```json```という文字列は抜いてください。 " || content ) AS summary FROM near_miss_bronze 実行するSQL
22. ©2025 Databricks Inc. — All rights reserved テーブル形式に整形 整形したテキストをテーブルデータとして整形する c
23. ©2025 Databricks Inc. — All rights reserved テーブル形式に整形 CREATE OR REPLACE TABLE near_miss_gold AS SELECT GET_JSON_OBJECT(case_element, '$.事例番号') AS `accident_no`, -- 事例番号を抽出 GET_JSON_OBJECT(case_element, '$.事例サマリ') AS `summary` -- 発生状況をサマリとして抽出 FROM near_miss_silver LATERAL VIEW EXPLODE(from_json(summary, 'ARRAY<STRING>')) exploded_cases AS case_element; -- cases配列を展開 実行するSQL 整形したテキストをテーブルデータとして整形する
24. ©2025 Databricks Inc. — All rights reserved ベクトル化
25. ©2025 Databricks Inc. — All rights reserved ベクトル化
26. ©2025 Databricks Inc. — All rights reserved ベクトル化
27. ©2025 Databricks Inc. — All rights reserved AI Playgroundで試す ツール→「Vector Search」で 「near_miss_gold_index」を選択して保存
28. ©2025 Databricks Inc. — All rights reserved AI Playgroundで試す 「事例と対策についてまとめて」
29. ©2025 Databricks Inc. — All rights reserved モデルをデプロイする コードを取得する
30. ©2025 Databricks Inc. — All rights reserved モデルをデプロイする 出力されたノートブックの左記箇所を変更。 カタログ・スキーマ・モデル名を追加して実行（ 20分程度)
31. ©2025 Databricks Inc. — All rights reserved アプリを作成する コンピュート →アプリ→アプリを作成をクリック
32. ©2025 Databricks Inc. — All rights reserved アプリを作成する c 「Agents」→「Chat UI」、エンドポイントを選択して 「次のページ」 →インストール c
33. ©2025 Databricks Inc. — All rights reserved アプリを試す