見せてやる！Oracle本気の Retrieval-Augmented Generation ってやつをな！

https://open8.connpass.com/event/327581/
こちらで発表したLTセッションの資料となります。

Transcript

1. 見せてやる！Oracle本気（マジ）の Retrieval Augmented Generationってやつをな！ Mamiko Sasakawa 日本オラクル
2. 笹川真実子（ささかわまみこ）  概要 ◆ 日本オラクル新卒入社2年目 ◆ Oracle Digital Solution Architect  趣味 ◆ 海外放浪 ◆ (危険な山への)登山 ◆ 飲酒  特技 ◆ 宿2重予約 ◆ “パクチーを抜いてください”を5カ国語話せる  今年やったこと ◆ アフリカ大陸到達 ◆ 砂漠 de キャンプ ◆ 減酒（2日で終了） 自己紹介 Copyright © 2024, Oracle and/or its affiliates 2 20 カ国/year 4 yama/year 4 sake/day ↑ボツワナで持ち帰ろうとしたライオン GitHub：msasakaw（ほとんど何も載ってない） Qiita ：msasakaw （ちゃんと書いてる）
3. 1. RAGとは 2. OCI で実装する本気のRAG構成 3. 見せてやる！Oracle 本気のRAG Demoってやつをな！ Agenda Copyright © 2024, Oracle and/or its affiliates 3
4. お客様のAI活用によるビジネス変革を実現する包括的なクラウドサービス Oracle Cloud Infrastructure AI/ML 製品ポートフォリオ Copyright © 2024, Oracle and/or its affiliates 4 AI Infrastructure AI Services Generative AI and ML for Data Platforms Applications Data AI Partners and ISVs Fusion Applications NetSuite Industry Applications 3rd Party Applications Embedded Generative and Classic AI Block, Object, File Storage, HPC filesystems Digital Assistant Fusion Analytics Data Science ML in Oracle Database Oracle Database Vector Search MySQL HeatWave Vector Store GenAI Speech Language Vision Document Understanding Autonomous Database Select AI MySQL HeatWave AutoML Data Labeling Supercluster with RDMA networking Compute GPU: bare metal, VMs, Kubernetes GenAI Agents https://www.oracle.com/jp/artificial-intelligence/ai-services/
5. Copyright © 2024, Oracle and/or its affiliates 5 RAGとは
6. 外部の知識ベースを検索して関連情報を取得しLLMの回答を拡張する方法 • LLMの入力プロンプトに検索結果を組み込むことで、LLMのテキスト生成を調整する • よく使われる検索システムの例 • （ベクトル）データベース、全文検索エンジン、etc. RAG(Retrieval-Augmented Generation)とは？ Copyright © 2024, Oracle and/or its affiliates 6 海外出張には何が 必要ですか？ パスポートを準備してく ださい。... 海外出張には何が 必要ですか？ まず、XXXのXXに申請 を行ってください。次に… 連携 社内規定集 データベース RAGを使わない例 RAGを用いた例 LLM LLM ユーザー ユーザー →海外旅行についての一般的な回答 →社内規定に基づいた独自回答
7. アプリケーション 動作フロー RAG（Retrieval-Augmented Generation）とは Copyright © 2024, Oracle and/or its affiliates 7 RAG を使ったAI チャットボット LLM 1.海外出張の準備は？ ナレッジベース (ベクトルデータベース) 4.XXXで事前申請してください 3. 質問文＋関連情報 アプリケーション 2. (ベクトル※) 検索 によって 関連情報を連携 文書を(ベクトル化して) 事前に登録 ## 社内規定集内の海外出張の情報 - 海外出張については以下の準備が必要です - 1. XXXに事前申請を… 社内規定集等の文書 ※ベクトル検索により質問の意味に沿ったデータの取得が可能 ユーザー
8. 動作フロー RAG（Retrieval-Augmented Generation）とは Copyright © 2024, Oracle and/or its affiliates 8 RAG を使ったAI チャットボット LLM 1.海外出張の準備は？ 文書を(ベクトル化して) 事前に登録 4.XXXで事前申請してください 3. 質問文＋関連情報 アプリケーション ## 社内規定集内の海外出張の情報 - 海外出張については以下の準備が必要です - 1. XXXに事前申請を… 質問に対して最も関連性のある文書 を探してプロンプトに差し込む 2. (ベクトル) 検索 によって 関連情報を連携 社内規定集等の文書 ナレッジベース (ベクトルデータベース) プロンプト ※ベクトル検索により質問の意味に沿ったデータの取得が可能 ユーザー 2. (ベクトル※) 検索 によって 関連情報を連携
9. アプリケーション 動作フロー RAG（Retrieval-Augmented Generation）とは Copyright © 2024, Oracle and/or its affiliates 9 RAG を使ったAI チャットボット LLM 1.海外出張の準備は？ ナレッジベース (ベクトルデータベース) 4.XXXで事前申請してください アプリケーション 関連情報に基づいて、質問に回答してください ## 質問文 海外出張の準備は？ プロンプト 3. 質問文＋関連情報 ## 社内規定集内の海外出張の情報 - 海外出張については以下の準備が必要です - 1. XXXに事前申請を… 文書を(ベクトル化して) 事前に登録 ## 社内規定集内の海外出張の情報 - 海外出張については以下の準備が必要です - 1. XXXに事前申請を… 社内規定集等の文書 ※ベクトル検索により質問の意味に沿ったデータの取得が可能 ユーザー 2. (ベクトル※) 検索 によって 関連情報を連携
10. Copyright © 2024, Oracle and/or its affiliates 10 見せてもらおうか・・・ Oracle 本気 (マジ)のRAGってやつを・・・・
11. ナレッジベース Oracle DB 23ai Copyright © 2024, Oracle and/or its affiliates RAGの真価を引き出すための Oracle RAGソリューション OCI で実装する本気のRAG構成 11 OCI Agents LLM ①質問 ⑥回答 ④回答生成指示 ⑤回答 ②クエリー ③検索結果 キャッシュストア OCI Cache 質問・回答の保持や管理
12. ナレッジベース Copyright © 2024, Oracle and/or its affiliates RAGの真価を引き出すための Oracle RAGソリューション OCI で実装する本気のRAG構成 12 OCI Agents ①質問 ⑥回答 ④回答生成指示 ⑤回答 ②クエリー ③検索結果 キャッシュストア OCI Cache 質問・回答の保持や管理 LLM エンタープライズ用途に最適なモデル - 少ないパラメータで高性能 - 高いセキュリティとプライバシーを確保 Oracle DB 23ai
13. Copyright © 2024, Oracle and/or its affiliates OCI で実装する本気のRAG構成 13 OCI Agents LLM ①質問 ⑥回答 ④回答生成指示 ⑤回答 ②クエリー ③検索結果 キャッシュストア OCI Cache RAGの真価を引き出すための Oracle RAGソリューション ナレッジベース 様々なデータ、検索手法を1つのデータベースで管理 データ例）画像、テキスト、音声 など 検索例）テキスト、ベクトル など - データ一貫性維持と、開発生産性向上を実現 Oracle DB 23ai
14. ナレッジベース Copyright © 2024, Oracle and/or its affiliates RAGの真価を引き出すための Oracle RAGソリューション OCI で実装する本気のRAG構成 14 LLM ①質問 ⑥回答 ④回答生成指示 ⑤回答 ②クエリー ③検索結果 キャッシュストア OCI Cache 質問・回答の保持や管理 OCI Agents 生成AIやその他サービスとの連携ツールをフルマネージドで提供 - AIアプリケーション実装の複雑さを軽減 - 回答精度向上のための様々なツールを搭載 Oracle DB 23ai
15. Copyright © 2024, Oracle and/or its affiliates 15 見せてやる！ Oracle 本気のRAG Demoってやつを！
16. Oracle 本気のRAG Demo Copyright © 2024, Oracle and/or its affiliates 16
17. Copyright © 2024, Oracle and/or its affiliates 17 Oracle Database 23ai のここがすごい！ 2. Exadata なら・・・ 大量データに対してどえりゃー高速にベクトル検索が可能 1. AI関連機能は全エディションで利用可能
18. Copyright © 2024, Oracle and/or its affiliates 18 Oracle Database 23ai のここがすごい！ 2. Exadata なら・・・ 大量データに対してどえりゃー高速にベクトル検索が可能 1. AI関連機能は全エディションで利用可能 結局DBの話に なっちゃった☆ (・ω<)ﾃﾍ☆ Oracle のベクトル検索にかける思いは 本気（マジ）です!!
19. まとめ • RAGとはナレッジベースと連携し、LLMの回答を強化する方法 • OCI にはRAGの構築に必要な全てのサービスが揃っている 19 Copyright © 2024, Oracle and/or its affiliates