マルチクラウド時代の企業における生成AIとデータベースの関係 (Oracle Technology Day)

- Oracle Technology Day (2023/10/31)
https://eventreg.oracle.com/profile/web/index.cfm?PKwebID=0x842575abcd

- マルチクラウド時代の企業における生成AIとデータベースの関係 (Oracle Technology Day)
https://satonaoki.wordpress.com/2023/11/01/multi-cloud-generative-ai-database/

Transcript

1. マルチクラウド時代の 企業における生成AIとデータベースの関係 パネリスト Microsoft Corporation Industry Solutions Engineering 佐藤 直生 氏 日本オラクル株式会社 事業戦略統括 事業開発本部 近藤 暁太 モデレータ 日本オラクル株式会社 事業戦略統括 事業開発本部 本部長 佐藤 裕之 パネルディスカッション
2. 2 Copyright © 2023, Oracle and/or its affiliates
3. 3 Copyright © 2023, Oracle and/or its affiliates パネリスト Microsoft Corporation Industry Solutions Engineering 佐藤 直生 氏 日本オラクル株式会社 事業戦略統括 事業開発本部 近藤 暁太
4. マイクロソフトと オラクルのパートナーシップ 4 Copyright © 2023, Oracle and/or its affiliates [Date]
5. Oracle Cloud InfrastructureとMicrosoft Azureのマルチクラウド機能 5 Copyright © 2023, Oracle and/or its affiliates Oracle Database@Azure ✓Microsoft Azureのデータセンターに導入された、 OCIからデータベース・サービスを直接提供 ✓シンプルかつレイテンシーを最小化し、Azureサービスと OCIデータベース・サービスを組み合わせて利用可能 ✓Azure Marketplaceから購入可能 ✓順次各地域で提供予定 New OCI-Azure Interconnect (2019年から) ✓ OCIとMicrosoft Azure間のセキュアで 低遅延なプライベート相互接続を提供 ✓ 数十分で接続設定が行え、クラウドにまたがった システムを容易に構築可能 ✓ IDやアクセス管理の連携も可能 ✓ OCI上で動作するデータベース・サービスをAzureから シームレスに利用できる「Oracle Database Service for Azure」も提供
6. 6 Copyright © 2023, Oracle and/or its affiliates Title パネルテーマ１ マイクロソフトとオラクルによる 協業のインパクトは？ Copyright © 2023, Oracle and/or its affiliates 6
7. ©Microsoft Corporation Azure Azure とのネイティブ統合 • Azure Marketplace 経由で購入。自社の Microsoft Azure Consumption Commitment (MACC) を活用。 既存の Oracle Database ライセンス、 Unlimited License Agreement (ULA) も利用 • Azure Portal、Azure CLI、Terraform による、 VNET (仮想ネットワーク) インフラストラクチャの プロビジョニング。 OCI による、データベースのプロビジョニング • Azure にホストされているアプリケーションに近い • 機能: RAC、Data Guard、Golden Gate、 RMAN バックアップ、 オンプレミス接続など • 統合のための、Azure サービス (VM、AKS、 Microsoft Fabric、Azure OpenAI Service、 Power BI など) との接続性
8. ©Microsoft Corporation Azure クリティカルなアプリケーションの移行、近代化、革新 Microsoft Azure リージョン 仮想マシン (VM) Microsoft Azure リージョン Microsoft Azure リージョン Synapse DevOps Kubernetes 仮想マシン (VM) Oracle Database @Azure Oracle Database @Azure Oracle Database @Azure 近代化と革新 CI/CD プロセスで、クリティカルな アプリケーションを近代化し、徐々に マイクロサービスを実装、あるいは、 モダン アプリケーションを新規構築 データ + 分析 Azure の分析機能を、最もパフォー マンスが高く最もスケーラブルな Oracle Database クラウド サービスと 組み合わせる エンタープライズ アプリケーション マイクロ秒のリソース間レイテンシで、 最もミッション クリティカルな アプリケーションさえも移行
9. 9 Copyright © 2023, Oracle and/or its affiliates [Date] OCI - Azure パートナーシップ 12 Azure Interconnect Regions 470以上のお客様 お客様事例: VERITAS様 • オンプレミスのデータベースをOCIのExadata Database Serviceに移行 • データベースの再構築をすることなく、クラウドに移行でき、 高いパフォーマンスを実現 • 分析には、Azure Synapseを使用 • Oracle Database service for Azureを使用 • AzureからOCIのデータベースをリアルタイムに参照して、 分析するこが可能に
10. 避けられない 生成AIの広がり 10 Copyright © 2023, Oracle and/or its affiliates [Date] 0 20 40 60 80 100 120 1/1/1900 1/4/1900 1/7/1900 1/10/1900 1/13/1900 1/16/1900 1/19/1900 1/22/1900 1/25/1900 1/28/1900 1/31/1900 2/3/1900 2/6/1900 2/9/1900 2/12/1900 2/15/1900 2/18/1900 2/21/1900 2/24/1900 2/27/1900 3/1/1900 3/4/1900 3/7/1900 3/10/1900 3/13/1900 3/16/1900 3/19/1900 3/22/1900 3/25/1900 3/28/1900 3/31/1900 4/3/1900 Google Treads – 生成AI(日本)
11. 11 Copyright © 2023, Oracle and/or its affiliates Title Copyright © 2023, Oracle and/or its affiliates 1 パネルテーマ２ マイクロソフトとオラクルの 生成AIに纏わる戦略は？
12. 12 Copyright © 2023, Oracle and/or its affiliates 企業向けAIをビジネス・アプリ(SaaS)から、PaaS、IaaSにわたって提供 AI インフラストラクチャ: 高性能・低コストなGPUインフラ AI サービス: 事前学習済みモデル MLサービス: AI開発プラットフォーム ビジネス・アプリケーションにAIを組み込んで提供 OCI Data Science OCI Generative AI NVIDIA GPUs OCI Supercluster with RDMA networking Block, object, HPC filesystems ML in Oracle Database MySQL Heatwave AutoML OCI Data Labeling Digital Assistant Speech Language Vision Document データ: 高性能でセキュアなデータ・プラットフォーム Database Service Data Integration Database Catalog Data Lakehouse ERP HCM SCM Manufacturing Healthcare CRM Finance SaaS PaaS IaaS
13. 13 Copyright © 2023, Oracle and/or its affiliates さまざまなオラクルのビジネス・アプリケーションに生成AIを組み込み Cerner (ヘルスケア) • 退院サマリーの作成 • 保険レター作成 • レファレンス・レター作成 • 支払者のためのデータ構造化 • 情報検索 Fusion SCM • 品目の説明、属性 • サプライヤーからの交渉提案 Fusion ERP • 経営報告シナリオ • 財務報告ナレーション • 仕訳入力 • 照合注記 • 財務データの説明 Fusion HCM • 従業員プロフィール • 目標作成 • 職務記述書、求人 • アンケートの質問 • 業績評価サマリー • 候補者のクオリフィケーション NetSuite • 対象者への個別の回答書の作成 • 財務報告書の要約 • 調達オーダー、リクエスト・レターの作成 • 商品説明の作成 • カスタマーサポート Fusion CX • サービスエージェントの対応 • ナレッジ記事 • 検索補強 • 管理者ガイダンス • フィールドサービスの推奨事項 • 顧客エンゲージメント・サマリー
14. 14 Copyright © 2023, Oracle and/or its affiliates ERP サプライチェーン 在庫管理 購買 製造 CRM ファイナンス ユーザー アプリ AI リアルタイム 業務データ 安定・高速 クラウド・インフラストラクチャ 企業固有のデータを最大限活用できる、 企業向け生成AI • 企業データをリアルタイムに、安全に 生成AIで活用 • 企業に最適なAIモデルを提供 • AIアプリケーションを安定して、高性 能、低コストで稼働 Generative AI Service Oracle Database (ベクトル・データベース) RAG
15. Azure AI が支える Microsoft 製品群 アプリケーション パートナー ソリューション アプリケーション プラットフォーム AI ビルダー Power BI Power Apps Power Automate Power Virtual Agents シナリオ ベースの サービス群 Bot Service Cognitive Search Document Intelligence Video Indexer Metrics Advisor Immersive Reader カスタマイズ可能な AI モデル Vision Speech Language Decision Azure OpenAI Service ML プラットフォーム Azure Machine Learning
16. あらゆる Microsoft Cloud のエクス ペリエンス向けの copilot (副操縦士) Microsoft 365 Copilot あなたの横で仕事をする copilot (副操縦士) で あらゆる人に力を与える Dynamics 365 Copilot あらゆる役割、機能向けの 特化型 copilot (副操縦士) Copilot in Power Platform 想像し、説明すると、 Power Platform が構築 Microsoft Security Copilot Microsoft Security Copilot で 機械の速度で防御 Copilot in Windows プラットフォーム上の 最初の集中型 AI アシスタンス GitHub Copilot イノベーションを 加速するために、 開発者の生産性を向上
17. 独自のカスタム copilot (副操縦士) の開発 アプリケーション プラグインの拡張性 Copilot Prompt Flow / モデル評価 メタプロンプト データ グラウンディング プラグインの実行 基盤モデル AI インフラストラクチャ Microsoft Copilot / あなたの copilot (副操縦士) Azure OpenAI Service 組み込みの 安全システム、 責任ある AI ツール
18. LLM (large language model/大規模言語モデル) RAG (Retrieval-Augmented Generation/検索拡張生成) ベクトルデータベース の関連 18 Copyright © 2023, Oracle and/or its affiliates
19. 19 Copyright © 2023, Oracle and/or its affiliates ベクトルデータベースとは？ ✓ ベクトルを格納・検索するデータ ベース ✓ データを数値のベクトルに変換する ことを「ベクトル化」という ✓ 昨今では自然言語処理で使われ るテキスト前処理手法の一つ RAGとは？ 検索拡張生成 ✓ 外部データベースから事実を検索 ✓ 最新の正確な情報に基づいて大 規模言語モデル（LLM）が回答 を生成するAIフレームワーク LLMとは？ 大規模言語モデル ✓ 大量のテキストデータを使ってトレーニングさ れた自然言語処理のモデル ✓ テキスト分類や感情分析、情報抽出、文章 要約、テキスト生成、質問応答といった、さ まざまな自然言語処理（NLP：Natural Language Processing）タスクに適応 一般的LLMの課題 LLMが知っていることのみを回答 1. 汎用データのみで回答 2. 過去データをもとに回答 3. ハルシネーション(幻想)の課題 RAGとベクトルデータベース解決できる事 類似検索により精度の高い回答を生成 1. 企業データも含め回答 2. 新しいデータも含め回答 3. 根拠を明示できる(ハルシネーションを軽減) LLMとRAGとベクトルデータベース 一般論
20. 20 Copyright © 2023, Oracle and/or its affiliates LLMとRAGとベクトルデータベースの組み合わせ 一般論 質問 質問内容を ベクトル変換 既存情報を ベクトル変換 質問に対する回答に 必要なデータをベクト ル値の近似性を利用 し検索 • 品質レポート • 顧客アンケート • 生産計画 • 品質管理 • 他 質問に類似情報を 付加して補完 回答 質問 ＋ LLM (大規模言語モデル) お客様固有のデータ 質問に対する回答を 生成 ベクトルデータベース RAG (検索拡張生成) ２ １ ３ ４ ５ 根拠となる 情報の付加 ６ 製品Aに関する 品質レポート、顧 客アンケートの分 析結果をもとに 製品Aの課題を 示せ 製品xxxの課題は以下の 通りです。 ・部品yyyの故障率が高い です ・zzzという機能を使う際に エラーログが多くみられます これらの情報源は社内ポー タルサイト https://.... に ある aaa というドキュメント に基づいています。
21. 21 Copyright © 2023, Oracle and/or its affiliates Title Copyright © 2023, Oracle and/or its affiliates 2 パネルテーマ３ マイクロソフトとオラクルの ベクトルデータベースへの取り組み
22. • ベクトル検索、またはハイブリッド検索 • Azure OpenAI Service の Embedding (埋め込み)、 または独自の Embedding • Azure との深い統合 • レプリケーション、パーティション分割によるスケール • 生成 AI アプリ、検索プラグインの構築 画像 音声 映像 文書 グラフ LLM を利用するアプリ向けの インデックス作成、検索を変革 あなたの RAG アプリケーションに力を与える パブリック プレビュー
23. RAG (Retrieval Augmented Generation) インテリジェントなアプリケーションのためのグラウンディング アプリ UX オーケスト レーター Azure OpenAI Service Azure Cognitive Search データ ソース (ファイル、 データベースなど) クエリ → ナレッジ プロンプト + ナレッジ → 応答 Embedding に 変換 -2, -1 , 0, 1 2, 3, 4, 5 6, 7, 8, 9
24. ChatGPT + Enterprise data with Azure OpenAI and Cognitive Search https://github.com/Azure- Samples/azure-search-openai- demo
25. Azure OpenAI Service on your data アプリ、または Copilot エージェント API / SDK Azure OpenAI Service on your data データ ソース (検索、ファイル、データベース、ストレージなど) サード パーティのデータ ソース (ファイル、データソース、ストレージなど)
26. 26 Copyright © 2023, Oracle and/or its affiliates 既存データ 7 1 4 9 ベクトル・データ 既存業務データを生成AIで活用するために、 Oracle Databaseにベクトル・データ型を導入 Oracle Database 23c AI Vector Search
27. 27 Copyright © 2023, Oracle and/or its affiliates Oracle Database 23c • Oracle Databaseに、ベクトル・データ型を追加 • ベクトル検索により、意味的に近いデータを検索可能 （セマンティック検索) • ビジネス・データとベクトルの両方を活用可能 • データの転送や同期、複数DBの運用の手間が不要 Oracle Database 23c AI Vector Search 7 1 4 9
28. 28 Copyright © 2023, Oracle and/or its affiliates ベクトル検索と、ビジネス・データを結合して検索。 あらゆる構造化、非構造化データを組み合わせて検索可能に。 SELECT … FROM entry_info WHERE name in (SELECT name FROM customer …) AND address in (SELECT search_city FROM customer …) ORDER BY vector_distance(doc_vector, :input_vector); 例えば: 名前や住所と、関連文書のベクトル検索を組み合わせる。 SELECT … FROM entry_info WHERE prod_name in (SELECT name FROM products …) AND prod_category in (SELECT category FROM products …) ORDER BY vector_distance(prod_image, :input_vector); 例えば: 製品カテゴリと、製品画像のベクトル検索を組み合わせる。 7 1 4 9
29. ID ベクトル 画像パス カテゴリ 0 0.1, 0.2, 0.6. .... $../.../... 001 1 0.8, 0.1, 0.4. .... $../.../... 003 2 0.5, 0.3, 0.9. .... $../.../... 002 29 Copyright © 2023, Oracle and/or its affiliates 一貫したセキュリティ、アクセス制御をデータベースで担保。 あらゆるAIで安全に企業データを活用可能。 リアルタイムの業務データを RAGで活用 業務データを更新 + ベクトル Oracle Database 23c AI Vector Search AI ID ベクトル 文書パス カテゴリ 0 0.1, 0.2, 0.6. .... $../.../... 001 1 0.8, 0.1, 0.4. .... $../.../... 002 2 0.5, 0.3, 0.9. .... $../.../... 001 アクセス制御 ERP サプライチェーン 在庫管理 CRM アプリ
30. 30 Copyright © 2023, Oracle and/or its affiliates リアルタイムで 業務データを活用 Oracle Database 23c AI Vector Search Azure OpenAI Service Azure App Service 業務情報を 問い合わせ OCI Generative AI Service Oracle - Azure Interconnect
31. 31 Copyright © 2023, Oracle and/or its affiliates クラウドプロバイダーの垣根を超え お客様が柔軟な選択が可能な時代へ