Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[OCI Technical Deep Dive] オラクルのエンタープライズAI(2024年...

[OCI Technical Deep Dive] オラクルのエンタープライズAI(2024年10月29日開催)

Oracle Cloud Infrastructure(OCI) Technical Deep Dive(2024年10月29日開催)
https://go.oracle.com/LP=144488
-----
お客様と共に歩むオラクルが考えるエンタープライズAIとそれを実現するAIソリューションについてご紹介いたしました。Oracle Cloud Infrastructure でご提供する各種AIサービスや検索拡張生成:Retrieval-Augmented Generation(RAG) を実現する製品・サービスについてもご紹介いたしました。

oracle4engineer

November 10, 2024
Tweet

More Decks by oracle4engineer

Other Decks in Technology

Transcript

  1. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    アプリケーション データマネージメント AIサービス パートナー様 ネットワーク/GPU クラウドのすべての領域でお客様の AI の活用をサポート SaaS PaaS IaaS
  2. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    アプリケーション データマネージメント AIサービス パートナー様 ネットワーク/GPU クラウドのすべての領域でお客様の AI の活用をサポート SaaS PaaS IaaS
  3. 50+ AI Agents Expense Policy Agent Employee Hiring Advisor Sustainability

    Policy Guide Packaging and Sustainability Assistant Retirement and Pensions Analyst Service Request Similar SR Explorer Internal Mobility Assistant New Hire Onboarding Assistant Talent Review Assistant Discretionary Discounting Advisor Job Seeker Analyst Work Order Assistant Price Change Assistant Document IO Agent Career Planning Guide Work Order Parts Assistant Customer Sales Representative Guide Ledger Agent Performance and Goals Assistant Knowledge Management Explorer Order Import Assistant Payments Agent Learning and Training Advisor Knowledge Management Generator Claim Policy Advisor Maintenance Troubleshooting Advisor Personal and Employment Details Assistant Knowledge Management Authoring Assistant Master Data Governance and Standards Advisor Account Reconciliation Agent Employee Contracts Analyst Customer Service Summarization Agent Project Management Agent Profitability and Cost Management Agent Delivery Instructions and Restrictions Assistant Customer Service Response Recommendation Assistant Manufacturing Operational Procedure Guide Advanced Prediction Agent Org Chart Analyst Field Service Route Optimization Agent Collective Agreements Analyst Contextual Data Exploration Agent Shift Scheduling Assistant Field Service Continuous Operations Agent Quality Inspection Advisor Data Visualization Agent Compensation Guidelines Analyst Field Service Nearby Activity Advisor Material Handling Assistant Master Data Matching Agent Tax Withholding Guide Field Service Knowledge Inquiry Assistant Outbound Placarding Advisor Procurement Policy Advisor Service Request Clarification Agent Field Service Asset History Assistant Timecard Assistant Supplier Code of Conduct Assistant Service Request Solution Advisor Customer Account Researcher Agent Benefits Analyst Contracts Researcher Agent Service Request Triage Assistant Incentive Compensation Plan Guide Payslip Analyst Supplier Portal Support Advisor Leave and Absence Analyst Field Service Issue Resolution Assistant Supply Chain Planning Process Guide Product Regulations and Compliance Standards Advisor Perks and Awards Analyst Manufacturer Onboarding and Risk Assessment Advisor Service Request Category Advisor OracleのSaaS(Fusion Applications)では、 50を超える AI エージェント、 100を超える生成 AI 機能 を実装して提供 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  4. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    アプリケーション データマネージメント AIサービス パートナー様 ネットワーク/GPU クラウドのすべての領域でお客様の AI の活用をサポート SaaS PaaS IaaS
  5. AI インフラストラクチャ:OCI Supercluster 数μsの低遅延ネットワーク (RoCEv2 RDMA) GPU GPU GPU GPU

    GPU GPU オラクル独自テクノロジーによる、 高性能GPUインフラストラクチャ • ベアメタル・インスタンスの採用(ハイパーバイザーによるオーバーヘッドなし) • 低遅延(数μs)で広帯域なGPU専用RoCEv2ネットワークを構築 • ロス・レス・ネットワーク、ノンブロッキング・ネットワークの実装 GPU性能を最大限に引き出す • NVIDIA B200では、最大131,072個まで拡張可能 * NVIDIA A100 GPU 32,768 個 NVIDIA H100 GPU 16,384 個 まで拡張可能 クラウド上で世界最大の AI スーパーコンピューター 多くのAIプロダイバー様にご利用いただいています! Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  6. Dedicated Region Oracle Alloy お客様のデータセンターで お客様の社内へサービス提供 パートナー様のデータセンターでパートナー様がパートナー様のお客様へサービス提供 オラクルとNVIDIA、ソブリンAIを全世界に提供へ 「AIが世界中のビジネス、産業、政策を再構築する中、国や組織は、最も貴重なデータを保護するためにデジタル主権を強化する必要があります。 NVIDIA

    との継続的な協業と、クラウド・リージョンを迅速かつローカルに展開する当社独自の能力により、社会はセキュリティを損なうことなくAIを活用 できるようになります」 オラクルCEO サフラ・カッツ ソブリンAI プレスリリース:オラクルとNVIDIA、ソブリンAIを全世界で提供 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  7. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    アプリケーション データマネージメント AIサービス パートナー様 ネットワーク/GPU クラウドのすべての領域でお客様の AI の活用をサポート SaaS PaaS IaaS
  8. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    これまでの機械学習モデルとファウンデーション(基盤)モデルの違い タスク固有 ラベル付きデータ タスク専用 機械学習モデル 文書生成 パブリック コーパス (ラベルなし) 文書生成 タスク実行 文書生成 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル 要約 要約 タスク実行 要約 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル 分類 分類 タスク実行 分類 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル チャット チャット タスク実行 チャット タスク実行 ファウンデー ション (基盤) モデル 学習 学習 学習 学習 学習 プロンプト プロンプト プロンプト プロンプト タスク特化機械学習モデル ファウンデーションモデル タスク毎に赤ちゃんから職人を育て上げる 基本的な教育課程を修了した人に指示をあたえる 機械学習の専門家が必要 機械学習の専門知識がなくてもビジネスへ応用できる タスク
  9. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    これまでの機械学習モデルとファウンデーション(基盤)モデルの違い タスク固有 ラベル付きデータ タスク専用 機械学習モデル 文書生成 パブリック コーパス (ラベルなし) 文書生成 タスク実行 文書生成 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル 要約 要約 タスク実行 要約 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル 分類 分類 タスク実行 分類 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル チャット チャット タスク実行 チャット タスク実行 ファウンデー ション (基盤) モデル 学習 学習 学習 学習 学習 プロンプト プロンプト プロンプト プロンプト タスク特化機械学習モデル ファウンデーションモデル タスク毎に赤ちゃんから職人を育て上げる 基本的な教育課程を修了した人に指示をあたえる 機械学習の専門家が必要 機械学習の専門知識がなくてもビジネスへ応用できる タスク AI サービス 生成 AI サービス ML サービス
  10. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    これまでの機械学習モデルとファウンデーション(基盤)モデルの違い タスク固有 ラベル付きデータ タスク専用 機械学習モデル 文書生成 パブリック コーパス (ラベルなし) 文書生成 タスク実行 文書生成 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル 要約 要約 タスク実行 要約 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル 分類 分類 タスク実行 分類 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル チャット チャット タスク実行 チャット タスク実行 ファウンデー ション (基盤) モデル 学習 学習 学習 学習 学習 プロンプト プロンプト プロンプト プロンプト タスク特化機械学習モデル ファウンデーションモデル タスク毎に赤ちゃんから職人を育て上げる 基本的な教育課程を修了した人に指示をあたえる 機械学習の専門家が必要 機械学習の専門知識がなくてもビジネスへ応用できる タスク AI サービス 生成 AI サービス ML サービス
  11. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    OCI AI Services のラインナップ Digital Assistant Language Speech Vision チャット・ボットの 開発・運用に必要な機能を All in Oneで提供 テキスト生成以外の ベーシックな自然言語解析の モデルを提供 音声ファイルからの 文字起こしの モデルを提供 画像認識のモデルを提供 Document Understanding OCRやドキュメント分類など ドキュメント分析のモデルを提供 ※各サービスの紹介は Appendix をご参照ください
  12. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    これまでの機械学習モデルとファウンデーション(基盤)モデルの違い タスク固有 ラベル付きデータ タスク専用 機械学習モデル 文書生成 パブリック コーパス (ラベルなし) 文書生成 タスク実行 文書生成 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル 要約 要約 タスク実行 要約 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル 分類 分類 タスク実行 分類 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル チャット チャット タスク実行 チャット タスク実行 ファウンデー ション (基盤) モデル 学習 学習 学習 学習 学習 プロンプト プロンプト プロンプト プロンプト タスク特化機械学習モデル ファウンデーションモデル タスク毎に赤ちゃんから職人を育て上げる 基本的な教育課程を修了した人に指示をあたえる 機械学習の専門家が必要 機械学習の専門知識がなくてもビジネスへ応用できる タスク AI サービス 生成 AI サービス ML サービス
  13. データサイエンスではスタンダードとなっているPythonの Jupyterノートブック環境をサービスとして提供 Data Science Service Copyright © 2024 Oracle and/or

    its affiliates. All rights reserved. かんたん • Jupyter Notebookや標準的なPythonライブ ラリなど、機械学習に必要なツールがプリインス トールされた環境を数分でプロビジョニング • 設定不要、メンテナンス不要、構成変更は容易 低コスト • 利用するIaaSインフラリソース(Compute、 Storage、Network)のみの課金で利用可能 便利 • Oracle AutoMLなどのライブラリを提供 (Oracle Acceralated Data Science) • ストレージ、データレイクやデータベース、データ 処理などOCIの他サービスと容易に連携 データロード データ変換 モデル学習 モデル評価 モデル解釈 etc. 機械学習のワークフローを一貫して実行 Operating System(Oracle Linux) MLライブラリ群 etc. Compute CPU Compute GPU Big Data Service Object Storage Data Flow API Gateway ExaCS ADB 様々なPythonライブラリを 自由にインストール Streaming Data Science Service
  14. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    これまでの機械学習モデルとファウンデーション(基盤)モデルの違い タスク固有 ラベル付きデータ タスク専用 機械学習モデル 文書生成 パブリック コーパス (ラベルなし) 文書生成 タスク実行 文書生成 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル 要約 要約 タスク実行 要約 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル 分類 分類 タスク実行 分類 タスク実行 タスク固有 ラベル付きデータ タスク専用 機械学習モデル チャット チャット タスク実行 チャット タスク実行 ファウンデー ション (基盤) モデル 学習 学習 学習 学習 学習 プロンプト プロンプト プロンプト プロンプト タスク特化機械学習モデル ファウンデーションモデル タスク毎に赤ちゃんから職人を育て上げる 基本的な教育課程を修了した人に指示をあたえる 機械学習の専門家が必要 機械学習の専門知識がなくてもビジネスへ応用できる タスク AI サービス 生成 AI サービス ML サービス
  15. Generative AI Service 製品概要 Copyright © 2024 Oracle and/or its

    affiliates. All rights reserved. 高性能の大規模言語モデルをフルマネージドで提供 エンタープライズクラスのセキュリティとプライバシー オンデマンドと専用AIクラスタの2つの提供形態 • Cohere社、Meta社のモデルをフルマネージドのPaaSとして提供 • API アクセス • プレイグラウンド • 入力データはOCI Generative AI に保存されません。 • 学習データはお客様のテナンシ内に保存され、サービスの向上の ために利用されたり 3rdパーティと共有されることはありません。 • APIの完全従量課金でスモールスタートできるオンデマンド • 占有環境で安定したパフォーマンスと費用のプランが容易な専用 AIクラスタ エンタープライズ・クラスのセキュリティ、柔軟性、ユーザーチューニングを実現した生成AIクラウドサービス
  16. 典型的な処理とユースケース Copyright © 2024 Oracle and/or its affiliates. All rights

    reserved. テキスト生成 文書の要約 会話(チャットボット)
  17. サービスの基本機能 Copyright © 2024 Oracle and/or its affiliates. All rights

    reserved. ファウンデーションモデル (基盤モデル) カスタムモデル (ファインチューニング) 専用AIクラスター プレイグラウンド SDK 事前学習済みの大規模言語モデル、埋め込み(ベクトル化) モデルをAPIで提供 WebUIによるシンプルな操作でファインチューニングが可能 契約者様専用の環境により、セキュリティ、パフォーマンスが担保された環境を提供 大規模言語モデルの典型的な処理を簡単に実行でき、パラメーターのチューニングも可能な WebUIでのチャットインタフェース 大規模言語モデルによる推論結果を顧客のアプリケーションに取り込むためのAPIおよびCLIツール を提供
  18. ファウンデーションモデル(基盤モデル)の種類と仕様 Copyright © 2024 Oracle and/or its affiliates. All rights

    reserved. モデルタイプ モデルの概要 モデル名 モデルのスペック ファインチューニング 日本語対応 チャットモデル 質問をし、AIチャットボッ トを通じて会話型回答を 取得するモデル cohere.command-r-plus • 最大入力トークン数:128k • 最大出力トークン数:4k 〇 cohere.command-r-16k • 最大入力トークン数:16k • 最大出力トークン数:4k 〇 〇 meta.llama-3.1-405b- instruct • 最大入出力トークン数:128k 〇 meta.llama-3.1-70b-instruct • 最大入出力トークン数:128k 〇 meta.llama-3-70b-instruct • 最大8kトークン 埋め込み (エンベディング/ベ クトル化) セマンティック検索、テキ スト分類またはテキスト・ クラスタリングにアプリケー ションで使用するために、 テキストをベクトル埋込み 表現に変換するモデル cohere.embed-multilingual- v3.0 • 1024次元のベクトル • 最大512トークン/ベクトル • 最大96センテンス/実行 〇 cohere.embed-english-v3.0 • 1024次元のベクトル • 最大512トークン/ベクトル • 最大96センテンス/実行 cohere.embed-mutilingual- light-v3.0 • 384次元のベクトル • 最大512トークン/ベクトル • 最大96センテンス/実行 〇 cohere.embed-english- light-v3.0 • 384次元のベクトル • 最大512トークン/ベクトル • 最大96センテンス/実行
  19. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    2つの利用形態 ー オンデマンドと専用 AI クラスタ 共有クラスタ 専用クラスタ 専用クラスタ 専用クラスタ オンデマンド(共有インフラ環境) 専用 AIクラスタ(契約者専用インフラ環境) • リソースを専有使用 • ファインチューニング、もしくは、プライベート・レプリカをホスティング(推論環境) • 1つのクラスタに最大50個のエンドポイントを集約してコストの圧縮 • 予測可能な料金、安定した性能 • セキュリティ重視のお客様も安心 • 完全従量課金 • わかりやすい課金体系 • スモールスタートですぐに始められる GPUプール ( RDMAスーパークラスターネットワーク) 専用エンドポイント 専用エンドポイント 専用エンドポイント お客様A お客様B お客様C 凡例 コンテナ GPU ※ 専用クラスタの専用エンドポイント、専用コンテナ、専用GPUはお客様毎に専有となり他のお客様と共有されるこはありません。 物理サーバーは共有されることがあります エンドポイント 共有エンドポイント GPUプール ( RDMAスーパークラスターネットワーク)
  20. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    オンデマンド(共有インフラ環境)プライシングの特徴 分かりやすい入出力文字数による課金 ※トークン数ではない 入力と出力で同じ単価 ※出力に高額の単価を設定していない
  21. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    例:同一テナント内で、ベースモデル x 1 と ファインチューニングモデル x 3 の推論環境を構成する場合 Base Model Weights Base Model Weights Fine-Tuned Weights Base Model Weights Fine-Tuned Weights Base Model Weights Fine-Tuned Weights Base Model Weights 要求B 応答B 要求FT1 要求FT2 要求FT3 応答FT1 応答FT2 応答FT3 要求B 要求FT1 要求FT2 要求FT3 専用クラスタ 専用クラスタ 専用クラスタ 専用クラスタ 応答B 応答FT1 応答FT2 応答FT3 専用クラスタ Fine-Tuned Weights ( Base Model Weights の 0.01%程度 ) • カスタムモデル毎に専用クラスタを用意する必要はない 専用 AI クラスタ と T-Few ファインチューニングによる高効率推論環境 • 同一ベースモデルのレプリカを最大50個同時ホスティング • 1つのベースモデルと同一ベースモデルのカスタムモデル最大49個 を同時ホスティング (B) (FT) 多数のカスタムモデルを利用する際のコストの圧縮
  22. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    プレイグラウンド 推論 パラメータチューニング • チャット • 埋め込み(ベクトル生成) • 最大トークン数 • 温度(temperature) • Top p、Top k • 頻度ペナルティ、存在ペナルティ • その他 コードサンプル ベクトル可視化
  23. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    エンタープライズ・クラスのセキュリティ、柔軟性、ユーザーチューニングを実現した生成AIクラウドサービス OCI Generative AI のまとめ 高性能の大規模言語モデルをフルマネージドで提供 エンタープライズクラスのセキュリティとプライバシー オンデマンドと専用クラスタの2つの提供形態 • 日本語を含むマルチリンガル対応の大規模言語モデル(LLM) • Chat モデル、RAG(検索拡張生成)支援機能、Tool Use Cohere Command R/R+ オンデマンド:わかりやすい入出力文字数課金 シングルテナントでセキュアなホスティングとファインチューニング 効率的なカスタムモデルのホスティング AI専用クラスタ:セキュアで安定した性能 Cohere Embed Multilingual V3.0 • 日本語を含むマルチリンガル対応の高性能埋め込みモデル
  24. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    検索拡張生成 Retrieval-Augmented Generation(RAG)
  25. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    検索拡張生成:Retrieval-Augmented Generation(RAG) • データベースを検索することで社内固有の知識に基づいて 回答できるようになる • データベースを検索することで up-to-date な情報に基づ いて回答できるようになる • ハルシネーション(幻覚)を減らすことができる(ただし、ゼ ロにはできない) アプリケーション LLM 質問 (回答)生成 社内規定集 事前に登録 検索 検索により生成を拡張 公開データにある常識的なことは それらしく答えられる 社内手続きのことは答えてくれない LLM だけのチャットボットの課題 RAG による解決
  26. オペレーショナルなデータと非構造化データを組み合わせてビジネス価値を創造 RAG(Retrieval-Augmented Generation:検索拡張生成) のアーキテクチャ アプリケーション 様々なデータソース 非構造化データ 構造化データ SFDC SAP

    Confluenc e ベクトル LLM リレーショナル グラフ テキストサーチ 販売実績 顧客 製品マスタ SharePoint JSON ②クエリー ナレッジベース ①質問 ⑥回答 ④回答生成指示 ⑤回答 ... Workday Snowflak e ServiceNo w データの取り込み・同期・インデックス化 ③検索結果 地理空間データ IoT Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  27. 多様なデータを活用する際の課題 RAG(Retrieval-Augmented Generation:検索拡張生成) のアーキテクチャ アプリケーション 様々なデータソース 非構造化データ 構造化データ SFDC SAP

    Confluenc e LLM 販売実績 顧客 製品マスタ SharePoint ②クエリー ナレッジベース ①質問 ⑥回答 ④回答生成指示 ⑤回答 ... Workday Snowflak e ServiceNo w データの取り込み・同期・インデックス化 個別最適化で 運用が煩雑 マネージドサービスでも アイドリングリソースの 無駄 個別に検索するため アプリが複雑に 並列して検索するには 複雑な非同期処理・ 並列処理を実装 ベクトル リレーショナル グラフ テキストサーチ JSON ③検索結果 データの一貫性の維 持が困難 非リアルタイム 地理空間データ IoT Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  28. エンタープライズのお客様に育てていただいたオラクルだからこそのこだわり Oracle の エンタープライズ RAG アーキテクチャ アプリケーション 様々なデータソース 非構造化データ 構造化データ

    SFDC SAP Confluenc e データの取り込み・同期・インデックス化 LLM SharePoint ②クエリー ナレッジベース ①質問 ⑥回答 ④回答生成指示 ⑤回答 販売実績 顧客 製品マスタ ... Workday Snowflak e ServiceNo w コンバージドデータベース 様々な種類のデータを 格納可能なコンバー ジドデータベース ③検索結果 IoT 複合ワークロード=JSON, Cube, Graph, Spatial, Text, Event, Blockchainなどに対応 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  29. エンタープライズデータを生成AIで利活用 様々なデータソースからデータを集約して開発・運用をシンプルにしながらビジネス価値を創造 Oracle technologies 3rd party Relational Vectors real-time data

    3rd party 3rd party Business Updates Docs, Events/Alerts DML & DDL Vector Changes Prompt Chat History Enhanced Prompt “What’s the policy?” “What are my corporate benefits?” Embedding Model Embedding Similarity Search Augmented Prompt LLM / GPT Retrieval-Augmented Generation (RAG) Business Operations Vector Hub Real-time Data trusted answers from fresh data to_embeddings() Business Data ドメインナレッジ 新鮮なデータ ハルシネーション低減 メッセージング NoSQL ベクトルデータベース リレーショナル データベース Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  30. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    スクラッチ開発 マネージドサービス SELECT AI with RAG 生成AI インフラ オーケストレーション DB 生成AI インフラ オーケストレーション Agent DB Generative AI Agents Service 生成AI オーケストレーション & DB LangChain LlamaIndex OCI SDK DBMS_VECTOR_CHAIN OCI における RAG の実装手法
  31. OCI における RAG の実装手法 Copyright © 2024 Oracle and/or its

    affiliates. All rights reserved. スクラッチ開発 マネージドサービス SELECT AI with RAG 生成AI インフラ オーケストレーション DB 生成AI インフラ オーケストレーション Agent DB Generative AI Agents Service 生成AI オーケストレーション & DB LangChain LlamaIndex OCI SDK DBMS_VECTOR_CHAIN
  32. RAG スクラッチ開発 実装例 Oracle Database 23c AI Vector Search あらゆるビジネス・データを検索

    生成AIアプリ Generative AI Service + 問い合わせ (テキスト) ベクトル検索 ① 問合せ解釈 ② ベクトル化(埋め込み) ③ 回答作成 OCI Generative AI の埋め込みモデルと、AI Vector Searchによる高速 な検索により、LLMの適用範囲を企業内のビジネス・データに拡大 回答 結果 非構造化データ 構造化データ + ベクトル・データ 非構造化データをベクト ルデータに変換して保持 構造化データと非構造 化データをコンバージ LangChain LlamaIndex OCI SDK DBMS_VECTOR_CHAIN OCI Generative AI とOracle Database 23ai AI Vector Search の例 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  33. LangChain LlamaIndex Copyright © 2024 Oracle and/or its affiliates. All

    rights reserved. スクラッチ開発 • 多機能なライブラリを活用して迅速な開発を目指される方へ OCI API/SDK DBMS_VECTOR _CHAIN • きめ細かなチューニングを必要とされる方へ • 頻繁なライブライの仕様変更の影響を避けたい方へ • 多様なプログラミング言語を利用されたい方へ • PL/SQL で完結できる簡便さをお求めの方へ • データベース内で処理を完結できる効率性をお求めの方へ
  34. • ドキュメントのテキストデータ化、テキストデータのチャンク分割、内容の要約、ベクトル化、リランク、テキスト生成まで 全ての処理をデータベース内で実行可能(SQL、PL/SQLで完結) • ベクトル化したいデータがデータベース内にある場合、 DBMS_VECTOR_CHAINを活用することで無駄なデータ の移動がなくなるため効率的 Oracle Database内にベクトルデータを準備するまでの支援パッケージ DBMS_VECTOR

    、DBMS_VECTOR_CHAINパッケージ ドキュメント テキスト {TEXT} チャンク 7149 ベクトルデータ UTL_TO_TEXT() UTL_TO_CHUNKS() UTL_TO_EMBEDDINGS() UTL_TO_SUMMARY() {TEXT} 要約 TIPS DBMS_VECTOR_CHAINパッケージにより手間のかかるベクトルデータの準備を省力化することが可能です。 Advanced RAG の実装戦略によっては個別機能を独自に実装することも可能です。 RERANK() UTL_TO_GENERATE_TEXT() Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  35. オンプレミスを含めて様々な埋め込みモデルを利用可能 選べる埋め込みモデル 7149 ベクトルデータ UTL_TO_EMBEDDINGS() {TEXT} テキストチャンク データベース内部に埋め込みモデル自体をロード (ONNXフォーマットの埋め込みモデルに対応) 3rdパーティ

    REST API (Cohere, Google AI, Hugging Face, OCI Generative AI, OpenAI, Vertex AI) ローカル REST API (Ollama 対応:23ai, Release Update 23.6) ※マルチモーダル対応 https://docs.oracle.com/en/database/oracle/oracle-database/23/vecse/supported-third-party-provider-operations-and-endpoints.html Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  36. OCI における RAG の実装手法 Copyright © 2024 Oracle and/or its

    affiliates. All rights reserved. スクラッチ開発 マネージドサービス SELECT AI with RAG 生成AI インフラ オーケストレーション DB 生成AI インフラ オーケストレーション Agent DB Generative AI Agents Service 生成AI オーケストレーション & DB LangChain LlamaIndex OCI SDK DBMS_VECTOR_CHAIN
  37. • 簡素化されたセットアッププロセス ✓ RAGのセットアップがより迅速かつ簡単になり、最小限の労力で開始 できるようになります。 • 回答品質改善の主要なチューニングを実装済 ✓ ハイブリッド検索:従来のキーワード検索と高度なセマンティック検 索機能を組み合わせ、関連性の高いコンテキストを取得することでテ

    キスト生成の品質を改善することが期待できます。 ✓ リランキング:ハイブリッド検索の結果を再ランキングし、関連性の高 いコンテキストを取り出すことで、テキスト生成の品質を改善することが 期待できます。 • コンテンツ モデレーション ✓ 偏見、毒性、暴力的、虐待的、軽蔑的、憎悪的などのフレーズを、 大規模言語モデル(LLM)で生成された応答から削除します。 • チャットインターフェース ✓ コンソールで直ちにチャットのテストを開始することができます • API ✓ OCI API/SDK によりアプリケーションを開発 Generative AI Agents Service 概要 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  38. OCI における RAG の実装手法 Copyright © 2024 Oracle and/or its

    affiliates. All rights reserved. スクラッチ開発 マネージドサービス SELECT AI with RAG 生成AI インフラ オーケストレーション DB 生成AI インフラ オーケストレーション Agent DB Generative AI Agents Service 生成AI オーケストレーション & DB LangChain LlamaIndex OCI SDK DBMS_VECTOR_CHAIN
  39. Select AI with RAG SELECT 文で自然言語問い合わせが可能 • Autonomous DatabaseのSelect AIではRAGをサポート

    • 自然言語による問い合わせに対して、データベース上で、 データの検索、RAGによる回答の作成まで実行可能 ※ VS Code SQL Developer 機能拡張から Autonomous Database へ SQL で RAG を実行している様子 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  40. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    選べる生成 AI モデル Select AI でご利用いただける生成AIのプロバイダーとモデルの一覧 https://docs.oracle.com/en/cloud/paas/autonomous-database/serverless/adbsb/select-ai-about.html
  41. RAG POCの OCI Generative AIサービス費用概算例 Copyright © 2024 Oracle and/or

    its affiliates. All rights reserved. 1件の問い合わせ当たりのシステム処理量 • 100 ファイル x 100,000 文字 x 0.155 円 / 10,000 = 155 円 • LLM :OCI Generative AI cohere.command-r-plus v1.2 • 埋め込みモデル:OCI Generative AI cohere.embed-multilingual- v3.0 ドキュメント量 • ドキュメント数:100 PDF ファイル • ドキュメントあたりの平均文字数:100,000 文字 採用するサービス トランザクション • 問い合わせ試行回数:2,000 回 • 問い合わせ文の文字列長:100 文字 • 入力文字数:10,000 文字 • 出力文字数:2,000 文字 ドキュメント投入時の埋め込みモデル費用 https://docs.oracle.com/ja-jp/iaas/Content/generative-ai/pay-on-demand.htm https://www.oracle.com/jp/artificial-intelligence/generative-ai/generative-ai-service/pricing/ 問い合わせ時の埋め込みモデル費用 • 100 文字 x 2,000 回 x 0.155 円 / 10,000 = 3.1 円 問い合わせ時のLLM費用 • (10,000 文字 + 2,000 文字) x 2,000 回 x 3.3945 円 / 10,000 = 8,146.8円 • LLM: 3,3945 円 単価(10,000 文字あたり) • 埋め込みモデル: 0.155 円 サービス費用概算:8,304.9 円 • 合計 = 3.1 円 + 155 円 + 8,146.8円 = 8,304.9 円 • OCI Generative AI サービスの費用のみの概算です。 • 別途、システム構成に合わせてデータベース、コンピュート、オブジェクトスト レージなどの費用がお見積りください。 • データベースへ格納するドキュメントを予めLLMで前処理したり、問い合わせ 文をLLMで拡張するようなチューニングを行う場合、追加の費用がかかります。
  42. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    AI支援サービス(無償)を提供しています。 何にAIを活用できるかわからない 目的を明確化したい AIユースケース ワークショップ オラクル自身による生成AIを 中心とした最新のAI技術の 実用化手法をユースケース軸で ご紹介します。 ユースケースを実現するための アーキテクチャを検討したい ハンズオン支援 サービス ユースケースを実現するための 具体的なサービスを含めた アーキテクチャ検討を支援します。 AI POC 支援 サービス 実際にAI環境を 触ってみたい 手軽に試せるセルフサービス 形式のハンズオン、または クラス形式で製品説明と共に ハンズオン実施を支援します。 AIアーキテクチャ ワークショップ お客様のユースケースを クラウド上で評価するための AI環境および評価テストを 支援します。 実際のユースケースを クラウド上で評価したい
  43. まとめ Copyright © 2024 Oracle and/or its affiliates. All rights

    reserved. • オラクルは、IaaS、PaaS、SaaS すべてのレイヤーでAIの活用を支援します • オラクルは、 データマネージメントと AI の密な連携によりデータからビジネス 価値を創造するエンタープライズに最適なAI ソリューションを提供します • OCI なら低コストで生成AIをはじめることができます • 各種AI支援サービスをご提供しお客様のAI活用を加速します
  44. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    Appendix-1 AI サービスのラインナップ
  45. Digital Assistant (チャットボット) Copyright © 2024 Oracle and/or its affiliates.

    All rights reserved. • チャット・ボットの開発・運用に必要な機能を包括的に 提供 • FB Messenger, Line, Slack, その他カスタムアプリ との連携コンポーネントが実装済み • バックエンドシステム(ERP, HCM, CX, 3rd Party) との連携モジュールが組み込み済 • 大規模言語モデル(Generative AI)との連携により 高度な応答が可能に • 医療業界の知識を学習済の組み込み言語モデルを 提供(Oracle Clinical Digital Assistant) • FAQベースのチャット・ボットを簡単に構築し、業務効 率化に • 自然言語処理を活用したサービスを構築 製品概要 ユースケース 会話 フロー エンジン AIエンジン 言語解析/ 機械学習 翻訳 サービス (Google/Azure) Oracle Service Cloud またはその他の アプリケーション カスタムWebアプリ 利用状況の 蓄積/可視化 Oracle Digital Assistant メッセージ処理 Slack 用 チャネル Slack FB Messenger 用チャネル Web アプリ用 チャネル Facebook Messenger LINE用 チャネル LINE メッセージング プラットフォーム チャネル 会話 フロー 定義 連携用 コンポーネント チャットのコンテキストに 沿った会話の流れを Web UIベースの開発 ツールで簡単定義 ※2024/10 現在日本語未対応 BETA https://www.oracle.com/jp/cloud/price-list/#pricing-ai
  46. Speech (音声認識) Copyright © 2024 Oracle and/or its affiliates. All

    rights reserved. • 音声ファイルからトランスクリプション(文字起こし)機 能を提供する機械学習モデル • 会議録音データなどの文字起こしなど • 医師の診療時の医療記録 • 音声入力システムによるコンピュータソフトウェアの 制御 • カスタマーサポートセンターでの顧客問い合わせの 履歴作成 製品概要 ユースケース “Good afternoon, everyone, and welcome to Oracle's fourth-quarter and fiscal-year 2021 earnings conference call. A copy of…” OUTPUT TEXT OCI Speech Audio File https://www.oracle.com/jp/cloud/price-list/#pricing-ai
  47. Language(自然言語処理) Copyright © 2024 Oracle and/or its affiliates. All rights

    reserved. • 事前学習済みモデルによる言語分析機能 • 言語検出、キーフレーズ、名前付きエンティティの検出 • テキスト分類(600以上のカテゴリーとサブカテゴリー) • センチメント分析 • テキスト翻訳 • 医療分野の言語処理を支援するモデルを提供 (OCI Language Healthcare NLP) • Word、PPT、HTML、JSON、Excelなどさまざまな 形式のドキュメント翻訳機能 製品概要 ユースケース ※2024/10現在、Language DetectionとText Translationのみが日本語対応 • ニュース記事、報告書、契約書、カスタマーサポートの応答 文章、SNS投稿、その他企業内で扱われるドキュメントや テキストデータに関するあらゆる処理の効率化に https://www.oracle.com/jp/cloud/price-list/#pricing-ai
  48. Vision (画像認識) Copyright © 2024 Oracle and/or its affiliates. All

    rights reserved. • 事前学習済み画像認識モデルをフルマネージドの PaaSとして提供 • イメージ分類、物体検出、顔認識 • 生産ラインなどでの不良品の自動検出 • 医療画像解析による病変の検出 • セキュリティカメラでの不正侵入者の検出 • 製品や部品の位置検出 (産業用ロボットアームの制御) • 顧客導線追跡による、集客、製品陳列の最適化 製品概要 ユースケース https://www.oracle.com/jp/cloud/price-list/#pricing-ai
  49. Document Understanding(ドキュメント分析) Copyright © 2024 Oracle and/or its affiliates. All

    rights reserved. • ドキュメントデータ分析の学習済モデル • テキストデータの抽出 • 表データの抽出 • キー・バリュー形式データの抽出 • ドキュメント分類(請求書、履歴書、税金フォーム、 パスポート、銀行取引明細書、給与明細) • バックオフィス系タスクを自動化し、ドキュメントを迅速 に処理 • 古い書類などをテキストデータに変換しデジタル書庫ラ イブラリを構築 製品概要 ユースケース OCR/OCR-PDF ドキュメント分類 キー・バリュー抽出 表抽出 ※2024/10 現在日本語未対応 https://www.oracle.com/jp/cloud/price-list/#pricing-ai
  50. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    ノーコードで基盤モデルのデプロイ、ファインチューン、評価を実現するソリューション ファインチューニング 特定のタスク、ドメインに最適化するため にモデルをファインチューニングすることがで きます。モデルカタログへ登録 デプロイとテスト プレイグラウンドを使ってモデルと対話形 式でテストが可能。リアルタイム推論エン ドポイントをマネージドで提供 評価 BERTScore、ROUGEなどを使用した詳細 なパフォーマンスレポートによるモデルの比較 OCI Data Science AI Quick Actions
  51. OCI Generative AI Service 価格 Copyright © 2024 Oracle and/or

    its affiliates. All rights reserved. サービス 価格 単位 Large Cohere ¥ 3.3945 10,000 文字 Small Cohere ¥ 0.62 10,000 文字 Embed Cohere ¥ 0.155 10,000 文字 Meta Llama 3.1 405B ¥ 4.1385 10,000 文字 サービス 価格 単位 Large Cohere - Dedicated ¥ 3,720.00 AI Unit Per Hour Small Cohere - Dedicated ¥ 1,007.50 AI Unit Per Hour Embed Cohere - Dedicated ¥ 1,689.50 AI Unit Per Hour Large Meta - Dedicated ¥ 1,860.00 AI Unit Per Hour サーバー 専有クラスタ 専有クラスタ 専有クラスタ オンデマンド(共有インフラ環境) 文字数での従量課金 専用AIクラスタ(契約者専用インフラ環境) 利用時間での課金 ※一文字単位で課金 ※入力と出力の合計の文字数が対象 ※一秒単位で課金 ※ファインチューニング用専用AIクラスタは最低 1 unit hour、ホスティング 用専用AIクラスタは最低 744 units hourの利用が必須となります ファインチューニングの場合は必須、ホスティングのみでも利用可能 予測可能な料金、安定した性能 ファインチューニング不可 最新情報 https://www.oracle.com/jp/artificial-intelligence/generative-ai/generative-ai-service/pricing/ ※command-rはsmall cohere ※command-r-plusはlarge cohere
  52. Generative AI Agents Service 価格 Copyright © 2024 Oracle and/or

    its affiliates. All rights reserved. 項番 項目 単価 単位 ① Oracle Cloud Infrastructure Generative AI Agent – Retrieval-Augmented Generation (RAG) ¥0.465 10,000トランザクション (文字数) ② Oracle Cloud Infrastructure Generative AI Agent – ナレッジ・ベース・ストレージ ¥1.302 1GB、1時間 ③ Oracle Cloud Infrastructure 生成AI機 能エージェント- データの取り 込み ¥0.0465 10,000トランザクション (文字数) ①入力文字数と出力文 字数の合計 ②ストレージの容量と保存 期間 ③データ取り込み時の文字 数(マネージドナレッジベース を利用する場合のみ) 最新の情報は下記をご参照ください。 Price List https://www.oracle.com/jp/cloud/price-list/ https://esource.oraclecorp.com/sites/eSource/Cloud/PriceList/OraclePaaSandIaaS Generative AI Agentsのみの価格SKU
  53. Generative AI Agents Service 概算例 Copyright © 2024 Oracle and/or

    its affiliates. All rights reserved. Generative AI Agents Service 入出力の文字数 • リクエスト数/月:3000 • 平均文字数/リクエスト:5000 3000 x 5000 x0.465(単価)/10000 ≒ ¥698 マネージドナレッジベース • ストレージ容量/GB:100 100(GB) x 1.302 (GB単価) x 24(時間) x31(日) ≒¥76781 データ取り込み処理 • リクエスト回数/月:4 • 平均文字数/リクエスト:100万文字 4(回) x 100万(文字) x ¥0.0465(単価) /10000 ≒ 18.6¥ 合計 ¥77498 Object Storage ドキュメントデータの配置 Generative AI Agents Service 入出力の文字数 • リクエスト数/月:3000 • 平均文字数/リクエスト:5000 3000 x 5000 x0.465(単価) / 10000 ≒ ¥698 ADB or Base DB ナレッジベース OCI Vault DBの接続認証 Generative AI Service (Embedding Model) ドキュメントデータの埋め込み Generative AI Agents Service 入出力の文字数 • リクエスト数/月:3000 • 平均文字数/リクエスト:5000 3000 x 5000 x0.465(単価) / 10000 ≒ ¥698 OpenSearch Service ナレッジベース OCI Vault OpenSearchの接続認証 Generative AI Service (Embedding Model) ドキュメントデータの埋め込み IDCSシークレット(Option) OpenSearchの接続認証 マネージドナレッジベースの構成 Oracle Database の構成 OpenSearch の構成 Cost Estimator https://www.oracle.com/jp/cloud/costestimator.html
  54. Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

    Appendix-3 抑えておきたいコンテンツのご案内
  55. ベクトルデータベース/RAG関連チュートリアル https://oracle-japan.github.io/ocitutorials/ai-vector-search Always Free ADBの作り方/仮想マシンへの Oracle Database 23ai Freeのインストール方法 から、Oracle

    AI Vector Searchの様々な使い方 を学んでいただける内容になっています。 • 101 : Always Freeで23aiのADBインスタンスを作成してみよう • 102 : 仮想マシンへOracle Database 23ai Freeをインストールし てみよう • 103 : Oracle AI Vector Searchの基本操作を試してみよう • 104 : ファイル→テキスト→チャンク→ベクトルへの変換およびベクトル 検索を使おう • 105 : マルチベクトル検索で複数のドキュメントを検索してみよう • 106 : Oracle Database 23aiとLangChainでRAGを構成してみ よう • 107 : 会話履歴保持の仕組みを取り入れたRAGの実装をしてみよう • 108 : SELECT AI with RAGを試してみよう Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  56. AI / 機械学習関連チュートリアル Oracle Cloud Data Science ハンズオン https://github.com/oracle-japan/oci-datascience-hol01/ Oracle

    Cloud Infrastructure Data Science と Oracle が提供する機械学習ライブラリ Acceralated Data Science(ADS) を利用して社員の離職率を予 測する手順をご案内します Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  57. 製品・技術資料 OCI Data Science Service 製品概要 https://speakerdeck.com/oracle4engineer/oci-data-science-service-zhi-pin-gai-yao OCI Generative AI

    Service & Agents Service 製品概要 https://speakerdeck.com/oracle4engineer/oci-generative-ai-service-and-agents- service-zhi-pin-gai-yao OCI Generative AI Service 実践編 https://speakerdeck.com/oracle4engineer/practice-of-oci-generative-ai-service Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
  58. 製品・技術資料 Oracle AI Vector Search 技術概要 https://speakerdeck.com/oracle4engineer/oracle-ai-vector-search Oracle AI Vector

    Search 技術詳細 https://speakerdeck.com/oracle4engineer/oracle-ai-vector-search-technical Copyright © 2024 Oracle and/or its affiliates. All rights reserved.