[OCI Technical Deep Dive] オラクルのエンタープライズAI(2024年10月29日開催)

オラクルのエンタープライズ AI 日本オラクル株式会社クラウド・エンジニアリング COE 統括荒川裕二

Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
アプリケーションデータマネージメント AIサービスパートナー様ネットワーク／GPU クラウドのすべての領域でお客様の AI の活用をサポート SaaS PaaS IaaS

50+ AI Agents Expense Policy Agent Employee Hiring Advisor Sustainability
Policy Guide Packaging and Sustainability Assistant Retirement and Pensions Analyst Service Request Similar SR Explorer Internal Mobility Assistant New Hire Onboarding Assistant Talent Review Assistant Discretionary Discounting Advisor Job Seeker Analyst Work Order Assistant Price Change Assistant Document IO Agent Career Planning Guide Work Order Parts Assistant Customer Sales Representative Guide Ledger Agent Performance and Goals Assistant Knowledge Management Explorer Order Import Assistant Payments Agent Learning and Training Advisor Knowledge Management Generator Claim Policy Advisor Maintenance Troubleshooting Advisor Personal and Employment Details Assistant Knowledge Management Authoring Assistant Master Data Governance and Standards Advisor Account Reconciliation Agent Employee Contracts Analyst Customer Service Summarization Agent Project Management Agent Profitability and Cost Management Agent Delivery Instructions and Restrictions Assistant Customer Service Response Recommendation Assistant Manufacturing Operational Procedure Guide Advanced Prediction Agent Org Chart Analyst Field Service Route Optimization Agent Collective Agreements Analyst Contextual Data Exploration Agent Shift Scheduling Assistant Field Service Continuous Operations Agent Quality Inspection Advisor Data Visualization Agent Compensation Guidelines Analyst Field Service Nearby Activity Advisor Material Handling Assistant Master Data Matching Agent Tax Withholding Guide Field Service Knowledge Inquiry Assistant Outbound Placarding Advisor Procurement Policy Advisor Service Request Clarification Agent Field Service Asset History Assistant Timecard Assistant Supplier Code of Conduct Assistant Service Request Solution Advisor Customer Account Researcher Agent Benefits Analyst Contracts Researcher Agent Service Request Triage Assistant Incentive Compensation Plan Guide Payslip Analyst Supplier Portal Support Advisor Leave and Absence Analyst Field Service Issue Resolution Assistant Supply Chain Planning Process Guide Product Regulations and Compliance Standards Advisor Perks and Awards Analyst Manufacturer Onboarding and Risk Assessment Advisor Service Request Category Advisor OracleのSaaS(Fusion Applications)では、 50を超える AI エージェント、 100を超える生成 AI 機能を実装して提供 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

AI インフラストラクチャ：OCI Supercluster 数μsの低遅延ネットワーク (RoCEv2 RDMA) GPU GPU GPU GPU
GPU GPU オラクル独自テクノロジーによる、高性能GPUインフラストラクチャ • ベアメタル・インスタンスの採用（ハイパーバイザーによるオーバーヘッドなし） • 低遅延（数μs）で広帯域なGPU専用RoCEv2ネットワークを構築 • ロス・レス・ネットワーク、ノンブロッキング・ネットワークの実装 GPU性能を最大限に引き出す • NVIDIA B200では、最大131,072個まで拡張可能＊ NVIDIA A100 GPU 32,768 個 NVIDIA H100 GPU 16,384 個まで拡張可能クラウド上で世界最大の AI スーパーコンピューター多くのAIプロダイバー様にご利用いただいています！ Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

Dedicated Region Oracle Alloy お客様のデータセンターでお客様の社内へサービス提供パートナー様のデータセンターでパートナー様がパートナー様のお客様へサービス提供オラクルとNVIDIA、ソブリンAIを全世界に提供へ「AIが世界中のビジネス、産業、政策を再構築する中、国や組織は、最も貴重なデータを保護するためにデジタル主権を強化する必要があります。 NVIDIA
との継続的な協業と、クラウド・リージョンを迅速かつローカルに展開する当社独自の能力により、社会はセキュリティを損なうことなくAIを活用できるようになります」オラクルCEO サフラ・カッツソブリンAI プレスリリース：オラクルとNVIDIA、ソブリンAIを全世界で提供 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

これまでの機械学習モデルとファウンデーション（基盤）モデルの違いタスク固有ラベル付きデータタスク専用機械学習モデル文書生成パブリックコーパス（ラベルなし）文書生成タスク実行文書生成タスク実行タスク固有ラベル付きデータタスク専用機械学習モデル要約要約タスク実行要約タスク実行タスク固有ラベル付きデータタスク専用機械学習モデル分類分類タスク実行分類タスク実行タスク固有ラベル付きデータタスク専用機械学習モデルチャットチャットタスク実行チャットタスク実行ファウンデーション（基盤）モデル学習学習学習学習学習プロンプトプロンプトプロンプトプロンプトタスク特化機械学習モデルファウンデーションモデルタスク毎に赤ちゃんから職人を育て上げる基本的な教育課程を修了した人に指示をあたえる機械学習の専門家が必要機械学習の専門知識がなくてもビジネスへ応用できるタスク

これまでの機械学習モデルとファウンデーション（基盤）モデルの違いタスク固有ラベル付きデータタスク専用機械学習モデル文書生成パブリックコーパス（ラベルなし）文書生成タスク実行文書生成タスク実行タスク固有ラベル付きデータタスク専用機械学習モデル要約要約タスク実行要約タスク実行タスク固有ラベル付きデータタスク専用機械学習モデル分類分類タスク実行分類タスク実行タスク固有ラベル付きデータタスク専用機械学習モデルチャットチャットタスク実行チャットタスク実行ファウンデーション（基盤）モデル学習学習学習学習学習プロンプトプロンプトプロンプトプロンプトタスク特化機械学習モデルファウンデーションモデルタスク毎に赤ちゃんから職人を育て上げる基本的な教育課程を修了した人に指示をあたえる機械学習の専門家が必要機械学習の専門知識がなくてもビジネスへ応用できるタスク AI サービス生成 AI サービス ML サービス

OCI AI Services のラインナップ Digital Assistant Language Speech Vision チャット・ボットの開発・運用に必要な機能を All in Oneで提供テキスト生成以外のベーシックな自然言語解析のモデルを提供音声ファイルからの文字起こしのモデルを提供画像認識のモデルを提供 Document Understanding OCRやドキュメント分類などドキュメント分析のモデルを提供 ※各サービスの紹介は Appendix をご参照ください

データサイエンスではスタンダードとなっているPythonの Jupyterノートブック環境をサービスとして提供 Data Science Service Copyright © 2024 Oracle and/or
its affiliates. All rights reserved. かんたん • Jupyter Notebookや標準的なPythonライブラリなど、機械学習に必要なツールがプリインストールされた環境を数分でプロビジョニング • 設定不要、メンテナンス不要、構成変更は容易低コスト • 利用するIaaSインフラリソース（Compute、 Storage、Network）のみの課金で利用可能便利 • Oracle AutoMLなどのライブラリを提供（Oracle Acceralated Data Science） • ストレージ、データレイクやデータベース、データ処理などOCIの他サービスと容易に連携データロードデータ変換モデル学習モデル評価モデル解釈 etc. 機械学習のワークフローを一貫して実行 Operating System(Oracle Linux) MLライブラリ群 etc. Compute CPU Compute GPU Big Data Service Object Storage Data Flow API Gateway ExaCS ADB 様々なPythonライブラリを自由にインストール Streaming Data Science Service

Generative AI Service 製品概要 Copyright © 2024 Oracle and/or its
affiliates. All rights reserved. 高性能の大規模言語モデルをフルマネージドで提供エンタープライズクラスのセキュリティとプライバシーオンデマンドと専用AIクラスタの２つの提供形態 • Cohere社、Meta社のモデルをフルマネージドのPaaSとして提供 • API アクセス • プレイグラウンド • 入力データはOCI Generative AI に保存されません。 • 学習データはお客様のテナンシ内に保存され、サービスの向上のために利用されたり 3rdパーティと共有されることはありません。 • APIの完全従量課金でスモールスタートできるオンデマンド • 占有環境で安定したパフォーマンスと費用のプランが容易な専用 AIクラスタエンタープライズ・クラスのセキュリティ、柔軟性、ユーザーチューニングを実現した生成AIクラウドサービス

典型的な処理とユースケース Copyright © 2024 Oracle and/or its affiliates. All rights
reserved. テキスト生成文書の要約会話（チャットボット）

サービスの基本機能 Copyright © 2024 Oracle and/or its affiliates. All rights
reserved. ファウンデーションモデル（基盤モデル）カスタムモデル (ファインチューニング) 専用AIクラスタープレイグラウンド SDK 事前学習済みの大規模言語モデル、埋め込み(ベクトル化) モデルをAPIで提供 WebUIによるシンプルな操作でファインチューニングが可能契約者様専用の環境により、セキュリティ、パフォーマンスが担保された環境を提供大規模言語モデルの典型的な処理を簡単に実行でき、パラメーターのチューニングも可能な WebUIでのチャットインタフェース大規模言語モデルによる推論結果を顧客のアプリケーションに取り込むためのAPIおよびCLIツールを提供

ファウンデーションモデル（基盤モデル）の種類と仕様（チャットモデル） Copyright © 2024 Oracle and/or its affiliates. All rights
reserved. モデルタイプモデルの概要モデル名モーダリティモデルのスペックファインチューニング日本語対応チャットモデル質問をし、AIチャットボットを通じて会話型回答を取得するモデル cohere.command-r- plus-08-2024 • テキスト • 最大入力トークン数：128k • 最大出力トークン数：4k 〇 cohere.command-r- 08-2024 • テキスト • 最大入力トークン数：128k • 最大出力トークン数：4k 〇〇 cohere.command-r- plus • テキスト • 最大入力トークン数：128k • 最大出力トークン数：4k 〇 cohere.command-r-16k • テキスト • 最大入力トークン数：16k • 最大出力トークン数：4k 〇〇 meta.llama-3.2-90b- vision-instruct • テキスト • テキスト＋画像 • 最大入出力トークン数：128k meta.llama-3.2-11b- vision-instruct • テキスト • テキスト＋画像 • 最大入出力トークン数：128k meta.llama-3.1-405b- instruct • テキスト • 最大入出力トークン数：128k meta.llama-3.1-70b- instruct • テキスト • 最大入出力トークン数：128k New New New New

Meta Llama 3.2 Vision モデル (90B / 11B) Copyright ©
2024 Oracle and/or its affiliates. All rights reserved. Llama 3.2 Vision Explain the diagram The diagram illustrates the integration of CRM applications with Oracle Commerce Cloud and Dynamics 365, highlighting the flow of data between these systems. The diagram is divided into three main sections: CRM Applications, Tech Support Channels, and OCI Region. CRM Applications • Salesforce • Oracle Commerce Cloud • Dynamics 365 Tech Support Channels • Portal • Email • WhatsApp OCI Region • Integration Flow: • CRM adapter • Native call to Object Storage • Native call to Gen AI Service • CRM adapter • Native call to Object Storage • Native call to Function • Native call to Object Storage • CRM adapter • Business exceptions: • Exception handling process automation • OCI Object Storage • OCI Generative AI • OCI Functions • OCI Gen AI RAG Agent The diagram shows that CRM applications can integrate with Oracle Commerce Cloud and Dynamics 365 through various tech support channels, such as portal, email, and WhatsApp. The integration flow involves using a CRM adapter to connect to native calls to object storage, Gen AI service, and function, which are then processed by the CRM adapter. The diagram also highlights the exception handling process automation, which is triggered by business exceptions. Additionally, the diagram shows that OCI object storage, generative AI, functions, and Gen AI RAG agent are used in the integration flow. Overall, the diagram provides a clear overview of how CRM applications can be integrated with Oracle Commerce Cloud and Dynamics 365, and how data can be processed and stored using various OCI services. • 画像のキャプション生成 • 画像の説明文の生成 • 画像中のテキストの抽出（OCR） • 画像に対するQA テキストと画像のマルチモーダルモデルテキスト・画像のマルチモーダルなタスク例 ※ テキスト＋画像：英語のみをサポート ※ テキストのみ：英語, ドイツ語, フランス語, イタリア語, ポルトガル語,ヒンディー語, スペイン語, タイ語をサポート ※ テキストのみのタスクについては、Llama 3.1 70B / 8B と同等の能力 ※ 11B は、専用AIクラスタのみで提供。90B は、オンデマンドと専用AIクラスタの両方で提供。 Tips RAGにおいて、DBに画像の説明文を登録しておくことで、質問に関連した図表を含む画像を見つけて提示したり、さらにその画像に対して問い合わせ文でQAすることで回答の質を高めるようなユースケースもあります。生成された画像の説明 New

ファウンデーションモデル（基盤モデル）の種類と仕様（埋め込みモデル） Copyright © 2024 Oracle and/or its affiliates. All rights
reserved. モデルタイプモデルの概要モデル名モーダリティモデルのスペックファインチューニング日本語対応埋め込み (エンベディング /ベクトル化)モデルセマンティック検索、テキスト分類またはテキスト・クラスタリングにアプリケーションで使用するために、テキストをベクトル埋込み表現に変換するモデル cohere.embed- multilingual-v3.0 • テキスト • 1024次元のベクトル • 最大512トークン/ベクトル • 最大96センテンス/実行〇 cohere.embed- english-v3.0 • テキスト • 1024次元のベクトル • 最大512トークン/ベクトル • 最大96センテンス/実行 cohere.embed- mutilingual-light-v3.0 • テキスト • 384次元のベクトル • 最大512トークン/ベクトル • 最大96センテンス/実行〇 cohere.embed- english-light-v3.0 • テキスト • 384次元のベクトル • 最大512トークン/ベクトル • 最大96センテンス/実行

２つの利用形態ーオンデマンドと専用 AI クラスタ共有クラスタ専用クラスタ専用クラスタ専用クラスタオンデマンド(共有インフラ環境) 専用 AIクラスタ(契約者専用インフラ環境) • リソースを専有使用 • ファインチューニング、もしくは、プライベート・レプリカをホスティング（推論環境） • １つのクラスタに最大50個のエンドポイントを集約してコストの圧縮 • 予測可能な料金、安定した性能 • セキュリティ重視のお客様も安心 • 完全従量課金 • わかりやすい課金体系 • スモールスタートですぐに始められる GPUプール ( RDMAスーパークラスターネットワーク) 専用エンドポイント専用エンドポイント専用エンドポイントお客様A お客様B お客様C 凡例コンテナ GPU ※ 専用クラスタの専用エンドポイント、専用コンテナ、専用GPUはお客様毎に専有となり他のお客様と共有されるこはありません。物理サーバーは共有されることがありますエンドポイント共有エンドポイント GPUプール ( RDMAスーパークラスターネットワーク)

オンデマンド(共有インフラ環境)プライシングの特徴分かりやすい入出力文字数による課金 ※トークン数ではない入力と出力で同じ単価 ※出力に高額の単価を設定していない

例：同一テナント内で、ベースモデル x 1 とファインチューニングモデル x 3 の推論環境を構成する場合 Base Model Weights Base Model Weights Fine-Tuned Weights Base Model Weights Fine-Tuned Weights Base Model Weights Fine-Tuned Weights Base Model Weights 要求B 応答B 要求FT1 要求FT2 要求FT3 応答FT1 応答FT2 応答FT3 要求B 要求FT1 要求FT2 要求FT3 専用クラスタ専用クラスタ専用クラスタ専用クラスタ応答B 応答FT1 応答FT2 応答FT3 専用クラスタ Fine-Tuned Weights ( Base Model Weights の 0.01%程度 ) • カスタムモデル毎に専用クラスタを用意する必要はない専用 AI クラスタと T-Few ファインチューニングによる高効率推論環境 • 同一ベースモデルのレプリカを最大50個同時ホスティング • 1つのベースモデルと同一ベースモデルのカスタムモデル最大49個を同時ホスティング（B）（FT）多数のカスタムモデルを利用する際のコストの圧縮

プレイグラウンド推論パラメータチューニング • チャット • 埋め込み（ベクトル生成） • 最大トークン数 • 温度(temperature) • Top p、Top k • 頻度ペナルティ、存在ペナルティ • その他コードサンプルベクトル可視化

エンタープライズ・クラスのセキュリティ、柔軟性、ユーザーチューニングを実現した生成AIクラウドサービス OCI Generative AI のまとめ高性能の大規模言語モデルをフルマネージドで提供エンタープライズクラスのセキュリティとプライバシーオンデマンドと専用クラスタの２つの提供形態 • 日本語を含むマルチリンガル対応の大規模言語モデル（LLM） • Chat モデル、RAG(検索拡張生成)支援機能、Tool Use Cohere Command R/R+ オンデマンド：わかりやすい入出力文字数課金シングルテナントでセキュアなホスティングとファインチューニング効率的なカスタムモデルのホスティング AI専用クラスタ：セキュアで安定した性能 Cohere Embed Multilingual V3.0 • 日本語を含むマルチリンガル対応の高性能埋め込みモデル

検索拡張生成 Retrieval-Augmented Generation(RAG)

検索拡張生成：Retrieval-Augmented Generation(RAG) • データベースを検索することで社内固有の知識に基づいて回答できるようになる • データベースを検索することで up-to-date な情報に基づいて回答できるようになる • ハルシネーション（幻覚）を減らすことができる（ただし、ゼロにはできない）アプリケーション LLM 質問（回答）生成社内規定集事前に登録検索検索により生成を拡張公開データにある常識的なことはそれらしく答えられる社内手続きのことは答えてくれない LLM だけのチャットボットの課題 RAG による解決

オペレーショナルなデータと非構造化データを組み合わせてビジネス価値を創造 RAG（Retrieval-Augmented Generation:検索拡張生成）のアーキテクチャアプリケーション様々なデータソース非構造化データ構造化データ SFDC SAP
Confluenc e ベクトル LLM リレーショナルグラフテキストサーチ販売実績顧客製品マスタ SharePoint JSON ②クエリーナレッジベース ①質問 ⑥回答 ④回答生成指示 ⑤回答．．． Workday Snowflak e ServiceNo w データの取り込み・同期・インデックス化 ③検索結果地理空間データ IoT Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

多様なデータを活用する際の課題 RAG（Retrieval-Augmented Generation:検索拡張生成）のアーキテクチャアプリケーション様々なデータソース非構造化データ構造化データ SFDC SAP
Confluenc e LLM 販売実績顧客製品マスタ SharePoint ②クエリーナレッジベース ①質問 ⑥回答 ④回答生成指示 ⑤回答．．． Workday Snowflak e ServiceNo w データの取り込み・同期・インデックス化個別最適化で運用が煩雑マネージドサービスでもアイドリングリソースの無駄個別に検索するためアプリが複雑に並列して検索するには複雑な非同期処理・並列処理を実装ベクトルリレーショナルグラフテキストサーチ JSON ③検索結果データの一貫性の維持が困難非リアルタイム地理空間データ IoT Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

エンタープライズのお客様に育てていただいたオラクルだからこそのこだわり Oracle のエンタープライズ RAG アーキテクチャアプリケーション様々なデータソース非構造化データ構造化データ
SFDC SAP Confluenc e データの取り込み・同期・インデックス化 LLM SharePoint ②クエリーナレッジベース ①質問 ⑥回答 ④回答生成指示 ⑤回答販売実績顧客製品マスタ．．． Workday Snowflak e ServiceNo w コンバージドデータベース様々な種類のデータを格納可能なコンバージドデータベース ③検索結果 IoT 複合ワークロード=JSON, Cube, Graph, Spatial, Text, Event, Blockchainなどに対応 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

エンタープライズデータを生成AIで利活用様々なデータソースからデータを集約して開発・運用をシンプルにしながらビジネス価値を創造 Oracle technologies 3rd party Relational Vectors real-time data
3rd party 3rd party Business Updates Docs, Events/Alerts DML & DDL Vector Changes Prompt Chat History Enhanced Prompt “What’s the policy?” “What are my corporate benefits?” Embedding Model Embedding Similarity Search Augmented Prompt LLM / GPT Retrieval-Augmented Generation (RAG) Business Operations Vector Hub Real-time Data trusted answers from fresh data to_embeddings() Business Data ドメインナレッジ新鮮なデータハルシネーション低減メッセージング NoSQL ベクトルデータベースリレーショナルデータベース Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

スクラッチ開発マネージドサービス SELECT AI with RAG 生成AI インフラオーケストレーション DB 生成AI インフラオーケストレーション Agent DB Generative AI Agents Service 生成AI オーケストレーション & DB LangChain LlamaIndex OCI SDK DBMS_VECTOR_CHAIN OCI における RAG の実装手法

OCI における RAG の実装手法 Copyright © 2024 Oracle and/or its
affiliates. All rights reserved. スクラッチ開発マネージドサービス SELECT AI with RAG 生成AI インフラオーケストレーション DB 生成AI インフラオーケストレーション Agent DB Generative AI Agents Service 生成AI オーケストレーション & DB LangChain LlamaIndex OCI SDK DBMS_VECTOR_CHAIN

RAG スクラッチ開発実装例 Oracle Database 23c AI Vector Search あらゆるビジネス・データを検索
生成AIアプリ Generative AI Service + 問い合わせ（テキスト) ベクトル検索 ① 問合せ解釈 ② ベクトル化(埋め込み) ③ 回答作成 OCI Generative AI の埋め込みモデルと、AI Vector Searchによる高速な検索により、LLMの適用範囲を企業内のビジネス・データに拡大回答結果非構造化データ構造化データ + ベクトル・データ非構造化データをベクトルデータに変換して保持構造化データと非構造化データをコンバージ LangChain LlamaIndex OCI SDK DBMS_VECTOR_CHAIN OCI Generative AI とOracle Database 23ai AI Vector Search の例 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

LangChain LlamaIndex Copyright © 2024 Oracle and/or its affiliates. All
rights reserved. スクラッチ開発 • 多機能なライブラリを活用して迅速な開発を目指される方へ OCI API/SDK DBMS_VECTOR _CHAIN • きめ細かなチューニングを必要とされる方へ • 頻繁なライブライの仕様変更の影響を避けたい方へ • 多様なプログラミング言語を利用されたい方へ • PL/SQL で完結できる簡便さをお求めの方へ • データベース内で処理を完結できる効率性をお求めの方へ

• ドキュメントのテキストデータ化、テキストデータのチャンク分割、内容の要約、ベクトル化、リランク、テキスト生成まで全ての処理をデータベース内で実行可能（SQL、PL/SQLで完結） • ベクトル化したいデータがデータベース内にある場合、 DBMS_VECTOR_CHAINを活用することで無駄なデータの移動がなくなるため効率的 Oracle Database内にベクトルデータを準備するまでの支援パッケージ DBMS_VECTOR
、DBMS_VECTOR_CHAINパッケージドキュメントテキスト {TEXT} チャンク 7149 ベクトルデータ UTL_TO_TEXT() UTL_TO_CHUNKS() UTL_TO_EMBEDDINGS() UTL_TO_SUMMARY() {TEXT} 要約 TIPS DBMS_VECTOR_CHAINパッケージにより手間のかかるベクトルデータの準備を省力化することが可能です。 Advanced RAG の実装戦略によっては個別機能を独自に実装することも可能です。 RERANK() UTL_TO_GENERATE_TEXT() Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

オンプレミスを含めて様々な埋め込みモデルを利用可能選べる埋め込みモデル 7149 ベクトルデータ UTL_TO_EMBEDDINGS() {TEXT} テキストチャンクデータベース内部に埋め込みモデル自体をロード（ONNXフォーマットの埋め込みモデルに対応） 3rdパーティ
REST API （Cohere, Google AI, Hugging Face, OCI Generative AI, OpenAI, Vertex AI）ローカル REST API （Ollama 対応：23ai, Release Update 23.6） ※マルチモーダル対応 https://docs.oracle.com/en/database/oracle/oracle-database/23/vecse/supported-third-party-provider-operations-and-endpoints.html Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

• 簡素化されたセットアッププロセス ✓ RAGのセットアップがより迅速かつ簡単になり、最小限の労力で開始できるようになります。 • 回答品質改善の主要なチューニングを実装済 ✓ ハイブリッド検索：従来のキーワード検索と高度なセマンティック検索機能を組み合わせ、関連性の高いコンテキストを取得することでテ
キスト生成の品質を改善することが期待できます。 ✓ リランキング：ハイブリッド検索の結果を再ランキングし、関連性の高いコンテキストを取り出すことで、テキスト生成の品質を改善することが期待できます。 • コンテンツモデレーション ✓ 偏見、毒性、暴力的、虐待的、軽蔑的、憎悪的などのフレーズを、大規模言語モデル(LLM)で生成された応答から削除します。 • チャットインターフェース ✓ コンソールで直ちにチャットのテストを開始することができます • API ✓ OCI API/SDK によりアプリケーションを開発 Generative AI Agents Service 概要 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

Select AI with RAG SELECT 文で自然言語問い合わせが可能 • Autonomous DatabaseのSelect AIではRAGをサポート
• 自然言語による問い合わせに対して、データベース上で、データの検索、RAGによる回答の作成まで実行可能 ※ VS Code SQL Developer 機能拡張から Autonomous Database へ SQL で RAG を実行している様子 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

選べる生成 AI モデル Select AI でご利用いただける生成AIのプロバイダーとモデルの一覧 https://docs.oracle.com/en/cloud/paas/autonomous-database/serverless/adbsb/select-ai-about.html

RAG POCの OCI Generative AIサービス費用概算例 Copyright © 2024 Oracle and/or
its affiliates. All rights reserved. 1件の問い合わせ当たりのシステム処理量 • 100 ファイル x 100,000 文字 x 0.155 円 / 10,000 = 155 円 • LLM ：OCI Generative AI cohere.command-r-plus v1.2 • 埋め込みモデル：OCI Generative AI cohere.embed-multilingual- v3.0 ドキュメント量 • ドキュメント数：100 PDF ファイル • ドキュメントあたりの平均文字数：100,000 文字採用するサービストランザクション • 問い合わせ試行回数：2,000 回 • 問い合わせ文の文字列長：100 文字 • 入力文字数：10,000 文字 • 出力文字数：2,000 文字ドキュメント投入時の埋め込みモデル費用 https://docs.oracle.com/ja-jp/iaas/Content/generative-ai/pay-on-demand.htm https://www.oracle.com/jp/artificial-intelligence/generative-ai/generative-ai-service/pricing/ 問い合わせ時の埋め込みモデル費用 • 100 文字 x 2,000 回 x 0.155 円 / 10,000 = 3.1 円問い合わせ時のLLM費用 • (10,000 文字 + 2,000 文字) x 2,000 回 x 3.3945 円 / 10,000 = 8,146.8円 • LLM： 3,3945 円単価（10,000 文字あたり） • 埋め込みモデル： 0.155 円サービス費用概算：8,304.9 円 • 合計 = 3.1 円 + 155 円 + 8,146.8円 = 8,304.9 円 • OCI Generative AI サービスの費用のみの概算です。 • 別途、システム構成に合わせてデータベース、コンピュート、オブジェクトストレージなどの費用がお見積りください。 • データベースへ格納するドキュメントを予めLLMで前処理したり、問い合わせ文をLLMで拡張するようなチューニングを行う場合、追加の費用がかかります。

AI支援サービス（無償）を提供しています。何にAIを活用できるかわからない目的を明確化したい AIユースケースワークショップオラクル自身による生成AIを中心とした最新のAI技術の実用化手法をユースケース軸でご紹介します。ユースケースを実現するためのアーキテクチャを検討したいハンズオン支援サービスユースケースを実現するための具体的なサービスを含めたアーキテクチャ検討を支援します。 AI POC 支援サービス実際にAI環境を触ってみたい手軽に試せるセルフサービス形式のハンズオン、またはクラス形式で製品説明と共にハンズオン実施を支援します。 AIアーキテクチャワークショップお客様のユースケースをクラウド上で評価するための AI環境および評価テストを支援します。実際のユースケースをクラウド上で評価したい

まとめ Copyright © 2024 Oracle and/or its affiliates. All rights
reserved. • オラクルは、IaaS、PaaS、SaaS すべてのレイヤーでAIの活用を支援します • オラクルは、データマネージメントと AI の密な連携によりデータからビジネス価値を創造するエンタープライズに最適なAI ソリューションを提供します • OCI なら低コストで生成AIをはじめることができます • 各種AI支援サービスをご提供しお客様のAI活用を加速します

Appendix-1 AI サービスのラインナップ

Digital Assistant (チャットボット) Copyright © 2024 Oracle and/or its affiliates.
All rights reserved. • チャット・ボットの開発・運用に必要な機能を包括的に提供 • FB Messenger, Line, Slack, その他カスタムアプリとの連携コンポーネントが実装済み • バックエンドシステム（ERP, HCM, CX, 3rd Party）との連携モジュールが組み込み済 • 大規模言語モデル(Generative AI)との連携により高度な応答が可能に • 医療業界の知識を学習済の組み込み言語モデルを提供(Oracle Clinical Digital Assistant) • FAQベースのチャット・ボットを簡単に構築し、業務効率化に • 自然言語処理を活用したサービスを構築製品概要ユースケース会話フローエンジン AIエンジン言語解析/ 機械学習翻訳サービス（Google/Azure） Oracle Service Cloud またはその他のアプリケーションカスタムWebアプリ利用状況の蓄積/可視化 Oracle Digital Assistant メッセージ処理 Slack 用チャネル Slack FB Messenger 用チャネル Web アプリ用チャネル Facebook Messenger LINE用チャネル LINE メッセージングプラットフォームチャネル会話フロー定義連携用コンポーネントチャットのコンテキストに沿った会話の流れを Web UIベースの開発ツールで簡単定義 ※2024/10 現在日本語未対応 BETA https://www.oracle.com/jp/cloud/price-list/#pricing-ai

Speech (音声認識) Copyright © 2024 Oracle and/or its affiliates. All
rights reserved. • 音声ファイルからトランスクリプション(文字起こし)機能を提供する機械学習モデル • 会議録音データなどの文字起こしなど • 医師の診療時の医療記録 • 音声入力システムによるコンピュータソフトウェアの制御 • カスタマーサポートセンターでの顧客問い合わせの履歴作成製品概要ユースケース “Good afternoon, everyone, and welcome to Oracle's fourth-quarter and fiscal-year 2021 earnings conference call. A copy of…” OUTPUT TEXT OCI Speech Audio File https://www.oracle.com/jp/cloud/price-list/#pricing-ai

Language(自然言語処理) Copyright © 2024 Oracle and/or its affiliates. All rights
reserved. • 事前学習済みモデルによる言語分析機能 • 言語検出、キーフレーズ、名前付きエンティティの検出 • テキスト分類(600以上のカテゴリーとサブカテゴリー) • センチメント分析 • テキスト翻訳 • 医療分野の言語処理を支援するモデルを提供 (OCI Language Healthcare NLP) • Word、PPT、HTML、JSON、Excelなどさまざまな形式のドキュメント翻訳機能製品概要ユースケース ※2024/10現在、Language DetectionとText Translationのみが日本語対応 • ニュース記事、報告書、契約書、カスタマーサポートの応答文章、SNS投稿、その他企業内で扱われるドキュメントやテキストデータに関するあらゆる処理の効率化に https://www.oracle.com/jp/cloud/price-list/#pricing-ai

Vision (画像認識) Copyright © 2024 Oracle and/or its affiliates. All
rights reserved. • 事前学習済み画像認識モデルをフルマネージドの PaaSとして提供 • イメージ分類、物体検出、顔認識 • 生産ラインなどでの不良品の自動検出 • 医療画像解析による病変の検出 • セキュリティカメラでの不正侵入者の検出 • 製品や部品の位置検出 (産業用ロボットアームの制御) • 顧客導線追跡による、集客、製品陳列の最適化製品概要ユースケース https://www.oracle.com/jp/cloud/price-list/#pricing-ai

Document Understanding（ドキュメント分析） Copyright © 2024 Oracle and/or its affiliates. All
rights reserved. • ドキュメントデータ分析の学習済モデル • テキストデータの抽出 • 表データの抽出 • キー・バリュー形式データの抽出 • ドキュメント分類(請求書、履歴書、税金フォーム、パスポート、銀行取引明細書、給与明細) • バックオフィス系タスクを自動化し、ドキュメントを迅速に処理 • 古い書類などをテキストデータに変換しデジタル書庫ライブラリを構築製品概要ユースケース OCR/OCR-PDF ドキュメント分類キー・バリュー抽出表抽出 ※2024/10 現在日本語未対応 https://www.oracle.com/jp/cloud/price-list/#pricing-ai

ノーコードで基盤モデルのデプロイ、ファインチューン、評価を実現するソリューション OCI Data Science AI Quick Actions 登録準備完了モデル（2024/10） ※OCI によりテスト済で直ちにお客様の環境へ登録できるモデル

ノーコードで基盤モデルのデプロイ、ファインチューン、評価を実現するソリューションファインチューニング特定のタスク、ドメインに最適化するためにモデルをファインチューニングすることができます。モデルカタログへ登録デプロイとテストプレイグラウンドを使ってモデルと対話形式でテストが可能。リアルタイム推論エンドポイントをマネージドで提供評価 BERTScore、ROUGEなどを使用した詳細なパフォーマンスレポートによるモデルの比較 OCI Data Science AI Quick Actions

Appendix-2 価格と見積もり例

OCI Generative AI Service 価格 Copyright © 2024 Oracle and/or
its affiliates. All rights reserved. サービス価格単位 Large Cohere ¥ 3.3945 10,000 文字 Small Cohere ¥ 0.62 10,000 文字 Embed Cohere ¥ 0.155 10,000 文字 Meta Llama 3.1 405B ¥ 4.1385 10,000 文字サービス価格単位 Large Cohere - Dedicated ¥ 3,720.00 AI Unit Per Hour Small Cohere - Dedicated ¥ 1,007.50 AI Unit Per Hour Embed Cohere - Dedicated ¥ 1,689.50 AI Unit Per Hour Large Meta - Dedicated ¥ 1,860.00 AI Unit Per Hour サーバー専有クラスタ専有クラスタ専有クラスタオンデマンド(共有インフラ環境) 文字数での従量課金専用AIクラスタ(契約者専用インフラ環境) 利用時間での課金 ※一文字単位で課金 ※入力と出力の合計の文字数が対象 ※一秒単位で課金 ※ファインチューニング用専用AIクラスタは最低 1 unit hour、ホスティング用専用AIクラスタは最低 744 units hourの利用が必須となりますファインチューニングの場合は必須、ホスティングのみでも利用可能予測可能な料金、安定した性能ファインチューニング不可最新情報 https://www.oracle.com/jp/artificial-intelligence/generative-ai/generative-ai-service/pricing/ ※command-rはsmall cohere ※command-r-plusはlarge cohere

Generative AI Agents Service 価格 Copyright © 2024 Oracle and/or
its affiliates. All rights reserved. 項番項目単価単位 ① Oracle Cloud Infrastructure Generative AI Agent – Retrieval-Augmented Generation (RAG) ¥0.465 10,000トランザクション (文字数) ② Oracle Cloud Infrastructure Generative AI Agent – ナレッジ・ベース・ストレージ ¥1.302 1GB、1時間 ③ Oracle Cloud Infrastructure 生成AI機能エージェント- データの取り込み ¥0.0465 10,000トランザクション (文字数) ①入力文字数と出力文字数の合計 ②ストレージの容量と保存期間 ③データ取り込み時の文字数(マネージドナレッジベースを利用する場合のみ) 最新の情報は下記をご参照ください。 Price List https://www.oracle.com/jp/cloud/price-list/ https://esource.oraclecorp.com/sites/eSource/Cloud/PriceList/OraclePaaSandIaaS Generative AI Agentsのみの価格SKU

Generative AI Agents Service 概算例 Copyright © 2024 Oracle and/or
its affiliates. All rights reserved. Generative AI Agents Service 入出力の文字数 • リクエスト数/月：3000 • 平均文字数/リクエスト：5000 3000 x 5000 x0.465(単価)/10000 ≒ ¥698 マネージドナレッジベース • ストレージ容量/GB：100 100(GB) x 1.302 (GB単価) x 24(時間) x31(日) ≒¥76781 データ取り込み処理 • リクエスト回数/月：4 • 平均文字数/リクエスト：100万文字 4(回) x 100万(文字) x ¥0.0465(単価) /10000 ≒ 18.6¥ 合計 ¥77498 Object Storage ドキュメントデータの配置 Generative AI Agents Service 入出力の文字数 • リクエスト数/月：3000 • 平均文字数/リクエスト：5000 3000 x 5000 x0.465(単価) / 10000 ≒ ¥698 ADB or Base DB ナレッジベース OCI Vault DBの接続認証 Generative AI Service (Embedding Model) ドキュメントデータの埋め込み Generative AI Agents Service 入出力の文字数 • リクエスト数/月：3000 • 平均文字数/リクエスト：5000 3000 x 5000 x0.465(単価) / 10000 ≒ ¥698 OpenSearch Service ナレッジベース OCI Vault OpenSearchの接続認証 Generative AI Service (Embedding Model) ドキュメントデータの埋め込み IDCSシークレット(Option) OpenSearchの接続認証マネージドナレッジベースの構成 Oracle Database の構成 OpenSearch の構成 Cost Estimator https://www.oracle.com/jp/cloud/costestimator.html

Appendix-3 抑えておきたいコンテンツのご案内

ベクトルデータベース／RAG関連チュートリアル https://oracle-japan.github.io/ocitutorials/ai-vector-search Always Free ADBの作り方/仮想マシンへの Oracle Database 23ai Freeのインストール方法から、Oracle
AI Vector Searchの様々な使い方を学んでいただける内容になっています。 • 101 : Always Freeで23aiのADBインスタンスを作成してみよう • 102 : 仮想マシンへOracle Database 23ai Freeをインストールしてみよう • 103 : Oracle AI Vector Searchの基本操作を試してみよう • 104 : ファイル→テキスト→チャンク→ベクトルへの変換およびベクトル検索を使おう • 105 : マルチベクトル検索で複数のドキュメントを検索してみよう • 106 : Oracle Database 23aiとLangChainでRAGを構成してみよう • 107 : 会話履歴保持の仕組みを取り入れたRAGの実装をしてみよう • 108 : SELECT AI with RAGを試してみよう Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

AI / 機械学習関連チュートリアル Oracle Cloud Data Science ハンズオン https://github.com/oracle-japan/oci-datascience-hol01/ Oracle
Cloud Infrastructure Data Science と Oracle が提供する機械学習ライブラリ Acceralated Data Science(ADS) を利用して社員の離職率を予測する手順をご案内します Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

AI / 機械学習関連チュートリアル初級編： https://oracle-japan.github.io/ocitutorials/datascience/vision-for-beginner/ 中級編： https://oracle-japan.github.io/ocitutorials/datascience/vision-for-intermediates/ 初級編では、OCIのコンソールからVisionサービスを使うことで、サービスの基本的な機能を学習します。中級編では、OCI
DataScience から REST API を使用して、 OCI Vision で公開されている API を使用する方法を紹介します。 Oracle Vision ハンズオン Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

製品・技術資料 OCI Data Science Service 製品概要 https://speakerdeck.com/oracle4engineer/oci-data-science-service-zhi-pin-gai-yao OCI Generative AI
Service & Agents Service 製品概要 https://speakerdeck.com/oracle4engineer/oci-generative-ai-service-and-agents- service-zhi-pin-gai-yao OCI Generative AI Service 実践編 https://speakerdeck.com/oracle4engineer/practice-of-oci-generative-ai-service Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

製品・技術資料 AI Services 概要 https://speakerdeck.com/oracle4engineer/ai-services-overview OCI Vision 概要 https://speakerdeck.com/oracle4engineer/vision-overview Copyright
© 2024 Oracle and/or its affiliates. All rights reserved.

製品・技術資料 Oracle AI Vector Search 技術概要 https://speakerdeck.com/oracle4engineer/oracle-ai-vector-search Oracle AI Vector
Search 技術詳細 https://speakerdeck.com/oracle4engineer/oracle-ai-vector-search-technical Copyright © 2024 Oracle and/or its affiliates. All rights reserved.

[OCI Technical Deep Dive] オラクルのエンタープライズAI(2024年...

[OCI Technical Deep Dive] オラクルのエンタープライズAI(2024年10月29日開催)

More Decks by oracle4engineer

Other Decks in Technology

Featured

Transcript