OCI Generative AI Service & Agents Service 製品概要

Overview for OCI Generative AI Service
Overview for OCI Generative AI Agents Service
Click Demonstration

Transcript

1. OCI Generative AI Service 製品概要 日本オラクル株式会社
2. Oracle Cloud Infrastructure AI/ML 製品ポートフォリオ Copyright © 2024 Oracle and/or its affiliates. All rights reserved. Applications Fusion Applications Fusion Analytics Industry Applications 3rd Party Applications Oracle AI Partners ML for data platforms OCI Data Science AI Vector Search in Oracle Database MySQL HeatWave Vector Store OCI Data Labeling AI infrastructure Compute bare metal instances and VMs with NVIDIA GPUs OCI Supercluster with RDMA networking Block, object, and file storage; HPC filesystems Data NetSuite OCI Generative AI OCI Generative AI Agents Digital Assistant Speech Language Vision Document Understanding AI Services
3. OCI AI Services 製品コンセプト Copyright © 2024 Oracle and/or its affiliates. All rights reserved. 専門知識不要 エンタープライズ向けAIを提供 無償から利用可能 専門家ではない開発者が機械学習を 深く知らなくても、AIを適用することを可 能にするサービス群を提供することで、ビ ジネス課題を解決することが可能 Oracle DatabaseやExadataなどに 蓄積したデータ、Fusion Application やNetSuiteのようなアプリケーションから のデータ、OCIによるクラウドインフラを提 供し、様々なデータを持っている唯一の 企業が提供するAIサービス 機械学習は学習にかかる費用とコスト が高いが、Oracleは、最もコスト競争 力を持ったAIサービスを提供。 これによって、すべてのデータにAIが気 軽に利用可能
4. Generative AI Service 製品概要 Copyright © 2024 Oracle and/or its affiliates. All rights reserved. 高性能の大規模言語モデルをフルマネージドで提供 エンタープライズクラスのセキュリティとプライバシー 専用環境でのファインチューニング • 大手LLMプロバイダーCohere社、Meta社のモデルをフルマネー ジドのPaaSとして提供 • ローコード、Web UIベースのシンプルなインタフェース • 入力データや学習データがLLMプロバイダーと共有されたり、他の 契約者に漏れることはありません • 入力テキストはOCIには保存されず、マーケティングやその他の調 査などに使われることはありません • オラクル独自のAI SuperclusterアーキテクチャによりGPUインフラの 高性能を実現 • 占有環境のため、パフォーマンスと価格のプランが容易 エンタープライズ・クラスのセキュリティ、柔軟性、ユーザーチューニングを実現した生成AIクラウドサービス
5. 典型的な処理とユースケース Copyright © 2024 Oracle and/or its affiliates. All rights reserved. 処理タイプ 概要 ユースケース テキスト生成 任意の目的に合わせてテキストを作成します。 新製品のピッチ、マーケティングキャンペーンのスローガン、顧客への営業メール、SNS投稿 記事、ジョブディスクリプション、記事タイトルなど チャットボット チャットによるFAQ • カスタマー サポートなどでインテリジェントな対話を実現するチャットボット スタイルのユー ザー インターフェイスを作成します • LLM に送信されたテキスト (文書、電子メール、製品レビューなど) について自然言語 で質問し、LLM がそのテキストについて理由を説明し、インテリジェントな回答を提供し ます テキスト要約 長すぎて読むことができない文書の要旨を生成したり、 あらゆる種類のテキストを要約できます 書類、契約書、メール、記事、ブログ投稿、商品レビュー、SNS投稿など テキストスタイル変換 テキストのスタイルやトーンを変更します テキストを別のスタイル、形式 (リストまたは段落)、またはトーンで書き直します。 • テキストの言い換え • 文法の改善を提案 テキストの意味の類似性 意味がどれだけ類似しているかに基づいて、いくつかの入 力を評価します。 新しい質問が来たときに、サポート システムに送信された質問のリストを評価して、過去の 同様の質問に対して最も関連性の高い回答を抽出します。 キーワードベースの検索をセマンティック検索に置き換えて、検索結果の関連性を高めます。 データ抽出 テキストから特定のデータを抽出します 自由形式のテキストで書かれた申請書から申請者情報を抽出 • 契約書から日付または金額を抽出 • データテーブルから洞察や傾向を抽出 テキスト分類 テキストを事前定義されたカテゴリに分類します • 与えられたサポート チケットのリストを、それらを処理する部門ごとに分類 • セクターと企業名のリストが与えられた場合、企業をそれぞれのセクターごとに分類
6. サービスの基本機能 Copyright © 2024 Oracle and/or its affiliates. All rights reserved. ファウンデーションモデル カスタムモデル (ファインチューニング) 専用AIクラスター プレイグラウンド SDK 事前学習済みの大規模言語モデルとして、テキスト生成、テキスト要約、埋め込み(ベクトル化)の モデルを提供 ファウンデーションモデルへの知識追加のため、ノーコードで実行できるファインチューニングを、シンプ ルでわかりやすいWebUIで提供します。ファインチューニング時の基本的なパラメータチューニングも 可能です。 契約者様専用の環境により、セキュリティ、パフォーマンスが担保された環境でファイチューニング用 のコンピューティングリソースをご利用いただけます。 大規模言語モデルの典型的な処理を簡単に実行でき、パラメーターのチューニングも可能な WebUIでのチャットインタフェースを提供します。 大規模言語モデルによる推論結果を顧客のアプリケーションに取り込むためのAPIおよびCLIツール を提供します。
7. ファウンデーションモデル Copyright © 2024 Oracle and/or its affiliates. All rights reserved. ③Embed(埋め込み) 入力テキストをベクトル(数値データ)に 変換するモデル ベクトルデータ [-0.014662450570021, 0.018169568181487163, -0.0175086122999492, -0.0280569427543705, -0.01485129484151165, ... -0.01241235677353806] Hello, world! Embed Model 入力テキストをベクトルに 変換 入力 出力 ①テキスト生成モデル 入力テキストと関連性の高いテキスト を出力するモデル ②テキスト要約モデル 入力テキストを要約したテキストを出 力するモデル you you they he I 45% 25% 20% 10% Hello, how are 入力文章に関連性の高い 単語の候補を推論 モデル 入力 出力 Hello, how are ? モデル
8. ファウンデーションモデルの仕様 Copyright © 2024 Oracle and/or its affiliates. All rights reserved. 用途 モデル 仕様 モデルの概要 日本語対応 テキスト生成 command • 52Bのパラメータ • 最大4096トークン Cohere社開発の最も大型のテキスト生成タ イプモデル。 × 今後対応予定 command-light • 6Bのパラメータ • 最大4096トークン Commandの小型、高速バージョン。速度と コストを重視する場合に利用。 × 今後対応予定 llama-2-70b-chat • 70Bのパラメータ • 最大4096トークン Meta社開発の最も大型のテキスト生成タイ プモデル。 × テキスト要約 command • 52Bのパラメータ • 最大4096トークン テキスト生成と同じモデル。APIは異なる。 × 今後対応予定 Embed (埋め込み) embed-english-v3.0 embed-multilingual-v3.0 • 1024次元のベクトル • 最大512トークン/実行 • 最大96センテンス/実行 入力テキストからベクトル表現を得るためのモ デル。結果をベクトルデータベースにロードし、 類似検索、セマンティック検索などに利用。 〇 (multilingual 版で利用) embed-english-light-v3.0 embed-mutilingual-light-v3.0 • 384次元のベクトル • 最大512トークン/実行 • 最大96センテンス/実行 Commandの小型、高速バージョン。速度を 重視する場合に利用。 〇 (multilingual 版で利用) embed-english-light-v2.0 • 1024次元のベクトル生成 • 最大512トークン/実行 • 最大96センテンス/実行 Embedの前バージョン × 本サービスで提供される学習済のモデル
9. カスタムモデル(ファインチューニング) Copyright © 2024 Oracle and/or its affiliates. All rights reserved. ファウンデーションモデル(ベースモデル)に新たな知識を追 加する処理 • 学習データの例 ✓ 企業内のデータ ✓ インターネットに公開されていないデータはモデル は学習していないため ✓ 専門性の高いデータ ✓ 法律、医療、科学など専門性の高い分野は十 分な学習が行われておらず精度が出ない可能 性があるため ✓ 最新のデータ ✓ モデルが学習していない最新のデータ • Command、command-lightのみが対応 • カスタムモデルを更にファインチューニング可能 • 専用AIクラスター環境が必須(追加の課金)
10. 専用AIクラスター(ファインチューニングのケース) Copyright © 2024 Oracle and/or its affiliates. All rights reserved. • カスタムモデル構築時には設定が必須(追加の課金が必要) • ファインチューニングを実行するためのコンピューティングリソース(契約者専用の割り当て) • 2タイプの専用AIクラスター • ファインチューニング用専用AIクラスター：ファインチューニングを実行しカスタムモデルを作るためのコンピューティングリソース • ホスティング用専用AIクラスター：カスタムモデルをサービスとしてホスティングするためのコンピューティングリソース(推論処理を 実行するためのコンピューティングリソース Custom Model Base Model Fine Tuning Training Data Dedicated AI Cluster for Fine Tuning Custom Model Dedicated AI Cluster for Hosting prompt result application Hosting endpoint ①学習データを作成 しオブジェクトストレー ジに配置 ②専用AIクラスター(ファイ ンチューニング用)を作成 ③ファインチューニングを実行しカス タムモデルを作成(データセット、専 用AIクラスター(ファインチューニング 用)、ベースモデルを指定) ④専用AIクラスター(ホ スティング用)を作成 ⑤エンドポイントを作成(カスタ ムモデル、専用AIクラスター (ホスティング用)を指定) ファインチューニングのワークフロー
11. 専用AIクラスターのUnit Copyright © 2024 Oracle and/or its affiliates. All rights reserved. 専用AIクラスター作成時に、コンピューティングリソース量を表す係数「Unit」の数を指定 課金単価 : 1 unit / hour(何ユニットを何時間利用したかで課金) Custom Model Base Model Fine Tuning Training Data Dedicated AI Cluster for Fine Tuning Custom Model Dedicated AI Cluster for Hosting prompt result application Hosting endpoint ①学習データを作成 しオブジェクトストレー ジに配置 ②専用AIクラスター(ファイ ンチューニング用)を作成 ③ファインチューニングを実行しカス タムモデルを作成(データセット、専 用AIクラスター(ファインチューニング 用)、ベースモデルを指定) ④専用AIクラスター(ホ スティング用)を作成 ⑤エンドポイントを作成(カスタ ムモデル、専用AIクラスター (ホスティング用)を指定) ファインチューニングのワークフロー ファインチューニング用専用AIクラスター • command、command-lightのモデルのみファイ ンチューニング可能 • 2 unit 固定(増減不可) • 作成した時点で1 unit hourの利用が必須 ホスティング用専用AIクラスター • 全モデルで利用可能 • 最低1 unit から性能に応じて増減可 • 最低744 units(1 Unitの場合31日に相当)の利 用が必須
12. 専用AIクラスタ性能(一部参考値) Copyright © 2024 Oracle and/or its affiliates. All rights reserved. モデル名 テキスト生成 テキスト要約 Embed(埋め込み) cohere.command 200 200 NA cohere.command-light 200 200 NA meta.llama-2-70b-chat 200 200 NA cohere.embed NA NA 1300 ※性能情報は目安の値となり保証するものではありません。 ホスティング用専用AIクラスター：1 unitで処理できる1分間当たりの推論処理の回数 ファインチューニング用専用AIクラスター：2 Unitのスペック モデル名 スペック cohere.command 8 x A100-80G GPUs cohere.command-light 4 x A100-80G GPUs
13. プレイグラウンド(Command：テキスト生成) Copyright © 2024 Oracle and/or its affiliates. All rights reserved. プロンプト 出力テキスト Maximum output tokens 出力の最大トークン数を調整 Temperature、Top p、Top k 出力されるテキストのランダム性を調整 Stop sequences 指定したトークンの出力によりを生成処理を停止 Frequency penalty 同じトークンが頻繁に出現する場合にペナルティを 割り当てます。ペナルティを高くすると、トークンの出 力にランダム性が生まれ同じトークンの繰り返しを少 なくします。 Presence penalty 出力に出現する各トークンにペナルティを割り当て、 未使用のトークンを含む出力の生成を促進します。 未使用のトークンを優先することで出力に多様性が 生まれます。 Show likelihood 出力トークンの尤度(関連性の高さ)のスコアを表示
14. プレイグラウンド(Summarize：テキスト要約) Copyright © 2024 Oracle and/or its affiliates. All rights reserved. 要約文章 Length 要約文章のおおよその長さ Auto/Short/Medium/Long Format 出力文章のフォーマット(章、箇条書き) Paragraph/Bullets Extractiveness サマリー内の入力をどの程度再利用するか。抽 出性の高い要約は文章をそのまま再利用する 傾向にありますが、抽出性の低い要約は言い 換える傾向があります。 Auto/High/Medium/Low Temperature 出力文章のランダム性 Additional command スタイルやフォーカスなどのその他の要約オプショ ン。たとえば、会話形式で書いたり、日付に焦 点を当てたり、感情に焦点を当てたり、次のス テップに焦点を当てたりします。 入力文章
15. プレイグラウンド(Embed：埋め込み(ベクトル化)) Copyright © 2024 Oracle and/or its affiliates. All rights reserved. 入力テキスト 入力テキストのベクトルデータ(jsonl)
16. OCICLI、SDK、RESTからの利用 Copyright © 2024 Oracle and/or its affiliates. All rights reserved. Generative AI コマンド、APIリファレンス • OCICLIコマンドリファレンス https://docs.oracle.com/ja-jp/iaas/Content/API/Concepts/cliconcepts.htm • SDK APIリファレンス https://docs.oracle.com/ja-jp/iaas/Content/API/Concepts/sdks.htm • REST APIリファレンス https://docs.oracle.com/en-us/iaas/api/ ユーザーアプリケーション Generative AI Service endpoint endpoint endpoint model model model 大規模言語モデル prompt result • Webサービス • チャットボット • 業務バッチ • 運用ツール • その他 OCI REST OCI SDK OCI CLI Gen AI 処理コード Generative AIの処理コード(OCICLI、SDK、REST)をアプリケーションの実行コードに埋め込んで利用 • OCI SDK(Python, Javaのライブラリ) • OCICLI(シェルコマンドにてOCIの各処理を実行するツール) • REST
17. 価格 : OCI Generative AI Service Copyright © 2024 Oracle and/or its affiliates. All rights reserved. サービス 価格 単位 Large Cohere $0.0219 10,000 文字 Small Cohere $0.004 10,000 文字 Embed Cohere $0.001 10,000 文字 Llama2-70 $0.015 10,000 文字 サービス 価格 単位 Large Cohere - Dedicated $24.00 AI Unit Per Hour Small Cohere - Dedicated $6.50 AI Unit Per Hour Embed Cohere - Dedicated $10.90 AI Unit Per Hour Llama2-70 - Dedicated $12.00 AI Unit Per Hour サーバー 専有クラスタ 専有クラスタ 専有クラスタ オンデマンド: 低コストでの使用 (文字数での従量課金/インフラ共有) 専用AIクラスタ: 予測可能な料金、安定した性能 (時間課金 / インフラ専有) ※一文字単位で課金 ※入力と出力の合計の文字数が対象 ※一秒単位で課金 ※ファインチューニング用専用AIクラスタは最低 1 unit hour、ホスティング 用専用AIクラスタは最低 744 units hourの利用が必須となります
18. Copyright © 2024 Oracle and/or its affiliates. All rights reserved. OCI Generative AI Agents Service(BETA) 製品概要
19. 検索拡張生成RAG(Retrieval-Augmented Generation) Copyright © 2024 Oracle and/or its affiliates. All rights reserved. LLMが学習していないデータを含めたテキスト生成を可能にする構成 LLMが答えられない知識をその他の知識ベース(例えば、ベクトルデータベースなど)で補完する構成 Vector Store LLM Application prompt completion インターネット テキストデータ (一般的に公開され ているデータ) 企業 テキストデータ (企業内のデータ) LLMが学習していない データを補完 〇〇の売り上げ？？ ワカラナイ Oracleの新製品〇〇の今年の 売り上げは？ ベクトルデータベース に確認 連携 LLMとVector Storeの合わ せ技で応答テキストを生成 〇〇の今年の売り上げは△△ 億円です。
20. 検索拡張生成(RAG : Retrieval Augmented Generation)の構成例 Copyright © 2024 Oracle and/or its affiliates. All rights reserved. Vector Store LLM Application prompt Cache Store completion PromptをLLMに入力 ベクトルデータベースの検索必要性を判別 ベクトル検索実行結果をLLMに連携 最終的なテキスト出力を生成 ベクトル検索実行 プロンプト、生成テキストのキャッシュ ベクトル検索実行結果取得 キャッシュの読み込み code 各サービスの連携処理フ ローを全てコーディング ①大規模言語モデル ✓ ドキュメントデータ、プロンプトの埋め込み ✓ テキスト生成、テキスト要約など ②ベクトルストア ✓ ドキュメントデータの保持、管理 ✓ ベクトルの類似検索 ③キャッシュストア ✓ プロンプト、生成テキストの保持、管理 ✓ プロンプトの内容に応じて参照 ベクトルデータベースを使ったRAGの代表的な構成要素
21. オーケストレーションツールによるRAGの構成 Copyright © 2024 Oracle and/or its affiliates. All rights reserved. Vector Store LLM Cache Store Application prompt completion code Orchestration プロンプトをオーケストレー ションに連携するコードのみ ①大規模言語モデル ✓ ドキュメントデータ、プロンプトの埋め込み ✓ テキスト生成、テキスト要約など ②ベクトルストア ✓ ドキュメントデータの保持、管理 ✓ ベクトルの類似検索 ③キャッシュストア ✓ プロンプト、生成テキストの保持、管理 ✓ プロンプトの内容に応じて参照 ④オーケストレーション ✓ 入力プロンプトに対するナレッジベース検索のプラン ✓ 各ナレッジベースの連携 オーケストレーションツールを使ったRAGの代表的な構成要素
22. Generative AI Agents Service(Beta) 概要 Copyright © 2024 Oracle and/or its affiliates. All rights reserved. ※AI Vector Search(将来予定) ※MySQL HeatWave(将来予定) Vector Store LLM Cache Store Application prompt completion code Orchestration OCI Generative AI Service OCI OpenSearch Service OCI Redis Service OCI Generative AI Agents Service(BETA) • ナレッジベースから関 連ドキュメントを検索 • ドキュメントの関連性 を再ランク付け • 文章と元のクエリを送 信し、一貫したレスポ ンスを生成 Oracle CloudでのRAGの代表的な構成 プロンプトをAgentに連携す るコードのみ • Generative AI Serviceと、その他のサービスのオーケストレーションをフルマネージドのPaaSとして提供 • ノーコード、Web UIウィザードでの検索拡張生成(RAG : Retrieval Augmented Generation)のプロビジョニング • チャットUI機能 どの製品が利用できるかは Agentsのサポートマトリクスに 依存
23. Global announcement OCI Generative AI Agents service ベータ公開開始 Copyright © 2024 Oracle and/or its affiliates. All rights reserved. https://pdpm.oracle.com/pls/apex/f?p=108:501:105234187719628
24. Copyright © 2024 Oracle and/or its affiliates. All rights reserved. OCI Generative AI Agents Service(Beta) クリックデモ
25. デモシナリオ Copyright © 2024 Oracle and/or its affiliates. All rights reserved. OpenSearch Service Generative AI Service Generative AI Agents Service(BETA) OCI Redis Service OCI Generative AI Serviceの テキスト生成モデル Command を利用 Oracle Corporationの年次報告 書(財務諸表、事業進捗状況、リ スクファクターなどの詳細ドキュメン ト)をベクトルデータベース(OCI OpenSearch Service)に保存済 入力プロンプト、応答内容などの 履歴が保持できるキャッシュストア (OCI Redis Service)を設定済 AgentのチャットUI機能 で問い合わせと応答 Agentを構成済 (OpenSearchとRedisの インスタンスを設定済) Agentの チャットUI Oracleの財務状況に ついて教えてください。 LLM(Generative AI Serviceのモデル)が学習してないデータ(本デモではOracle Corporationの財務諸表データなど)を予めベク トルストア(OpenSearch)に保持し、ユーザーからのプロンプトにLLMが応答できない場合、ベクトルデータベースを検索(セマンティッ ク検索)し、有用な情報をLLMに連携し、最終的な応答のテキストを生成するデモンストレーション
26. データの確認 Copyright © 2024 Oracle and/or its affiliates. All rights reserved. OpenSearch Service Generative AI Service Generative AI Agents Service(BETA) OCI Redis Service OCI Generative AI Serviceの テキスト生成モデル Command を利用 Oracle Corporationの年次報告 書(財務諸表、事業進捗状況、リ スクファクターなどの詳細ドキュメン ト)をベクトルデータベース(OCI OpenSearch Service)に保存済 入力プロンプト、応答内容などの 履歴が保持できるキャッシュストア (OCI Redis Service)を設定済 AgentのチャットUI機能 で問い合わせと応答 Agentを構成済 (OpenSearchとRedisの インスタンスを設定済) Agentの チャットUI Oracleの財務状況に ついて教えてください。 • 構成済みのベクトルデータベース(OCI OpenSearch)インスタンスにロードされているコンテンツの確認 • OpenSearch Dashboardでの表示の確認 OpenSearch Dashboard
27. OpenSearchにロードするデータの確認 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
28. OpenSearchにロードするデータの確認 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
29. ベクトルデータベースにロードするデータ Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
30. OpenSearchにロードするデータの確認 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
31. OpenSearchにロードしたデータの確認 Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
32. チャットUIから入力 Copyright © 2024 Oracle and/or its affiliates. All rights reserved. OpenSearch Service Generative AI Service Generative AI Agents Service(BETA) OCI Redis Service OCI Generative AI Serviceの テキスト生成モデル Command を利用 Oracle Corporationの年次報告 書(財務諸表、事業進捗状況、リ スクファクターなどの詳細ドキュメン ト)をベクトルデータベース(OCI OpenSearch Service)に保存済 入力プロンプト、応答内容などの 履歴が保持できるキャッシュストア (OCI Redis Service)を設定済 AgentのチャットUI機能 で問い合わせと応答 Agentを構成済 (OpenSearchとRedisの インスタンスを設定済) Agentの チャットUI Oracleの財務状況に ついて教えてください。 • 構成済みのAgents ServiceからチャットUIを起動 • プロンプトを入力する
33. デモ概要 チャットUI Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
34. デモ概要 チャットUI Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
35. デモ概要 チャットUI Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
36. デモ概要 チャットUI Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
37. デモ概要 チャットUI Copyright © 2024 Oracle and/or its affiliates. All rights reserved.
38. デモ概要 チャットUI Copyright © 2024 Oracle and/or its affiliates. All rights reserved.