Tweet
Tweet

Slide 1

Slide 1 text

第二回 Oracle AI Brown Bag Seminar OCI Generative AI Service製品概要 日本オラクル株式会社 BETA

Slide 2

Slide 2 text

Kenichi Sonoda Solution Architect 日本オラクル入社後、Exadata技術担当、IaaS技術担当を経て、現在ビックデータ およびデータサイエンスのクラウド技術を担当 “複雑な技術をわかりやすく”をモットーにData Management & Analyticsの分野で Oracle Groundbreakers Advocate として活動 Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 3

Slide 3 text

Disclaimer Pre-General Availability 次の法的通知は、OracleのGA前(ベータ)リリースに適用されます。著作権およびその他の適用可能な通知については、 Oracleの法律に関する情報を参照してください。 Pre-General Availability (一般提供前)版のドラフト・ドキュメントについて このドキュメンテーションは一般公開前ステータスであり、デモンストレーションおよび暫定使用向けです。このソフトウェア を使用しているハードウェアに固有でない場合があります。Oracle Corporationおよびその関連会社は、このドキュメン トに関して一切の責任を負わず、いかなる種類の保証もいたしません。また、このドキュメントの使用によって発生した 損失、費用、または損害については一切の責任を負いかねます。 このドキュメントは、Oracleがマテリアルやコード、機能、サービスを提供するコミットメント(確約)ではありません。このド キュメントおよびOracle Pre-GAのプログラムおよびサービスは、予告なしにいつでも変更される可能性があります。した がって、購入決定を行う際の判断材料になさらないでください。OracleのPre-GAプログラムおよびサービスの機能の開 発、リリースおよびタイミングは、Oracleの唯一の裁量で維持されます。すべてのリリース日または将来のイベントのその 他の予測は変更される可能性があります。今後のOracleプログラムまたはサービスの利用可能性は、Oracleとのライセ ンスまたはサービス契約の入力に頼るものではありません。 Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 4

Slide 4 text

Oracle AI Stack … Machine learning services Data AI services AI infrastructure OCI Data Science ML in Oracle Database MySQL Heatwave AutoML Compute bare metal instances and VMs Cluster networking Block, object, file storage, HPC filesystems Digital Assistant Speech Language Vision Document Understanding Anomaly Detection Data Labeling OCI Generative AI + Business applications, Oracle SaaS portfolio Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 5

Slide 5 text

OCI AI Services 製品コンセプト 専門知識不要 エンタープライズ向けAIを提供 無償から利用可能 専門家ではない開発者が機械学習を 深く知らなくても、AIを適用することを可 能にするサービス群を提供することで、ビ ジネス課題を解決することが可能 Oracle DatabaseやExadataなどに 蓄積したデータ、Fusion Application やNetSuiteのようなアプリケーションから のデータ、OCIによるクラウドインフラを提 供し、様々なデータを持っている唯一の 企業が提供するAIサービス 機械学習は学習にかかる費用とコスト が高いが、Oracleは、最もコスト競争 力を持ったAIサービスを提供。 これによって、すべてのデータにAIが気 軽に利用可能 Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 6

Slide 6 text

Generative AI Service 製品概要 Note: Based on official HELM Stanford benchmark results as of March 19th Cohere’s model has top-tier LLM performance with a fraction of funding; weekly retraining further Stanford’s benchmark ranks Cohere as #1 in model per • Command(1) models have much higher accuracy than Base models, thus it’s 高性能の大規模言語モデルをフルマネージドで提供 エンタープライズクラスのセキュリティとプライバシー 専用環境でのファインチューニング • 大手LLMプロバイダーCohere社と提携 • ベンチマーク結果(スタンフォード大学人間中心AI研究所HELM) で実証済の高性能なLLMを提供 • 入力データや学習データがLLMプロバイダーと共有されたり、他の 契約者に漏れることはありません • 入力テキストはOCIには保存されず、マーケティングやその他の調 査などに使われることはありません • オラクル独自のAI SuperclusterアーキテクチャによりGPUインフラの 高性能を実現 • 占有環境のため、パフォーマンスと価格のプランが容易 https://crfm.stanford.edu/helm/latest/ エンタープライズ・クラスのセキュリティ、柔軟性、ユーザーチューニングを実現した生成AIクラウドサービス 大規模言語モデルのベンチマーク結果 Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 7

Slide 7 text

典型的な処理とユースケース 処理タイプ 概要 ユースケース テキスト生成 任意の目的に合わせてテキストを作成します。 新製品のピッチ、マーケティングキャンペーンのスローガン、顧客への営業メール、SNS投稿 記事、ジョブディスクリプション、記事タイトルなど チャットボット チャットによるFAQ • カスタマー サポートなどでインテリジェントな対話を実現するチャットボット スタイルのユー ザー インターフェイスを作成します • LLM に送信されたテキスト (文書、電子メール、製品レビューなど) について自然言語 で質問し、LLM がそのテキストについて理由を説明し、インテリジェントな回答を提供し ます テキスト要約 長すぎて読むことができない文書の要旨を生成したり、 あらゆる種類のテキストを要約できます 書類、契約書、メール、記事、ブログ投稿、商品レビュー、SNS投稿など テキストスタイル変換 テキストのスタイルやトーンを変更します テキストを別のスタイル、形式 (リストまたは段落)、またはトーンで書き直します。 • テキストの言い換え • 文法の改善を提案 テキストの意味の類似性 意味がどれだけ類似しているかに基づいて、いくつかの入 力を評価します。 新しい質問が来たときに、サポート システムに送信された質問のリストを評価して、過去の 同様の質問に対して最も関連性の高い回答を抽出します。 キーワードベースの検索をセマンティック検索に置き換えて、検索結果の関連性を高めます。 データ抽出 テキストから特定のデータを抽出します 自由形式のテキストで書かれた申請書から申請者情報を抽出 • 契約書から日付または金額を抽出 • データテーブルから洞察や傾向を抽出 テキスト分類 テキストを事前定義されたカテゴリに分類します • 与えられたサポート チケットのリストを、それらを処理する部門ごとに分類 • セクターと企業名のリストが与えられた場合、企業をそれぞれのセクターごとに分類 Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 8

Slide 8 text

基本機能 • ベースモデル(ファウンデーションモデル) • 大規模言語モデルとしての基本機能 • テキスト生成、テキスト要約、Embed(ベクトル化) • カスタムモデル(ファインチューニング) • ベースモデルへ新たな知識を追加するための追加学習 • 専用AIクラスター • ファインチューニングを実行するためのコンピューティングリソースの定義 • プレイグラウンド • 典型的な処理をGUIベースで実行するツール Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 9

Slide 9 text

ベースモデル command 入力プロンプトに沿ったテキスト生成 やテキスト要約を実行するモデル embed 入力テキストをベクトル(数値データ)に 変換するモデル ベクトルデータ [-0.014662450570021, 0.018169568181487163, -0.0175086122999492, -0.0280569427543705, -0.01485129484151165, ... -0.01241235677353806] Hello, world! Embed Model 入力テキストをベクトルに 変換 入力 出力 you you they he I 45% 25% 20% 10% Hello, how are 入力文章に関連性の高い 単語の候補を推論 command 入力 出力 Hello, how are ? Embed Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 10

Slide 10 text

ベースモデルの仕様 モデル名 モデルの仕様 説明 用途 command • 52Bのパラメータ • 最大4096トークン 最も高性能なテキスト生成タイプのモデル。 テキスト生成、テキストサマリなど高度なタス クを処理するためのモデル command-light • 6Bのパラメータ • 最大4096トークン Commandの小型、高速バージョン。速度と コストを重視する場合に利用。 テキスト生成など高度なタスクを処理するた めのモデル embed-english-light • 355Mのパラメータ • 1024次元のベクトル生成 • 最大512トークン/実行 • 最大96センテンス/実行 入力テキストからベクトル表現を得るためのモ デル。 セマンティック検索、テキスト分類、テキストク ラスタリング ※日本語はGA版で対応予定 ※大型のモデルはGA版で対応予定 Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 11

Slide 11 text

カスタムモデル(ファインチューニング) ベースモデルに新たな知識を追加する処理 • 学習データの例 ✓ 最新のデータ ✓ 最新のデータはモデルが学習していない可能 性が高いため ✓ 企業内のデータ ✓ インターネットに公開されていないデータはモ デルは学習していないため ✓ 専門分野のデータ ✓ 法律、医療、科学など専門性の高い分野 は十分な学習が行われておらず精度が出な い可能性があるため ✓ その他 • GUIベースによるシンプルなワークフローでファイン チューニングが実行可能 • カスタムモデルを更にファインチューニング可能 • 専用AIクラスター環境が必須(追加の課金) Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 12

Slide 12 text

ファインチューニングの学習データ データ要件 • jsonlファイルフォーマット • prompt(入力)、completion(出力)のセットでエントリを作成 • 最小32エントリ(学習データ : 検証データ = 9 : 1でランダム分割) • 最大1ファイル/カスタムモデル ポイント • データ量に応じてファインチューニングの処理時間は長くなる • 学習データの構築作業が必要(promptとcompletionの内容の設計) • 専門的な内容のデータの場合ドメインナレッジが必要 • 学習データの品質によってモデルの精度が決まる • データの過不足がないか、promptとcompletionの内容が正確か、など Object Storage Training Data モデルが学習していないデータ (例 : 企業内のドキュメントデータ) 前処理 {"prompt": "What is the capital of France?", "completion": "The capital of France is Paris."} {"prompt": "Where is the smallest state in the USA?", "completion": "The smallest state in the USA is Rhode Island."} …………. …………. 学習データの例 モデルがpromptとcompletionの関係性を学習 Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 13

Slide 13 text

専用AIクラスター • カスタムモデル構築時には設定が必須(追加の課金が必要) • ファインチューニングを実行するためのコンピューティングリソース(契約者専用の割り当て) • 2タイプの専用AIクラスター • 専用AIクラスター(ファインチューニング用)：ファインチューニングを実行しカスタムモデルを作るためのコンピューティングリソース • 専用AIクラスター(ホスティング用)：カスタムモデルをサービスとしてホスティングするためのコンピューティングリソース(推論処理を 実行するためのコンピューティングリソース Custom Model Base Model Fine Tuning Training Data Dedicated AI Cluster for Fine Tuning Custom Model Dedicated AI Cluster for Hosting prompt result application Hosting endpoint ①学習データを作成 しオブジェクトストレー ジに配置 ②専用AIクラスター(ファイ ンチューニング用)を作成 ③ファインチューニングを実行しカス タムモデルを作成(データセット、専 用AIクラスター(ファインチューニング 用)、ベースモデルを指定) ④専用AIクラスター(ホ スティング用)を作成 ⑤エンドポイントを作成(カスタ ムモデル、専用AIクラスター (ホスティング用)を指定) ファインチューニングのワークフロー Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 14

Slide 14 text

専用AIクラスターのメリット On Demand Gen AI Service Dedicated Generative AI Serviceのベースモデルは、プレイグラウン ド機能を使用してオンデマンドで使用するか、OCI CLIおよ びSDKを介してプログラムから使用できます。 モデルは複数の顧客に同時にサービスを提供する、マルチテ ナント・アーキテクチャでホストされます。 ファインチューニングは不可 Generative AIのベースモデルのカスタム・バージョンを、シング ル・テナントの占有サーバー(クラスタ)で使用できます。 コンピューティングリソースを占有できる(専用環境)のため、高 いスループットでパフォーマンスが安定し、処理時間の見積もり が容易。 トークンやリクエスト毎の課金では無く、固定の価格のため、使 いすぎなどによる予想外の課金が発生することなく、コストの見 積もりも容易です。 Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 15

Slide 15 text

プレイグラウンド(Command) プロンプト 出力テキスト Maximum output tokens 出力の最大トークン数を調整 Temperature、Top p、Top k 出力されるテキストのランダム性を調整 Stop sequences 指定したトークンの出力によりを生成処理を停止 Frequency penalty トークンが頻繁に出現する場合にペナルティを割り 当てます。ペナルティを高くすると、トークンの繰り返 しが少なくなり、よりランダムな出力が生成されます。 (Frequency penaltyは同じ表現の反復を制御し、 生成の多様性を促進) Presence penalty 出力に出現する各トークンにペナルティを割り当て、 使用されていないトークンを含む出力の生成を促進 します。(特定の表現が生成される条件を制御し、 コンテキストに適した生成を促進) Show likelihood 出力トークンの尤度(関連性の高さ)のスコアを表示 Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 16

Slide 16 text

パラメータ Temperature you you they he I 45% 25% 20% 10% Hello, how are 入力文章に関連性の高い 単語の候補を推論 学習済のモデル(LLM) 入力 出力 Hello, how are ? • 出力結果のランダム性をコントロールするパラメータ • 低い値(最小値0に近い値)ほどランダム性がなくなり、高い値(最大値5に近い値)ほどランダム性が高くなる • 類似の内容のテキストを入力した際に、毎回同じ出力結果を得たい場合は0 • 出力に「正しい回答」が存在する処理では低い値に設定 • 出力に、より創造性を持たせたい場合は高い値に設定 • 出力が本題から外れ始めたり、無意味な内容になり始めた場合は設定値が高すぎる可能性あり • 推奨値はデフォルトの1、最小0、最大5 Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 17

Slide 17 text

パラメータ Top-k • 出力結果のランダム性をコントロールするパラメータ • 出力候補の上位k個トークンからサンプリングし最終的な出力トークンが決定される • サンプリングにより出力結果にランダム性が生まれる • kの値を大きくすることにより、他の高スコアのトークンが選択される可能性が得られる • デフォルト値 0( 本機能は無効) • 低い値(1に近い値)ほど、類似のテキストを繰り返す可能性があり注意が必要 you you they he I 45% 25% 20% 10% Hello, how are 入力文章に関連性の高い 単語の候補を推論 学習済のモデル(LLM) 入力 出力 Hello, how are ? Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 18

Slide 18 text

パラメータ Top-p • 出力結果のランダム性をコントロールするパラメータ • 確率の合計 p を持つ最も可能性の高いトークンのみが各ステップでの生成の対象となる • 可能性の低いトークンを足切りする目的で、高い値 (0.75 など) に設定するケースが多い • pが高くなると、出力にさらにランダム性が増す • デフォルトは 0.75、1.0 または 0で無効 • Top-kとTop-pを併用した場合、Top-pの条件が優先される。例)Top-k = 20かつTop-p = 0.75で上位10個の 確立合計75%に達した場合、11個目以降のトークンは足切りされる you you they he I 45% 25% 20% 10% Hello, how are 入力文章に関連性の高い 単語の候補を推論 学習済のモデル(LLM) 入力 出力 Hello, how are ? you they he I 45% 15% 2.5% 1.5% 1.0% 1.0% me this Top-p = 0.6(60%)の例 Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 19

Slide 19 text

プレイグラウンド(Summarize) 要約文章 Length 要約文章のおおよその長さ Auto/Short/Medium/Long Format 出力文章のフォーマット(章、箇条書き) Paragraph/Bullets Extractiveness サマリー内の入力をどの程度再利用するか。抽 出性の高い要約は文章をそのまま再利用する 傾向にありますが、抽出性の低い要約は言い 換える傾向があります。 Auto/High/Medium/Low Temperature 出力文章のランダム性 Additional command スタイルやフォーカスなどのその他の要約オプショ ン。たとえば、会話形式で書いたり、日付に焦 点を当てたり、感情に焦点を当てたり、次のス テップに焦点を当てたりします。 入力文章 Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 20

Slide 20 text

プレイグラウンド(Embed) 入力テキスト 入力テキストのベクトルデータ(jsonl) Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 21

Slide 21 text

OCICLI、SDK、RESTからの利用 Generative AI コマンド、APIリファレンス • OCICLIコマンドリファレンス 2023/10現在未公開 • SDK APIリファレンス(Java, Python) 2023/10現在未公開(プレイグラウンドのサンプルコードで一部参照は可能) • REST APIリファレンス https://docs.oracle.com/en-us/iaas/api/#/en/generative-ai/20231130/ ユーザーアプリケーション Generative AI Service endpoint endpoint endpoint model model model 大規模言語モデル prompt result • Webサービス • チャットボット • 業務バッチ • 運用ツール • その他 OCI REST OCI SDK OCI CLI Gen AI 処理コード Generative AIの処理コード(OCICLI、SDK、REST)を顧客アプリケーションの実行コードを埋め込んで利用 Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 22

Slide 22 text

ベクトルデータベースとの連携 Generative AIのモデルが学習していない知識をベクトルデータベースで補完 RAG(Retrieval-Augmented Generation)構成により、企業内のエンタープライズデータを生成AIに活用 Generative AI Service endpoint endpoint endpoint model model model 大規模言語モデル ユーザーアプリケーション • Webサービス • チャットボット • 業務バッチ • 運用ツール • その他 OCI REST OCI SDK OCI CLI Gen AI 処理コード Oracle Database 23c AI Vector Search token ベクトルデータベース Fusion Apps(SCM, ERP, CX, HCM) エンタープライズ・アプリケーション Industry Apps Generative AIとOracle Database 23c AI Vector Search の組み合わせによるRAG構成 構造化データと非構造化データを統合 類似度検索 Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 23

Slide 23 text

セキュリティと プライバシー 企業向けに設計 ユーザーのデータ に合わせて カスタマイズ 予測可能なパフォー マンスと価格 Oracle Generative AI Serviceのメリット Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 24

Slide 24 text

Global announcement OCI Generative AI service ベータ公開開始 ベータ版マニュアル https://docs.oracle.com/ja-jp/iaas/Content/generative-ai/home.htm ベータ参加申し 込みサイト Copyright © 2023 Oracle and/or its affiliates. All rights reserved.

Slide 25

Slide 25 text

Oracle Big Data Jam Session データサイエンスやビッグデータの技術情報を初学者の方対象にご紹介する勉強会シリーズ 「難解な専門用語や数式を可能な限り排除し、デモを交え、平たく、分かり易く」をコンセプトに実施中 実施履歴 第14回 ChatGPTによるデータベース分析 [Qiita記事] 第13回 ChatGPTのコア技術「GPT」を理解する [Qiita記事] 第12回 機械学習の自動化テクニック TPOT編 [Qiita記事] 第11回 機械学習の自動化テクニック AutoSklearn編 [Qiita記事] 第10回 機械学習のキソ 分類問題・回帰問題編 [Qiita記事] 第9回 MLflowで学ぶMLOpsことはじめ 第8回 はじめての強化学習 第7回 次世代AI「GAN」による仮想現実の生成 第6回 ディープラーニングの基礎から転移学習まで 第5回 自然言語と機械学習(入門) 第4回 画像データの機械学習（実事例 付！） 第3回 Oracleのビッグデータ系サーバレス・サービスを吟味しよう！ 第2回 Oracle Data Science Serviceのご紹介 第1回 Oracle ビッグデータ系サービスのポートフォリオ 絶賛実施中 参加申し込み https://oracle-code-tokyo- dev.connpass.com/ https://youtube.com/playlist?list=PL8x2FJpi0g- uDelTpagDe3pSZGePQFO58&si=LIvdTBuCEhnPQ_2F https://qiita.com/ ksonoda Copyright © 2023 Oracle and/or its affiliates. All rights reserved. 2023/11/17

Slide 26

Slide 26 text

ChatGPTとベクトルデータベースによる 企業内エンタープライズ・データの活用 ◼ 開催日 ：2023年11月29日（水） ◼ 開催時間：18:30 - 20:00 ＊18:20 接続開始 (Zoom) 11月29日開催 Oracle BigData JAM session 今回は、ファインチューニングや、LLMとベクトルデータベースを組み合わせる RAG(Retrieval-Augmented Generation)と呼ばれる構成についてその仕組みをご紹介します。 https://oracle-code-tokyo-dev.connpass.com/event/295533/ Copyright © 2023 Oracle and/or its affiliates. All rights reserved.

Slide 27

Slide 27 text

No content