【Oracle Cloud ウェビナー】 LLM(大規模言語モデル)などの生成AIで圧倒的なコスト・パフォーマンスを提供するOracle AI インフラストラクチャ

Oracle Cloud ウェビナーシリーズ情報: https://oracle.com/goto/ocws-jp
セッション動画: https://go.oracle.com/ocws-jp-ondemand

Transcript

1. Oracle Cloud ウェビナー 日本オラクル株式会社 2023年10月4日 【多くのAI有名企業が採用】 LLM(大規模言語モデル)などの生成AIで圧倒的な コスト・パフォーマンスを提供するOracle AI インフラストラクチャ
2. 1. Oracle AI の全体像 2. AIインフラに必要な要素 3. OCIが提供する特徴的なポイント 4. AIインフラとデータ基盤 5. まとめ 本セッションのアジェンダ Copyright © 2023, Oracle and/or its affiliates 2
3. 1. Oracle AI の全体像 2. AIインフラに必要な要素 3. OCIが提供する特徴的なポイント 4. AIインフラとデータ基盤 5. まとめ 本セッションのアジェンダ Copyright © 2023, Oracle and/or its affiliates 3
4. Copyright © 2023, Oracle and/or its affiliates 4 Oracle AI エンタープライズAI
5. Copyright © 2023, Oracle and/or its affiliates 5 エンタープライズAIに求められる要件 AIをビジネスで活用するには、自社が関 連する分野や業界の知識、データが必要 となります。 しかし自社で業界のさまざまなデータをそ ろえ、専門的な知識をAIに学習させるこ とは、非常に手間がかかります。また、それ を行える人材の確保も困難です。 AIの性能は、使用するデータに大きく依存 します。品質の良いデータで学習することで AIの性能を向上できます。 しかし、一般的に企業内のデータは、分散 して存在しています。そのため、必要なデー タの準備や、データ品質の確保が難しく、 コストが非常にかかります。 AIの開発、実行には強力なコンピューティ ング・パワーが必要となります。 しかし、高性能なGPUはコストがかかりま す。そのため、最新のテクノロジーを活用し た高性能かつ低コストの計算基盤が必要 となります。 高性能な計算基盤 業界知識・データ データ中心のAI オラクルには、長年ビジネス・アプリケーショ ンで培った業界知識とデータがあります。こ の知識を活用してビジネスに最適なAIを ビジネス・プロセスに組み込んで提供して います。 オラクルは、さまざまなデータを連携し、品 質の良いデータを安全に管理するための、 実績があるサービスを多く提供しています。 このデータ基盤の上でさまざまなAIを提供 しています。 オラクルは、最新の膨大な数のGPUを数μ秒 の超遅延で接続可能な、高性能GPUクラス タを提供しています。これにより、お客様はAI 開発期間を大幅に短縮し、コストを削減す ることが可能です。 SaaS PaaS IaaS
6. Copyright © 2023, Oracle and/or its affiliates 6 Oracle AI: 業界知識・データ オラクルの業界知識を活用したAIをすぐに利用できます。 回収リスク予測 ERP リスク回避と業務効率化 AI-OCRの活用 勘定科目コードの 組合せ自動セット SCM 変化対応力の強化 設備の異常予兆検知 計画・作業最適化 スマートなサプライヤ 登録・管理 購買、経費 支出分析 HCM 従業員の成長、組織力の向上 スキル開発 リスキリング支援 キャリアパス支援 生成AIによる 生産性向上 CX 顧客体験の向上 営業活動への ネクスト・アクション 推奨 問合せ内容に即した ナレッジの推奨 サブスクリプション 解約の事前検知 Oracle Fusion Cloud Applicationsに組み込まれたAIの一例
7. Copyright © 2023, Oracle and/or its affiliates 7 Oracle AI: データ中心のAI 企業内のあらゆるデータ資産を最大限活用できます。 ML on Database AI Services Data Science Service Analytics Cloud ファイル オブジェクト・ストレージ AWS Azure マルチクラウド データソース データ・インテグレーション データ・カタログ Oracle Applications Analytics Cloud HCM ERP CRM Healthcare EPM Data Science Vision Forecasting Anomaly Detection Document Understanding Speech データベース (Oracle Database, MySQL HeatWave) 高品質でセキュアなデータ基盤 企業内には価値のあるデータが、多く存在していま す。オラクルでは、実績のあるデータ連携および管 理サービスを多く提供しています。これにより、企業 内のあらゆるデータを連携し、品質の良いデータを セキュアに格納できます。そして、AIでのデータ活用 がし易くなり、より高いAIの効果が得られます。 データベース組み込みのAI Oracle DatabaseおよびMySQL HeatWave では、データベース内でAIモデルを作成、稼働でき ます。そのため、今データベースにあるデータを使用 して、短期間でAIを開発できます。またSQLから実 行できるため、アプリケーションへの実装が容易です。 さまざまな用途に対応可能なAI さまざまな事前学習済みのAIモデル、大規模な開 発に対応可能なAI開発環境、機能豊富な分 析・可視化機能まで、あらゆる用途に対応可能な AIサービスを使用できます。
8. Copyright © 2023, Oracle and/or its affiliates 8 画像認識 お客様アプリケーション 言語 予測 異常検知 文書 音声 AI Apps (SaaS) 分析・可視化サービス AI Services 生成AIサービス ML Services AI Apps: Finance, Human Resource, Sales, Service, Procurement 分析・可視化サービス: Oracle Analytics Service AI Services: 画像認識: OCI Vision 文書認識: OCI Document Understanding 言語: OCI Language 予測: OCI Forecasting 異常検知: OCI Anomaly Detection 音声: OCI Speech チャットボット: OCI Digital Assistant 生成AIサービス: Oracle Generative AI Service ML Services: モデル開発・学習: Data Science Service データベース ML開発: ML on Database 学習データ作成: Labelling service データ連携・管理: データベース: Oracle Database, MySQL データレイク: Object Storage, Big Data データ連携: Data Integrator, GoldenGate メタデータ管理: OCI Data Catalog Oracle AI さまざまな用途に対応可能なAIポートフォリオ。 データ連携・管理 テキスト生成 要約 検索 分類 モデル開発・学習 データベース上での ML開発・デプロイ 学習データ作成 チャットボット
9. Copyright © 2023, Oracle and/or its affiliates 9 Oracle AI: 高性能な計算基盤 圧倒的にスケーラブルで高性能なGPU基盤を低コストで利用できます。 x 32,768個 数μ秒の低遅延ネットワーク NVIDIA A10: ¥280/GPU (時間) NVIDIA A100 40GB: ¥427/GPU (時間) NVIDIA A100 80GB: ¥560/GPU (時間) NVIDIA H100: 限定提供中 32,768個までのGPUを数μ秒の超低遅延 RoCEv2/RDMAネットワークで接続した、 OCI Superclusterを提供。 高性能GPUクラスタを動的に構成でき、大規模言 語モデル(LLM)などの開発をより短期間&低コスト で実施できます。 RoCEv2 RDMA ネットワーク 高性能GPUクラスタ 最新のGPUを低コストで提供
10. 1. Oracle AI の全体像 2. AIインフラに必要な要素 3. OCIが提供する特徴的なポイント 4. AIインフラとデータ基盤 5. まとめ 本セッションのアジェンダ Copyright © 2023, Oracle and/or its affiliates 10
11. Copyright © 2023, Oracle and/or its affiliates 11 AI InfrastructureとしてOCIを選択いただいている企業様、パートナー様（一例） 弊社HPより抜粋、作成
12. • コンピュータ上で人によるタスクをサポートできるAIを開発中。 • 超低遅延クラスタ・ネットワークと、それぞれ8基のNVIDIA GPUを 搭載した、数百台のOracle Cloud ベアメタル・インスタンスを活用。 • Oracle Cloud上で大規模言語モデル（LLM）を従来よりも高速 かつ経済的に学習 Adeptは、OCI Supercluster上で、 数千のGPUを使用してAI/ML学習を実施 Copyright © 2023, Oracle and/or its affiliates 12 1000+ GPUs used for model training 2µs Latency for RDMA cluster networks Cluster network bandwidth over simple ethernet network 1600 Gb/sec お客様事例: Adept “With the scalability and computing power of OCI and NVIDIA technology, we are training a neural network to use every software application, website, and API in existence—building on the capabilities that software makers have already created.” David Luan CEO, Adept Press Release: https://www.oracle.com/news/announcement/adept-builds-an-ai-teammate-for- everyone-with-oracle-and-nvidia-2022-08-11/ Video: https://www.oracle.com/news/announcement/adept-builds-an-ai-teammate-for-everyone-with- oracle-and-nvidia-2022-08-11/
13. 10/5/2023 Copyright © , Oracle and/or its affiliates 13 セキュアで高性能な データ管理基盤 低コスト 高パフォーマンス AIの開発を迅速化するためには、高速な計算基盤が必要となる。 高性能なGPUが使用でき、その性能を最大限引き出せる基盤が必要となる。 AIの活用にはGPUが必要となることが多い。特に最近の大規模言語モデル(LLM) の学習には非常に多くのGPUが必要となる。価格性能の良いGPU基盤を使用する ことで、コストを抑えることが可能になる。 使用するデータを安全に管理でき、必要なデータを高速に取得できる必要がある。 AI インフラに必要な要件
14. 1. Oracle AI の全体像 2. AIインフラに必要な要素 3. OCIが提供する特徴的なポイント 4. AIインフラとデータ基盤 5. まとめ 本セッションのアジェンダ Copyright © 2023, Oracle and/or its affiliates 14
15. Copyright © 2023, Oracle and/or its affiliates 15 オラクルは、NVIDIAとの提携を拡大。 NVIDIA GPUとAIソフトウェアを Oracle Cloudで提供 • NVIDIAのAIソフトウェアとサービス、大規模なGPU 拡張により、Oracle Cloud InfrastructureのAI 基盤を大幅に強化 • 最新のH100 GPUをOCIで大規模に拡張 • NVIDIAのクラウド・サービス、DGX CloudをOCI Supercluster上で稼働
16. Oracle Cloud Infrastructure - GPUシェイプ A100 GPU(40GB, 80GB) ¥427 or ¥560 /時間/GPU • ベアメタルで提供 • 8GPU搭載 （NVLink） • GPUあたりメモリ：40GB or 80GB • CPU: AMD EPYC 7542 (Base 2.9GHz) • CPUメモリ: 最大2048GB • ローカル NVMe SSD 27.2TB搭載 • ネットワーク: • 50Gbps フロント・ネットワーク • 1.6Tbps 低遅延RDMA Copyright © 2021, Oracle and/or its affiliates 16 V100 GPU ¥413 /時間 /GPU • VMおよびベアメタルで提供 • 1GPUから最大8GPUまで選択可能 (NVLink） • GPUあたりメモリ：16GB • CPU：Intel Xeon 8167M (Base 2.0GHz) • CPUメモリ: 最大768GB • ネットワーク: 最大50Gbps (25Gbps x 2) P100 GPU ¥178.5 /時間 /GPU • VMおよびベアメタルで提供 • 1GPUまたは2GPUを選択可能 • GPUあたりメモリ：16GB • CPU：Intel Xeon 8167M (Base2.0GHz) • CPUメモリ: 最大192GB • ネットワーク: 最大50Gbps 2022/12 現在
17. Oracle Cloud Infrastructure - GPUシェイプ Copyright © 2021, Oracle and/or its affiliates 17 A10 GPU ¥280 /時間 /GPU • 最大4GPU搭載 ベアメタルおよびVM • RTX仮想ワークステーションをサポート • 高速なグラフィックス、ストリーミング、 クラウドゲーム、リアルタイムAI推論に最適 L40S GPU 次世代リアルタイム GPUワークロードに対応 高性能グラフィック、 小 - 中規模AIモデル 2023/10 現在 • CPU: 最大112 Cores, Intel Xeon • GPU: NVIDIA L40S • メモリー: 最大 1TB • ローカル・ストレージ: 最大15.36 TB NVMe • クラスタ・ネットワーク: 400 Gb/sec 来年提供予定 H100 GPU 大規模言語AIモデル対応を さらに加速 • CPU: 112 Cores, 4th Gen Intel Xeon • GPU: 8x NVIDIA H100 80GB • メモリー: 2 TB DDR5 • ローカル・ストレージ: 16.384 TB NVMe • クラスタ・ネットワーク: 8x 400 Gb/sec 限定提供中
18. Copyright © 2023, Oracle and/or its affiliates 18 GPU価格比較 - A100 80GB Azure AWS Google Cloud OCI NDm A100 v4 P4de.24xlarge A2-ultragpu-8g BM.GPU.GM4.8 Region US East (N. VA) East US (N. VA) US-Central1 Any region Instance type Virtual machine Virtual machine Virtual machine Bare metal vCPU 96 96 96 256(128コア) CPU memory (GB) 1900 GiB 1152 GB 1360 GB 2048 GB GPU type NVIDIA A100 80GB NVIDIA A100 80GB NVIDIA A100 80GB NVIDIA A100 80GB GPU 8 8 8 8 Local storage(TB) 6.4 TB 8 TB 3 TB 27.2 TB 月額 (730時間) $23,922 $29,905 $29,602 $23,360 https://blogs.oracle.com/cloud-infrastructure/post/ai-infrastructure-cloud-cost-comparison-best-value Lowest published on-demand list prices for AI compute instances as of May 2, 2023
19. ストレージ(Block Storage) コスト比較 Copyright © 2023, Oracle and/or its affiliates 19 https://www.oracle.com/cloud/economics/ 6K IOPS 38K - 375K IOPS If the cloud provider offered multiple options, including the need to purchase “performance credits,” the cheapest option was selected. Additional options, such as replication, were declined. For AWS, the choice was gp3. For Azure, it was Premium SSD v2. For Google Cloud, it was balanced Persistent Disk. The cheapest option was selected for each cloud provider and any additional options were declined. For AWS, the choice was io2 as gp3 tops out at just 256K IOPS. For Azure, it was Premium SSD v2. For Google Cloud, it was extreme Persistent Disk.
20. クラウドから外部へのデータ転送コスト比較 Copyright © 2023, Oracle and/or its affiliates 20 https://www.oracle.com/cloud/economics/ インターネット経由での外部データ転送費用
21. クラウドから外部へのデータ転送コスト比較 Copyright © 2023, Oracle and/or its affiliates 21 https://www.oracle.com/cloud/economics/ 専用線/閉域網での外部データ転送費用(10Gbps)
22. Copyright © 2023, Oracle and/or its affiliates 22 OCI Supercluster™: GPUを最大限活かすクラウド基盤 AIのモデル学習時間を大幅に削減、AI開発を高速化 RoCE v2 RDMA Network RDMA Switch RDMA Switch RDMA Switch 最大16,385GPU までスケール GPU GPU GPU GPU GPU GPU GPU 同じGPUでも、他のクラウドとは性能が違います。 圧倒的高性能を実現する、オラクル独自のテクノロジー。 GPUサーバーの性能が違う: Oracle Cloudは、NVIDIAのハイエンドGPUサーバーの DGXサーバーと同じ構成のサーバーを提供しています。そ のため、GPUの性能を最大限引き出しています。 GPUのネットワーク基盤が違う: さらにAIモデルの学習時間を短縮するため、複数のGPU サーバーをたばねて処理する、クラスタをサポートしています。 超低遅延(数μs)で広帯域(H100の場合は3.2Tbps) のRDMAネットワークで、H100では最大16,385GPUま で性能をスケールできます。 NVIDIA DGX H100と同じ構成の高性能サーバー 超低遅延ネットワークのより、大規模AIで高い性能
23. On-premise Performance in the Cloud オンプレミスのハイエンドGPUマシン(DGX) と同等のパフォーマンスをクラウドで実現 (言語処理 - BERTでのベンチマーク) Copyright © 2023, Oracle and/or its affiliates 0 200 400 600 800 1000 1200 1400 1600 1800 2000 V100 A100 NLP - BERT Large Training Benchmark (sequences/s) OCI GPU NVIDIA DGX
24. Copyright © 2023, Oracle and/or its affiliates 24 「OCIの高性能AIインフラを利用することで、 MosaicMLは他のクラウドプロバイダーと比較して、パ フォーマンスが最大50％高速化し、コストが最大80％ 削減。」 (With OCI’s high-performance AI infrastructure, MosaicML states that it has seen up to 50 percent faster performance and cost savings of up to 80 percent compared to other cloud providers.) お客様事例: MosaicML
25. 10/5/2023 Copyright © , Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted 25 精度約80%での学習時間差 精度約80%でのコスト差 他クラウド https://youtu.be/IAZPpUVjNJ0
26. Copyright © 2023, Oracle and/or its affiliates https://arxiv.org/pdf/2210.15315.pdf "Noise in the Clouds: Influence of Network Performance Variability on Application Scalability" ネットワーク・パフォーマンス比較
27. Copyright © 2023, Oracle and/or its affiliates https://arxiv.org/pdf/2210.15315.pdf "Noise in the Clouds: Influence of Network Performance Variability on Application Scalability" ネットワーク・パフォーマンス比較 使用しているシェイプ - Oracleは低価格
28. ネットワーク・パフォーマンス比較 (2022年11月 第三者による比較公開資料) Copyright © 2023, Oracle and/or its affiliates https://arxiv.org/pdf/2210.15315.pdf "Noise in the Clouds: Influence of Network Performance Variability on Application Scalability" 28 • HPC向けインスタンスの、2ノード間の遅延と帯域を計測 • 結果: Oracleは、安定した低遅延と、スペック通りの帯域 AWS Oracleの遅延は、低遅延( 約数μs)、かつ安定した通信 Oracleでは、帯域を最大限使 用したパフォーマンスで通信 AWS 遅延 帯域 Google Google
29. Copyright © 2023, Oracle and/or its affiliates 29 OCI Supercluster • 大規模 RoCEv2 RDMAネットワーク • 数μs秒の超低遅延 • 最大 4,096のコンピュート・ノード • 最大 32,768基のA100 GPU
30. RoCEv2 RDMAによる超低遅延ネットワーク 大規模ノン・ブロッキング・ネットワーク OCI Supercluster Copyright © 2023, Oracle and/or its affiliates 30 RoCEv2 RDMAネットワークにより、数μ秒の遅延を実現。 RoCEv2では、ロスレス・ネットワークが必要とされ、制御に はPFCを使用する。 しかしPFCではスケールや制御に問題があるため、Oracle Cloudでは、ECNとDC-QCNを組み合わせて、大規模な RoCEv2 RDMAネットワークを実現。 ノンブロッキング、フル・バイセクションの大規模なRoCEv2 RDMAネットワークを構築。 最大4,096台のノードを1.6Tbpsで接続可能。A100 GPUでは、最大32,768基のGPUをRDMAで接続でき、 大規模なAI学習に対応。
31. Copyright © 2023, Oracle and/or its affiliates 31 RDMAネットワークとベアメタルGPUサーバーにより、 GPU間の通信遅延を最小化。 RDMAネットワーク + ベアメタルGPUサーバー https://blogs.oracle.com/oracle4engineer/post/ja-accelerate-distributed-deep-learning A100 GPUサーバー間のNCCL通信の帯域測定結果 ほぼスペック(1.6Tbps)通りの帯域での通信(1.52Tbps)が確認できる。 (190.219GB x 8 = 1.52Tbps)
32. OCI Supercluster: 卓越した性能をもたらす要素技術 GPUインスタンスを支えるネットワーク層「OCI Superclusters」にオラクルの知財が組み込まれています • RDMA通信専用の高性能ネットワークを RoCEv2を用いて実装。最高のパフォーマン スを実現しています。 • Infinibandと同等の性能を少ないコストで 実現。さらに柔軟でダイナミックなクラスタ構成 を可能にしています。 • 高い費用対効果と大規模構成を実現してい ます。 • "インテリジェント・ワークロード配置"と"配置ヒ ント"により、柔軟で最適なGPUクラスタ構成 を行います。 • 可能な限り低いレイテンシーを実現しながら、 大規模にスケールすることを可能としています。 32 Copyright © 2023, Oracle and/or its affiliates • OCI Superclustersでは、NVIDA DGX （オンプレミス）と同じのH/W構成を可能に しています。 • 結果、オンプレミスと同等の処理性能を提供 することが可能です。 • 同じGPU A100であっても、クラウド・プロバイ ダによって性能が変わります • RoCEv2では、ネットワーク全体がロス・レスで 構成されている必要があります。 • OCIでは通常利用されるフロー制御だけでは なく、RDMA輻輳制御のための通信規格 （ECN、DC-QCN）を併用し、大規模なロ ス・レス・ネットワークを実現しています。 • Exadataの研究開発成果を使用しています。 • 最大32,768 NVIDIA GPUs クラスタを 実現 • 広帯域（1.6Tbps）,低遅延 （ <2µs ）による卓越した性能を実現 • ノン・ブロッキング・ネットワークにより、スケール アウトによるネットワーク帯域不足、ネットワー ク遅延を極小化。 べメアメタル・サーバー ノン・ブロッキング・ネットワーク 大規模・高拡張GPUクラスタ RDMA/RoCEv2 ネットワーク インテリジェント・オート・スケーリング
33. お客様事例: Aleph Alpha Copyright © 2023, Oracle and/or its affiliates 33 “This is a new generation model, and in order to train those you need a new generation of hardware—the old GPU clusters aren’t sufficient anymore. On the industry side we have raised a lot of capital and partnered with Oracle. We’re building a way to translate an impressive playground task into an enterprise application that creates value.” Jonas Andrulis, Founder and CEO Aleph Alpha Aleph Alphaは、高速ネットワーキングで接続された数百台 のNVIDIAの最も強力なGPUを使用して、OCI上で130億 パラメータを持つAIモデルをトレーニングしています。また、2 つ目のモデルは、2000億以上のパラメータを保持します。 Aleph Alphaは、OCIにより、A100 GPUをRDMA(8x 200Gb/s)で接続して使用することが可能になりました。 Copyright © 2023, Oracle and/or its affiliates 33
34. Copyright © 2023, Oracle and/or its affiliates 34 • Bastion/管理ノード • VMインスタンスで構成 • NFSエクスポートし、GPUサーバーか らマウント • 大規模、アクセス頻度が少ないデー タはオブジェクト・ストレージに格納 • ジョブ・スケジューラとしても使用 • GPUクラスタ • RDMAネットワークで接続し、クラス タを構成 • 外部との通信は、フロント・ネットワー クを介して実施 (クラスタへの影響を 与えない) シンプルなAI環境(GPUクラスタ)構成例 OCI Region VCN GPU Cluster Private Subnet 00.0.00.0/00 Bastion Subnet (private or public) 00.0.00.0/00 GPU GPU GPU GPU GPU ...... RDMAネットワーク フロント・ネットワーク • Bastion/管理ノード • ジョブ・スケジューラ • NFSサーバー オブジェクト・ストレージ
35. Copyright © 2023, Oracle and/or its affiliates 35 AI環境(GPUクラスタ)の自動構成 • GPUクラスタ環境を自動構成可能 • 管理ノード、NFSサーバー、GPUクラスタを構 成し、NVIDIA NCCLなどのソフトウェア、コン テナ環境も自動設定。 • 2つのタイプの構成が選択可能 • スタティック・クラスタ: GPUクラスタが起動した状態で構成。 • オンデマンド・クラスタ: ジョブを実行した際に、自動的にクラスタ が作成され、ジョブを実行。終了後にクラ スタは削除され、課金が停止。
36. Copyright © 2023, Oracle and/or its affiliates 36 GUIまたはCLIで自動構成が可能。 使用するGPUシェイプや、クラスタ・サイズ、コンテナ設定などを指定して作成。 AI環境(GPUクラスタ)の自動構成 - 作成方法
37. Copyright © 2023, Oracle and/or its affiliates 37 • ステップ・バイ・ステップのGPUクラスタ構成手順を 公開 • クラスタ環境での、サンプル・プログラムによる、分散 学習の実行まで解説 AI環境(GPUクラスタ)の自動構成 - 作成方法のチュートリアル https://oracle-japan.github.io/ocitutorials/hpc/spinup-ml-instance/
38. CLIからジョブを実行することで、複数GPUノード上での分散学習を実施 • 概要 • コマンド(ADS CLI)による容易なプロビジョニング • データパラレル(学習の高速化)とモデルパラレル(大規模モデ ル)の両学習手法を実装可能 • 学習処理実行時間のみの課金(GPUインスタンス含む) • サポートAPI構成のパターン ✓ PyTorch Distributed ✓ Distributed TensorFlow ✓ HorovodとPytorchもしくはHorovodとTensorflow • 分散学習の実装と実行 ✓ 学習環境として利用するコンテナイメージのDockerfileを作 成し、でOCI Registoryに登録(ADS CLI) ✓ 学習用のソースコード、実行環境の定義ファイルを作成 ✓ 学習実行(ADS CLI)後、学習環境定義ファイルの定義に 沿って複数のComputeが自動起動され、定義済のイメー ジからコンテナを作成し、学習処理コードを実行、実行後に Computeは削除され課金停止 Data Science Serviceによる分散学習 Copyright © 2023, Oracle and/or its affiliates Dockerfile Train.py Train.yaml OCI Registry Repository image compute container OCI Data Science compute container compute container コンテナイメージ作成・登録 • Pytorch • TensorFlow • Horovod • etc. 学習処理のコード Pythonスクリプト 学習環境の定義 • DSプロジェクト • コンパートメント • シェイプ • ノード数 • etc. 分散学習の実行 ADS CLI 分散学習 38
39. Copyright © 2023, Oracle and/or its affiliates 39 実行手順 1. 学習実行環境(コンテナ)の準備 2. ジョブ設定ファイルの作成 3. adsコマンドによるジョブの実行 Data Science Serviceによる分散学習 ジョブ設定YAMLファイル ローカルでテスト実行 GPUクラスタで分散学習を実行
40. 専任のエンジニアチーム。本サービスに関するお客様の費用負担なし(クラウド利用料は別途) GPU環境の無償支援サービス: Oracle Cloud Lift Services(OCLS) Copyright © 2023, Oracle and/or its affiliates 40 フィジビリティスタディ支援 PoC(実機検証) 支援* 早期立ち上げ支援* ケーススタディ支援 * クラウド利用契約をお持ちのお客様向け
41. 1. Oracle AI の全体像 2. AIインフラに必要な要素 3. OCIが提供する特徴的なポイント 4. AIインフラとデータ基盤 5. まとめ 本セッションのアジェンダ Copyright © 2023, Oracle and/or its affiliates 41
42. Copyright © 2023, Oracle and/or its affiliates 42 Oracle AI: データ中心のAI 企業内のあらゆるデータ資産を最大限活用できます。 ML on Database AI Services Data Science Service Analytics Cloud ファイル オブジェクト・ストレージ AWS Azure マルチクラウド データソース データ・インテグレーション データ・カタログ Oracle Applications Analytics Cloud HCM ERP CRM Healthcare EPM Data Science Vision Forecasting Anomaly Detection Document Understanding Speech データベース (Oracle Database, MySQL HeatWave) 高品質でセキュアなデータ基盤 企業内には価値のあるデータが、多く存在していま す。オラクルでは、実績のあるデータ連携および管 理サービスを多く提供しています。これにより、企業 内のあらゆるデータを連携し、品質の良いデータを セキュアに格納できます。そして、AIでのデータ活用 がし易くなり、より高いAIの効果が得られます。 データベース組み込みのAI Oracle DatabaseおよびMySQL HeatWave では、データベース内でAIモデルを作成、稼働でき ます。そのため、今データベースにあるデータを使用 して、短期間でAIを開発できます。またSQLから実 行できるため、アプリケーションへの実装が容易です。 さまざまな用途に対応可能なAI さまざまな事前学習済みのAIモデル、大規模な開 発に対応可能なAI開発環境、機能豊富な分 析・可視化機能まで、あらゆる用途に対応可能な AIサービスを使用できます。
43. AI/MLで使用するデータを統合的に、そして安全に管理し、かつ透過的に高速アクセス データ・カタログ + データベース + データレイクの構成 43 透過的・高速SQLアクセス Autonomous Data Warehouseでは、 オブジェクト・ストレージ内のデータへ高速か つ透過的にSQLアクセス可能。あらゆるデー タにアクセスできAIで活用可能。 メタ・データ管理 Data Catalogにより、オブジェクト・ストレー ジやデータベースに、どんなデータがあるかを管 理。 Unified, accelerated queries Autonomous Data Warehouse Serverless OCI Data Catalog: あらゆるデータのメタデータを統合管理 Oracle Data Lake (オブジェクト・ストレージ) Big Data Service Data Flow Copyright © 2023, Oracle and/or its affiliates AI/ML ワークロード SQL NoSQL Spark REST
44. Copyright © 2023, Oracle and/or its affiliates 44 OCI Data Catalog
45. Copyright © 2023, Oracle and/or its affiliates 45 Data Catalog: あらゆるデータのメタ・データを一元的に管理 メタ・データ収集と管理 テクニカル・メタデータの収集、ビジネス・ メタデータの追加、ビジネス辞書の管理、 AI/MLレコメンデーション、カスタム・プロ パティやタグによるメタデータの充実 技術名、ビジネス用語、およびタグに基 づいて検索し、フィルターを使用して関 心のあるオブジェクトを見つけることが可 能 REST APIとSDKを備えた、安全で信 頼性の高いサーバーレスのネイティブ OCIサービスとして提供。他のOCIサー ビスとの連携・統合も段階的に提供 検索と発見 Oracle Cloud に最適化
46. Data Catalogによって解決できる課題 Copyright © 2023, Oracle and/or its affiliates 46 Data Analysts Data Scientists Data Engineers Developers Data Stewards 分析に適したデータが見つからない ! • データ資産の全体像の欠如 • 部門固有知識への依存 • 困難を極めるデータ問題のトラブル シューティング • データの情報が簡単に入手できない データを理解するのが困難 ! • データ辞書が存在しない • 手動でのスキーマ定義 • データ・モデルをそもそも共有できていない データ・ガバナンスを改善する必要がある ! • データの所有権が不明瞭 • 一般的なビジネス概念の欠如 • データ問題を解決するためのコラボレー ションがない • 機密データの拡散
47. データ利用者のためのデータ資産全体像の考え方 Data Catalog を構成していく考え方 Copyright © 2023, Oracle and/or its affiliates 47 Technical Metadata Operational Metadata • ソースシステムからメタデータを収集 • 一般的に自動化されたプロセス Business Metadata • データ専門家による情報追加等 • 一般的に手動で行われるプロセス ◼ Enriche / Curate Business Glossary メタ・データ ◼ Harvesting • オペレーショナル情報 • 使用傾向、ジョブ実行サマリー、成功/失敗、 更新日、リソース消費量など • ソースにあるオブジェクト情報 • スキーマ名、テーブル/カラム名、データタイプ、 PK/FK、レポート、ETLフロー、変換ロジック、 式など • データリネージとデータプロファイル • テクニカルオブジェクトについての追加のビジ ネスコンテキスト • ビジネスコンセプトの用語集、分類、注釈。 説明、所有者、部署、地域、更新頻度 評 価、コメント、Q&A、フリーフォームタグなど
48. Copyright © 2023, Oracle and/or its affiliates 48 メタ・データの収集、用語やカテゴリ管理、データの検索まで、使いやすいGUIで操作 Data Catalogの操作
49. Copyright © 2023, Oracle and/or its affiliates 49 Autonomous Data Warehouse Serverless
50. Autonomous Data Warehouse Serverless: 強力なデータベース＋分析基盤 豊富なデータ・インテグレーション機能 オブジェクト・ストレージを含む数百のソースからデータを発見・抽出。ドラッグ・アンド・ ドロップで一括/リアルタイム・ロードと変換が可能。さらにマルチクラウドにも対応。 分析/機械学習環境 GUIで、機械学習、グラフ分析、空間分析、多次元モデル分析、ドキュメント分析 などを高速に実施。 あらゆるデータを格納、横断的に検索 表データ、文書、JSON、CSV、グラフ、画像などあらゆるデータを格納し、横断的に 検索可能。 Auto Insights Load Transform Discover Model Graph Relational Document Spatial Multi ML Autonomous Data Warehouse (ADW) AutoML Copyright © 2023, Oracle and/or its affiliates Serverless、DB管理者不要かつ低コスト データベースの管理からチューニングまで自動化され、さらに負荷に応じて自動的にス ケール。データベース管理者不要で、コストを大幅に削減可能。 50
51. Copyright © 2023, Oracle and/or its affiliates 51 Autonomous Data Warehouse Serverless: Data Studio データ・ロード&変換 モデル自動検出 データ・インサイト データのロード・変換から分析まで、 あらゆるデータ操作を使いやすいGUI画面と、高速なデータ・アクセスで実施。
52. Copyright © 2023, Oracle and/or its affiliates 52 Autonomous Data Warehouse Serverless: 機械学習環境(Notebook) Notebook環境で、データベース内でデータを可視化、機械学習の開発、デプロイを実施。
53. 今後提供予定: Oracle DatabaseでのAIベクトル検索 今すぐプレビューにサインアップ Oracle CloudWorld Copyright © 2023, Oracle and/or its affiliates 53
54. AIベクトル検索とビジネス・データを結合して問い合わせ SELECT … FROM house_for_sale WHERE price <= (SELECT budget FROM customer …) AND city in (SELECT search_city FROM customer …) ORDER BY vector_distance(house_vector, :input_vector); 条件 + ベクトルの類似度で結果を表示 ベクトル型を導入。通常のデータ型と同様に使用可能 ouse or s e ouse um er r ce um er c t rc r ) ouse oto o ouse ector ) Oracle CloudWorld Copyright © 2023, Oracle and/or its affiliates 54
55. RAG(LLMとの組み合わせ)での使用例 生成AIアプリ LLM + Oracle Database 23c AI Vector Search 問い合わせ （テキスト) 非構造化データ 構造データ + あらゆるビジネス・データを検索 ベクトル・データ ベクトル検索 回答 結果 Oracle CloudWorld Copyright © 2023, Oracle and/or its affiliates 55
56. AI/MLで使用するデータを統合的に、そして安全に管理し、かつ透過的に高速アクセス データ・カタログ + データベース + データレイクの構成 56 透過的・高速SQLアクセス Autonomous Data Warehouseでは、 オブジェクト・ストレージ内のデータへ高速か つ透過的にSQLアクセス可能。あらゆるデー タにアクセスできAIで活用可能。 メタ・データ管理 Data Catalogにより、オブジェクト・ストレー ジやデータベースに、どんなデータがあるかを管 理。 Unified, accelerated queries Autonomous Data Warehouse Serverless OCI Data Catalog: あらゆるデータのメタデータを統合管理 Oracle Data Lake (オブジェクト・ストレージ) Big Data Service Data Flow Copyright © 2023, Oracle and/or its affiliates AI/ML ワークロード SQL NoSQL Spark REST
57. Copyright © 2023, Oracle and/or its affiliates 57 価格
58. Copyright © 2023, Oracle and/or its affiliates 58 価格: Autonomous Data Warehouse: $0.336(¥47.04円) [ECPU/時間, 最小 2ECPU] Oracle Autonomous Database Storage: $0.0244(¥3.416円) [GB/月] Autonomous Data Warehouse Serverless: 価格 価格例: 9ECPU、10TBの場合: 常に使用し続ける場合: 月額(730時間): $2,457.376 (¥344,032.64円) ECPU: $2207.52 ($0.336 * 9ECPU * 730時間), Storage: $249.856($0.0244 * 10240GB) ピーク使用率が20%の場合 (自動スケール機能では、3倍までスケール可能): 月額(730時間): $1,529.888 (¥214,184.32円) ECPU: $441.504 ($0.336 * 9ECPU * 730時間 * 20%) + $588.672 ($0.336 * 3ECPU * 730時間 * 80%) Storage: $249.856($0.0244 * 10240GB)
59. Copyright © 2023, Oracle and/or its affiliates 59 無償 Data Catalog: 価格
60. 1. Oracle AI の全体像 2. AIインフラに必要な要素 3. OCIが提供する特徴的なポイント 4. AIインフラとデータ基盤 5. まとめ 本セッションのアジェンダ Copyright © 2023, Oracle and/or its affiliates 60
61. Copyright © 2023, Oracle and/or its affiliates 61 Oracle AI インフラストラクチャ セキュアで高性能な データ管理基盤 低コスト 高パフォーマンス GPUの性能を最大限引き出せるサーバーと、高性能なネットワークにより、非常に高 い性能を実現。学習時間を大幅に削減し、AI開発のスピードを向上。 より高い性能、低いコストにより、優れた価格性能を提供。 サーバーだけでは無く、ネットワーク、ストレージにおいても低コストで提供。 さまざまなデータを一元的に管理することで、データのガバナンスを強化。 クラウド機能によるセキュリティに加え、データベース管理によるセキュリティを活用。 高いデータベースおよびストレージ性能により、データ・アクセスのボトルネックを排除。
62. Global announcement OCI Generative AI service ベータ公開開始 Oracle CloudWorld Copyright © 2023, Oracle and/or its affiliates
63. Copyright © 2023, Oracle and/or its affiliates 63 Oracle Generative AI Service セキュアで高性能な、エンタープライズ生成AI 高性能なCohereの生成AIモデルを利用 オラクルの業界知識を活用 専有環境、高いセキュリティで安心 生成AIは、大量のデータから知識を取得し、そ れを利用してタスクを自動化することで、エンター プライズにおける生産性を大きく高めます。 しかし、企業での生成AIの利用には、データの セキュリティおよび自社データで学習したモデルの 管理に大きな不安があります。 オラクルは、エンタープライズでの利用に最適な、 セキュアで高性能な生成AIサービスをCohere と提携して提供します。 生成AI Beta
64. Copyright © 2023, Oracle and/or its affiliates 64 Cohere: エンタープライズ向けの高性能生成AI Cohereのモデルは、非常に高 い性能ながら、コンパクト(52B パラメータ vs GPT-3 175Bパ ラメータ)、カスタマイズが容易。 Cohereは、生成AIのベンチマー クで、非常に高いスコアを達成。 (not included: GPT-4 from OpenAI)
65. Copyright © 2023, Oracle and/or its affiliates 65 Oracle Generative AI Service 高性能なエンタープライズ向け生成AIを安全に利用できます。 オラクルの業界知識・データ 完全分離されたお客様データ フィルタリングされた公開データ データもモデルも専有環境で利用 Cohereによる最先端モデル オラクルの業界知識の活用 Cohereのモデルは、生成AIベンチマーク (HELM)で高い性能を実証。データ・プラバ シーやセキュリティに配慮した、エンタープライ ズ向けの最先端・高性能モデルを提供して います。 お客様のビジネスに最適なカスタム・モデルを作成 することで、他社との差別化が可能になります。そ の際、使用するお客様のデータを完全に分離し、 専有サーバーでモデル運用が可能なため、安心 してお使いいただけます。 ビジネス・アプリケーションでの経験を活かし、 オラクル独自のデータと業界知識を生成AI のモデルに活用しています。また、生成AIを ビジネス・アプリケーションに組み込んでいます。 これにより、お客様は、AIの開発をすること なく、最新AIのメリットをすぐに享受できます。 高性能なモデル ビジネスに最適な生成AI カスタム・モデルをセキュアに利用