Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Big Data Service and Cloud SQL Overview

Big Data Service and Cloud SQL Overview

Big Data Service and Cloud SQL に関する概要資料です。2022年12月時点での情報をベースとしています。最新情報は、随時アップデートされた資料やマニュアルを御確認下さい。

oracle4engineer

December 01, 2022
Tweet

More Decks by oracle4engineer

Other Decks in Technology

Transcript

  1. データベース ファイル等 センサー ソーシャル モバイル 業務部門 IT 開発者 データ サイエンティ

    スト 2 Copyright © 2022, Oracle and/or its affiliates 各種サービスを組み合わせることで、クラウド上に Data Lake を含むデータ基盤を実現 Oracleが提供する 包括的な Cloud Data Platform ソリューション Object Storage OCI Data Flow OCI GoldenGate Streaming Stream Analytics for OCI Analytics Cloud Fast Connect Data Providers (対象データ) Data Consumers (データ利用者) *1) 2022年12月現在、Big Data Serviceに含まれたサービスとして提供中で、単体サービスとしての提供は今後の予定 Big Data Service ADW/ATP/ExaCS OCI Data Integration OCI Data Science Cloud SQL(*1) OCI Data Catalog Ingest, Integration, Data Refinery (収集) Data Persistence, Data Lake (蓄積/管理) Serving (提供) Visualize, Analytics, Data Science (可視化/分析/データサイエンス)
  2. フルマネージド型Hadoopサービスと透過的なSQLアクセスを提供 サービス概要/特徴 • Oracle Big Data Service は、Oracle Cloud Infrastructureで提供するフルマネージド型Hadoop

    サービスです • Oracle Distribution including Apache Hadoop (ODH)とCloudera Distribution including Apache Hadoop (CDH)が提供されます (*1) • Oracle Cloud SQL を追加することで様々なデータ ソースへの透過的なSQLアクセスを提供します • 様々なOracle Cloud サービスと組み合わせること で、包括的なData Lake / Lake house Platform を、 実現することが可能となります こんな課題に役立ちます • 既存のHadoop 環境を、クラウド環境に拡張してハ イブリッド構成を実現したい • Oracle Cloud 環境の様々なデータソースに、透過的 なSQLで簡単にアクセスしたい • 各種サービスと組み合わせることで、Data Lake/ Lake house Platform を実現したい サービス価格 • Oracle Big Data Service (*2) : ¥2.10 [OCPU Per Hour] • Oracle Cloud SQL - Compute Capacity: ¥15.05 [OCPU Per Hour] (*1)CDHは既存契約済のお客様向けの提供となります (*2)ODHのサービス価格です。Computeなど実行環境は別途必要と なります。CDHの価格については別途営業担当までお問い合わせ下 さい Oracle Big Data Service and Oracle Cloud SQL Copyright © 2022, Oracle and/or its affiliates 3 * 2022年12月現在
  3. フルマネージド型Hadoopサービス 包括的なCloud Data Platform における Hadoop環境をOracle Cloud Infrastructure 上で実現 ◼

    セキュアかつ信頼性のある、エラスティック なHadoopクラスタ環境を数分で提供 ◼ オンプレミスの Big Data 環境を Oracle Cloud へ拡張し、ハイブリッドな構成を実現可能 ◼ Oracle Cloud Platformとネイティブに統合され たサービスにより、幅広い組み合わせでソ リューション構成が可能 Oracle Big Data Service Copyright © 2022, Oracle and/or its affiliates 4 v Infrastructure Data Management Database – Data Lake - Access – Integration - Preparation CPU – GPU – Storage - Network
  4. 5 Copyright © 2022, Oracle and/or its affiliates Oracle SQL

    で 様々なBig Data Sourceにアクセス Oracle Cloud SQL ◼ Oracleベースのアプリケーションを変更す ることなく複数のデータストアにアクセス ◼ Smart Scan や Storage Index、Predicate Pushdownなどにより処理の最適化と高速 化を実現 ◼ HDFS、Hive、オブジェクトストア、Kafka、 NoSQLをサポート ◼ 既存のHiveメタデータとセキュリティを使 用してシンプルに管理
  5. Oracleが独自にパッケージ化したHadoopディストリビューション Oracle’s Distribution of Apache Hadoop (ODH)とは Copyright © 2022,

    Oracle and/or its affiliates 6 ODHに含まれるコンポーネント(2022年5月現在) ※Cloudera Distribution including Apache Hadoop (CDH) で提供されるコンポーネントは以下より御確認下さい https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_63_packaging.html#cdh_633_packaging Component Version Apache Ambari 2.7.5 Apache Hadoop (HDFS, YARN, MR) 3.1.2 Apache HBase 2.2.6 Apache Hive 3.1.2 Apache Hue 4.10.0 Apache Livy 0.7.1 Apache Oozie 5.2.0 Apache JupyterHub 2.1.1 Apache Parquet or Apache Parquet MR 1.10 Apache Ranger and InfrSolr 2.10 and 0.1.0 Apache Spark 3.0.2 Apache Sqoop 1.4.7 Apache Tez 0.10.0 Apache Zookeeper 3.5.9 Trino 360
  6. 7 Copyright © 2022, Oracle and/or its affiliates ※2022年12月現在 Big

    Data Service & Cloud SQL 価格表(日本円) Pay as You Go Anual Flex Metric Metric Minimum Oracle Big Data Service (*1) ¥2.100 ¥2.100 OCPU Per Hour - Oracle Big Data Service - Compute - Standard(*2) ¥18.816 ¥18.816 OCPU Per Hour 4 OCPUs per node Oracle Big Data Service - Compute - Dense I/O(*2) ¥29.960 ¥29.960 OCPU Per Hour 4 OCPUs per node Oracle Big Data Service - Compute - HPC(*2) ¥21.504 ¥21.504 OCPU Per Hour 4 OCPUs per node Oracle Cloud SQL - Compute Capacity ¥15.050 ¥15.050 OCPU Per Hour - 【補足】 • (*1) Oracle’s Distribution of Apache Hadoop (ODH) を使用する場合の価格です。 • (*2) Cloudera Distribution including Apache Hadoop (CDH) を使用する場合の価格です。 • 金額は1$=140円換算の日本円表記です。 • Oracle Big Data Serviceには、別途Computeが必要です。(作成したインスタンスの分が課金されます) • Oracle Big Data Serviceには、別途Block Storageが必要です。 • Oracle Big Data Service - Compute - Standard の場合、別途Block Storage が必要です。 • Oracle Big Data Service - Compute - Dense I/O および Compute - HPC の場合、上記価格にストレージの金額も含まれ ます。
  7. ※最小構成はMaster Node*1, Utility Node*1, Worker Node*3 (参考)推奨される構成例と価格イメージ Copyright © 2022,

    Oracle and/or its affiliates 8 • Master/Utilityノード(Block Volume 1TB) × 4ノード • Workerノード(Block Volume 8TB) × 4ノード • Cloud SQLノード(Block Volume 2TB)×1 • 主に開発/簡易テスト用途を想定 • シェイプはすべて VM.Standard2.4 を使用 • CPU数のサイジング根拠は配慮しない ▪ 前提条件 ▪ 推奨構成 ※2022年12月現在の価格情報をもとにしています。 ノード 種別 ノード 数 サービス名 メトリック Monthly Flex 単価[¥] 必要数量 Monthly Flex 月額[¥](744時間) Monthly Flex 年額[¥](12ヶ月) Master/ Utility Node 4 Oracle Big Data Service OCPU Per Hour 2.100 4 24,998 299,981 Compute - Standard - X9 OCPU Per Hour 5.600 4 66,662 799,949 Storage - Block Volumes GB Per Month(*) 3.570 1000 14,280 171,360 Worker Node 4 Oracle Big Data Service OCPU Per Hour 2.100 4 24,998 299,981 Compute - Standard - X9 OCPU Per Hour 5.600 4 66,662 799,949 Storage - Block Volumes GB Per Month(*) 3.570 8000 114,240 1,370,880 Cloud SQL 1 Oracle Cloud SQL - Compute Capacity OCPU Per Hour 15.050 4 44,789 537,466 Oracle Cloud Infrastructure - Block Volume GB Per Month(*) 3.570 2000 7,140 85,680 合計 363,770 4,365,245