Oracle Modern Data Platform Reference Architecture (MySQL HeatWave Lakehouse編)

Oracle Modern Data Platform Reference Architecture (MySQL HeatWave Lakehouse編)

Oracle Modern Data Platformは、企業の社内外で発生するあらゆるデータを取り込む[Data Integrationレイヤー]、一貫したデータガバナンスとセキュアなData Lakehouseを提供する[Data Management/Data Storeレイヤー]、エンタープライズBIやセルフBIだけでなくAI/MLなどデータサイエンス領域までをアプリケーションとして提供する[Analyticsレイヤー]までをOracle Cloud Infrastructure上で包括的に提供しています。

本Reference Architectureは、MySQL HeatWave Lakehouseを中心としたOracle Modern Data Platformの概要をご紹介しています。

なお、本Reference Architectureに関するBlogは以下をご参照ください。
「MySQLユーザーのデータ活用に関する課題」
https://blogs.oracle.com/oracle4engineer/post/202402ai-mysqlhw

Transcript

1. Oracle Modern Data Platform Reference Architecture MySQL HeatWave Lakehouse 2024年5月 日本オラクル株式会社
2. 2 Oracle Modern Data Platform Reference Architecture - MySQL HeatWave Lakehouse Copyright © 2024, Oracle and/or its affiliates
3. 3 Oracle Modern Data Platform Reference Architecture - MySQL HeatWave Lakehouse Copyright © 2024, Oracle and/or its affiliates １ 2 3 4 5 6 １ 2 3 4 5 6 データ変換: Data Integration / Data Transforms(OCI GG) 業務アプリケーションや基幹システムからの大量データを処理します。 接続コネクタを経由してデータソースからデータを抽出、必要であればデータ編集を行いターゲットに対してデータ登録を行います。 また処理はGUI上で作成することができます。 参考: OCI Data Integrationチュートリアル / Data Transformsを使ってみよう データ同期: GoldenGate 業務アプリケーションや基幹システムで利用されているデータとリアルタイム同期します。 Oracleデータベース間でのデータのレプリケート、サポートされる異種データベースへのデータのレプリケート、異種データベース間でのデータのレプリ ケートを行うことができます。 参考: OCI GoldenGateによるBaseDBからADBへのデータ連携 アプリケーション統合: Integration Cloud 多数のアダプタを利用してSaaSアプリケーションおよびオンプレミスアプリケーションから少量データを連携することができます。 また処理はGUI上で作成することができます。 参考: Application Integration チュートリアル データ変換: GoldenGate Stream Analytics / Streaming トランザクションや移動、センサーから発生したデータをリアルタイムで変換などの処理や分析ができます。 WebベースのUIからリアルタイムに発生するデータを処理するデータパイプラインを作成できます。 参考: Oracle GoldenGate Stream Analytics ハンズオン ストリーミング処理: Streaming / Service ConnectorHub 大量のデータ・ストリームをリアルタイムで収集および処理します。 パブリッシュ/サブスクライブ・メッセージング・モデルでデータが連続して生成され処理するユースケースで使用します。 参考: OCI Streaming を動かしてみよう MySQL レプリケーション MySQLの標準機能であるレプリケーション機能で、MySQLデータベースとMySQL HeatWaveのデータをリアルタイム同期します。 オンプレミスやIaaS上のMySQLだけでなく、Amazon RDSなどの他社クラウドのMySQLのマネージドサービスからもレプリケーションできます。 参考: インバウンド・レプリケーション / MySQL Database Serviceでレプリケーションを使用する
4. 4 Oracle Modern Data Platform Reference Architecture - MySQL HeatWave Lakehouse Copyright © 2024, Oracle and/or its affiliates 7 8 9 10 11 データ前処理/変換/集計: Data Integration / SQL Code / Other Tools / Data Transforms(OCI GG) データウェアハウスに蓄積されたのデータを分析しやすくするために処理します。 Data IntegrationやSQL Plus、SQL Developerなどで記述したSQL、dbtなどといった他のツールからデータ処理を行います。また業務に合わ せた目的別のデータマートも作成します。 参考: クレデンシャル・ウォレットを利用して接続してみよう 7 8 9 10 11 12 データウェアハウス: MySQL HeatWave 各システムのデータを集約し、分析しやすくなるよう整理されたデータの倉庫です。 MySQLをベースに、従来MySQLが苦手としていた分析処理も高速に実行できるように拡張されたクラウド・データベース・サービスです。 オブジェクトストレージ上のデータを高速に分析対象にできるMySQL HeatWave Lakehouseもあります。 参考: MySQLで高速分析を体験する データレイク: Object Storage さまざまなデータソースからのデータを加工せずに、元の形式のまま保管する器です。 Object Storageを利用することで、さまざまなデータをストレージの容量を気にせず低コストで蓄積することが可能です。 参考: オブジェクト・ストレージの概要 / データレイク ビッグデータ処理: Data Flow / Big Data データレイクに蓄積された大量データを処理するために、大規模並列処理を行います。 Data Flowを使うことで、Object Storageとネイティブに接続しデータを処理できます。Big Data ServiceはHadoopのクラスタからOracle SQLを使用してObject Storageのデータを処理できます。 参考: OCI Data Flow ハンズオン(初級編) / Big Data Service, Cloud SQL 概要 データカタログ: Data Catalog 組織内にあるデータ資産の整理された一覧です。 OCI Data Catalogはデータエンジニアがデータ資産を整理し、データガバナンスをサポートするのに役立つサービスです。 参考: データカタログとは？なぜそれが必要なのか？ セマンティックレイヤー: Analytics Cloud Service ユーザーが一般的なビジネス用語でデータにアクセスできるように整理された抽象化レイヤーです。ビジネスの構造に従って、分析用のデータを提示 できるように設計されています。 Analytics Cloud Serviceではセマンティック・モデラーを使用してセマンティックレイヤーを構築することができます。 参考: データのモデル化 12
5. 5 Oracle Modern Data Platform Reference Architecture - MySQL HeatWave Lakehouse Copyright © 2024, Oracle and/or its affiliates 13 14 15 16 定型分析/レポーティング: Analytics Cloud Service ある程度決まった形に合わせてデータを可視化またはレポーティングの形式でKPIやモニタリングに必要な指標を出力します。 Analytics Cloud Serviceのダッシュボードおよびレポーティング機能を使用することで定型分析およびレポーティングを行うことができます。 参考: レポートおよびダッシュボードの作成 13 14 15 16 セルフBI: Analytics Cloud Service エンドユーザー自身による簡単な操作でデータの準備・加工および可視化・分析を行うことができます。 Analytics Cloud Serviceのデータの準備・加工、データの可視化および拡張分析機能を使用することで、エンドユーザー自らデータ分析を行う ことができます。 参考: データのビジュアル化 データサイエンス: Data Science 数学や統計学、機械学習といった科学的な理論を用いてデータ分析や解析を行い、データからの洞察を導き出すことです。 Data Science Serviceが備えるPythonやオープンソースツールを使用して、データサイエンティストがデータ分析およびデータ解析を行うことができ ます。 参考: ノートブック・セッションを使用したモデルの作成およびトレーニング 機械学習: HeatWave AutoML データ分析手法の一つで、自動で学習しデータから予測や判断に必要な情報を導き出す手法です。 MySQL HeatWaveに入っているデータを活用して、データサイエンティストではない方でも、SQLを使って機械学習を活用できます。 (分類、回帰、時系列予測、異常検知、レコメンド の機械学習モデルを作成可能) 参考: HeatWave AutoML / Iris Data Set Machine Learning Quickstart
6. 私たちのミッションは、人々が新たな方法 でデータを理解し、本質を見極め、無限 の可能性を解き放てるよう支援していくこ とです。