Oracle Modern Data Platform Reference Architecture (Autonomous Data Warehouse編)

Oracle Modern Data Platform Reference Architecture (Autonomous Data Warehouse編)

Oracle Modern Data Platformは、企業の社内外で発生するあらゆるデータを取り込む[Data Integrationレイヤー]、一貫したデータガバナンスとセキュアなData Lakehouseを提供する[Data Management/Data Storeレイヤー]、エンタープライズBIやセルフBIだけでなくAI/MLなどデータサイエンス領域までをアプリケーションとして提供する[Analyticsレイヤー]までをOracle Cloud Infrastructure上で包括的に提供しています。
本Reference Architectureは、Autonomous Data Warehouseを中心としたOracle Modern Data Platformの概要をご紹介しています。

なお、本Reference Architectureに関するBlogは以下をご参照ください。
「データドリブンを実現するためのデジタルトランスフォーメーション」
https://blogs.oracle.com/oracle4engineer/post/202402ai-oadw

Transcript

1. Oracle Modern Data Platform Reference Architecture Autonomous Data Warehouse 2024年5月 日本オラクル株式会社
2. 2 Oracle Modern Data Platform Reference Architecture - Autonomous Data Warehouse Copyright © 2024, Oracle and/or its affiliates
3. 3 Oracle Modern Data Platform Reference Architecture - Autonomous Data Warehouse Copyright © 2024, Oracle and/or its affiliates １ 2 3 4 5 6 リクエスト処理: API Gateway / Functions モバイルアプリケーションやPCにインストールされたネイティブアプリケーションからのデータを処理します。 REST API経由のリクエストを、API Gatewayで認証しFunctionsでヘッダー情報やパラメータ情報をパースして、ORDS経由でデータベースに POSTしデータを登録します。 参考: OracleによるデータベースAPIの世界のナビゲート １ 2 3 4 5 6 データ変換: Data Integration / Data Transforms(OCI GG) 業務アプリケーションや基幹システムからの大量データを処理します。 接続コネクタを経由してデータソースからデータを抽出、必要であればデータ編集を行いターゲットに対してデータ登録を行います。 また処理はGUI上で作成することができます。 参考: OCI Data Integrationチュートリアル / Data Transformsを使ってみよう データ同期: GoldenGate 業務アプリケーションや基幹システムで利用されているデータとリアルタイム同期します。 Oracleデータベース間でのデータのレプリケート、サポートされる異種データベースへのデータのレプリケート、異種データベース間でのデータのレプリ ケートを行うことができます。 参考: OCI GoldenGateによるBaseDBからADBへのデータ連携 アプリケーション統合: Integration Cloud 多数のアダプタを利用してSaaSアプリケーションおよびオンプレミスアプリケーションから少量データを連携することができます。 また処理はGUI上で作成することができます。 参考: Application Integration チュートリアル データ変換: GoldenGate Stream Analytics / Streaming トランザクションや移動、センサーから発生したデータをリアルタイムで変換などの処理や分析ができます。 WebベースのUIからリアルタイムに発生するデータを処理するデータパイプラインを作成できます。 参考: Oracle GoldenGate Stream Analytics ハンズオン ストリーミング処理: Streaming / Service ConnectorHub 大量のデータ・ストリームをリアルタイムで収集および処理します。 パブリッシュ/サブスクライブ・メッセージング・モデルでデータが連続して生成され処理するユースケースで使用します。 参考: OCI Streaming を動かしてみよう
4. 4 Oracle Modern Data Platform Reference Architecture - Autonomous Data Warehouse Copyright © 2024, Oracle and/or its affiliates 7 8 9 10 11 データ前処理/変換/集計: Data Integration / SQL Code / Other Tools / Data Transforms(OCI GG) データウェアハウスに蓄積されたデータを分析しやすくするために処理します。 Data IntegrationやSQL Plus、SQL Developerなどで記述したSQL、dbtなどといった他のツールからデータ処理を行います。また業務に合わ せた目的別のデータマートも作成します。 参考: クレデンシャル・ウォレットを利用して接続してみよう 7 8 9 10 11 12 データウェアハウス: Autonomous Data Warehouse 各システムのデータを集約し、分析しやすくなるよう整理されたデータの倉庫です。 分析処理のために最適化・自動化されたクラウド・データベース・サービスです。列形式、パーティショニングなどの設定が初期設定されており、データ ウェアハウスの構築や運用を簡素化し、高いパフォーマンスで利用できます。 参考: Oracle Database編 - Autonomous Database (ADB)を使ってみよう データレイク: Object Storage さまざまなデータソースからのデータを加工せずに、元の形式のまま保管する器です。 Object Storageを利用することで、さまざまなデータをストレージの容量を気にせず低コストで蓄積することが可能です。 参考: オブジェクト・ストレージの概要 / データレイク ビッグデータ処理: Data Flow / Big Data データレイクに蓄積された大量データを処理するために、大規模並列処理を行います。 Data Flowを使うことで、Object Storageとネイティブに接続しデータを処理できます。Big Data ServiceはHadoopのクラスタからOracle SQLを使用してObject Storageのデータを処理できます。 参考: OCI Data Flow ハンズオン(初級編) / Big Data Service, Cloud SQL 概要 データカタログ: Data Catalog 組織内にあるデータ資産の整理された一覧です。 OCI Data Catalogはデータエンジニアがデータ資産を整理し、データガバナンスをサポートするのに役立つサービスです。メタデータを Autonomous Data Warehouseに同期することで外部表を手動で作成することなく参照できます。 参考: データカタログとは？なぜそれが必要なのか？ セマンティックレイヤー: Analytics Cloud Service ユーザーが一般的なビジネス用語でデータにアクセスできるように整理された抽象化レイヤーです。ビジネスの構造に従って、分析用のデータを提示 できるように設計されています。 Analytics Cloud Serviceではセマンティック・モデラーを使用してセマンティックレイヤーを構築することができます。 参考: データのモデル化 12
5. 5 Oracle Modern Data Platform Reference Architecture - Autonomous Data Warehouse Copyright © 2024, Oracle and/or its affiliates 13 14 15 16 17 定型分析/レポーティング: Analytics Cloud Service ある程度決まった形に合わせてデータを可視化またはレポーティングの形式でKPIやモニタリングに必要な指標を出力します。 Analytics Cloud Serviceのダッシュボードおよびレポーティング機能を使用することで定型分析およびレポーティングを行うことができます。 参考: レポートおよびダッシュボードの作成 13 14 15 16 17 18 セルフBI: Analytics Cloud Service エンドユーザー自身による簡単な操作でデータの準備・加工および可視化・分析を行うことができます。 Analytics Cloud Serviceのデータの準備・加工、データの可視化および拡張分析機能を使用することで、エンドユーザー自らデータ分析を行う ことができます。 参考: データのビジュアル化 データサイエンス: Data Science 数学や統計学、機械学習といった科学的な理論を用いてデータ分析や解析を行い、データからの洞察を導き出すことです。 Data Science Serviceが備えるPythonやオープンソースツールを使用して、データサイエンティストがデータ分析およびデータ解析を行うことができ ます。 参考: ノートブック・セッションを使用したモデルの作成およびトレーニング 機械学習: OML AutoML データ分析手法の一つで、自動で学習しデータから予測や判断に必要な情報を導き出す手法です。 OML AutoML ユーザー・インタフェース(UI)を使用することで、専門家以外のユーザーでも機械学習を簡単に利用できます。 参考: ADBの付属ツールで機械学習(予測モデルからデプロイまで) AI: AI / Generative AI 人間の知能や推論ををコンピュータの計算によって行わせることです。 OCIでは会話型チャットボットや画像認識、異常検出といったサービスや、推論モデルのサービスも使用することができます。 参考: Anomaly Detection ハンズオン(初級編) / OCI AI Vision ハンズオン(初級編) / 生成AIサービス グラフ/位置情報: Graph Server and Client グラフ構造を持つデータや地理空間データを管理・使用することが出来ます。 グラフデータベースや空間データベースは、Oracle DatabaseのConverged Databaseに含まれており、個別のデータベースを構築しなくてもグラ フデータや位置情報データを使用することができます。 参考: Oracleプロパティ・グラフ・スタート・ガイド / Oracle Spatial and Graphとは 18
6. 私たちのミッションは、人々が新たな方法 でデータを理解し、本質を見極め、無限 の可能性を解き放てるよう支援していくこ とです。