【Oracle GoldenGate 最新情報＆テクニカルセミナー】[Session04] Data Transforms & OCI Data Integration概要

2024年7月2日(火)に開催された「Oracle GoldenGate 最新情報＆テクニカルセミナー」の公開資料です。

■セミナー情報ページ：
https://oracle.com/goto/goldengate-0702

■テクニカルホワイトペーパー：Oracle GoldenGateの優位性
https://www.oracle.com/jp/a/ocom/docs/techpaper-goldengate-advantage-july2021-ja.pdf

■テクノロジー概要：Oracle GoldenGateプラットフォームを使用した動的なデータ・ファブリックと信頼性のあるデータ・メッシュ
https://www.oracle.com/jp/a/ocom/docs/techbrief-enterprisedatameshandgoldengate-ja.pdf

Transcript

1. 【Session-4】 Data Transforms&OCI Data Integration概要 2024年7月2日 日本オラクル株式会社 クラウド・エンジニアリングCOE統括 Autonomous&Analyticsソリューション部 Senior Cloud Engineer 嵐 由香 Copyright © 2024, Oracle and/or its affiliates 1 Oracle GoldenGate 最新情報＆テクニカルセミナー
2.  OCI GoldenGate Data Transformsとはどんなサービス？  もう1つのOCI ETLサービス OCI Data Integration 本セッションのアジェンダ Copyright © 2024, Oracle and/or its affiliates 2
3. フルマネージドのデータ変換、加工、統合のためのサービス 異なるシステム間のデータ移動やデータの変換をグラフィカルなUIでノーコードで設計、実行することができます。 OCI GoldenGateのデプロイメントの1つであり、フルマネージドのサービスです。 OCI GoldenGate Data Transforms 3 Copyright © 2024, Oracle and/or its affiliates
4. 使いやすさ、シンプルさを重視 Data TransformsはOracle Data Integratorの進化の1形態 4 ADBユーザー利用 （フルマネージド） 非ADBユーザーで利用 同じGGサービスとの連携 （フルマネージド） OCIデータベースの ロードのみで利用 （ユーザ管理） 参考:最適なデータ統合ツールの選択 – Data Transforms or Oracle Data Integrator 既存ODIをそのまま利用 Copyright © 2024, Oracle and/or its affiliates
5. ELTアーキテクチャと最新クラウドテクノロジの利用 最新のクラウド・テクノロジを使用してデータを大規模に変換するた めの最新で柔軟なELTアーキテクチャ • 高スループットのデータ処理では、Autonomous Databasesの自動スケーリングを含む柔軟なクラウド・リソー スを活用 • 大量のデータ量を処理するように設計されたスケーラブル・ アーキテクチャ • データの変換に使用される時間とリソースが少ないコスト効率 が高いソリューション 高いパフォーマンス 5 Data Transforms Architecture “E-L-T” Transform Transform Extract Load Conventional ETL Architecture Transform Extract Load Copyright © 2024, Oracle and/or its affiliates
6. プリインストールされた数多くのコネクタ 広範な接続性 クラウド・データウェアハウス NoSQL エンタープライズ・アプリケーション アプリケーション リレーショナル・データベース クラウド・ストレージとビッグ・データ OCIオブジェクト・ストレージ OCI GoldenGate Data Transforms すべてのコネクタの完全な リストは、ドキュメントを参 照してください Documetntaton: Supported Connection Types 6 Copyright © 2024, Oracle and/or its affiliates
7. クラウド・テクノロジの活用 フルマネージドのCloud Data Pipelinesサービス • Terraformの自動化によるセルフサービス・デプロイメント作成 • 自動パッチとアップグレードによる管理の簡素化 • 99.95%の可用性SLAを備えた組み込みのディザスタ・リカバリ 使いやすく効率的 • 100以上のデータ・ソースへの即時利用可能な接続 • インストールするドライバやライブラリがない • 自動OCIネットワーキング構成 • 自動スケーリングによる最適なパフォーマンス(最大3倍) OCI管理エコシステムとの統合 • OCIネットワーキング • OCIロギング • OCIモニタリング(アラーム用) • OCI検索 コストと運用オーバーヘッドの削減 7 Copyright © 2024, Oracle and/or its affiliates
8. 主な利用ステップ Data Transformsを利用するための準備 - OCIコンソールから実施 1. Data Transformsデプロイメントの作成 2. 接続の作成と割り当て 3. Data Transformsコンソールへのログイン Data Transformsでの操作 - Data Transformsコンソールから実施 1. Connectonsを作成 2. Data Entitiesを検出 3. Projectsを作成 4. Data Load/Data Flow/Work Flowを作成し、実行 5. Jobsで実行結果を確認 6. Schedulesで定期実行を設定 OCI GoldenGate Data Transformsの操作プロセス 8 Copyright © 2024, Oracle and/or its affiliates
9. 主な利用ステップ Data Transformsを利用するための準備 - OCIコンソールから実施 1. Data Transformsデプロイメントの作成 2. 接続の作成と割り当て 3. Data Transformsコンソールへのログイン Data Transformsでの操作 - Data Transformsコンソールから実施 1. Connectonsを作成 2. Data Entitiesを検出 3. Projectsを作成 4. Data Load/Data Flow/Work Flowを作成し、実行 5. Jobsで実行結果を確認 6. Schedulesで定期実行を設定 OCI GoldenGate Data Transformsの操作プロセス 9 Copyright © 2024, Oracle and/or its affiliates
10. Data Transformsデプロイメントの作成 Data Transforms利用のための準備 10 Copyright © 2024, Oracle and/or its affiliates
11. 接続とデプロイメントへの割り当て Data Transforms利用のための準備 11 Copyright © 2024, Oracle and/or its affiliates
12. デプロイメント管理画面とData Transformsコンソールへのログイン Data Transforms利用のための準備 12 Data Transformsコンソールのログイン Copyright © 2024, Oracle and/or its affiliates
13. 主な利用ステップ Data Transformsを利用するための準備 - OCIコンソールから実施 1. Data Transformsデプロイメントの作成 2. 接続の作成とデプロイメントの割り当て 3. Data Transformsコンソールへのログイン Data Transformsでの操作 - Data Transformsコンソールから実施 1. Connectonsを作成 2. Data Entitiesを検出 3. Projectsを作成 4. Data Load/Data Flow/Work Flowを作成し、実行 5. Jobsで実行結果を確認 6. Schedulesで定期実行を設定 OCI GoldenGate Data Transformsの操作プロセス 13 Copyright © 2024, Oracle and/or its affiliates
14. 14 Data Transformsホーム Projects プロジェクト（設計コンポーネントのコンテナ）を管理 プロジェクトの下でデータロード、データフロー、ワークフローを作成 Connections 接続（データソースに対する接続の定義）の管理 Data Entities データ・エンティティ（データソースの表やファイルのデータ構造を表形式で表したもの）の管理 Schedules データフロー、ワークフローのスケジュールの管理 Jobs データ・ロード、データ・フロー、ワークフローの実行ジョブの管理、モニタリング Copyright © 2024, Oracle and/or its affiliates
15. 接続の作成 サポートされているタイプを選択し詳細を入力 Connections 15 GoldenGateの接続 Copyright © 2024, Oracle and/or its affiliates
16. GoldenGateのExtract/Replicatプロセスの作成、起動停止、削除 Data LoadのGoldengate連携 16 Copyright © 2024, Oracle and/or its affiliates
17. ドラッグアンドドロップでできるフロー設計 Data Flow 17 データ・エンティティパネル データベース関数ツールバー デザイン・キャンバス プロパティ・パネル ステータス・パネル Copyright © 2024, Oracle and/or its affiliates
18. データベース関数ツールバー カテゴリ 関数 Data Transformation Aggregate、Expression、Filter、Join、Distinct、Lookup、Set、Sort、Subquery Filter、Table Function Data Preparation Data Cleanse、Substitution、Equi_Width Binning、Quantile Binning、Lead、Lag、 Replace Machine Learning Prediction、Outlier Detection Text REGEXP COUNT、REGEXP INSTR、REGEXP SUBSTR、REGEXP REPLACE、Edit Distance Simirarity、Contains Oracle Spatial and Graph Buffer Dim、Buffer Tol、Distnace Dim、Distance Tol、Nearest、Simplify、Point、 Geocode Tools*（Geocode As Geometry、Geocode、Geocode All、Geocode Addr All、Reverse Geocode、Geocode Clouds）、Spatial Join Data Flow 18 *環境によって利用不可あり Copyright © 2024, Oracle and/or its affiliates
19. ジョブの実行結果と詳細 Jobs 19 Copyright © 2024, Oracle and/or its affiliates ジョブ名をクリックするとステップの詳細が 確認可能 ！ をクリックし情報を確認
20. Data Flows、Data Loads、Workflowsのオーケストレーション Workflows 20 SQL演算子で SQLやPL/SQLの組み込み可能 Copyright © 2024, Oracle and/or its affiliates
21. 柔軟なスケジュール設定 Frequency（頻度）は次から選択 • On startup • Simple • Daily • Weekly • Monthly（day of the month) • Monthly (week day) • Yearly Active for Periodで特定期間の選択も可 作成済みスケジュールはDisableにすることでInactiveにする ことが可能 Schedules 21 Copyright © 2024, Oracle and/or its affiliates
22. 主なユースケース 分析とレイクハウスのクラウド・データ・パイプライン • 大規模なデータをデータウェアハウス、レイクハウス、または データレイクに移動して分析 • 100以上のデータストア、メッセージング、アプリケーション、 生産性サービスに接続 • GoldenGateとシームレスに統合し、リアルタイム・データを 処理 インフラストラクチャの最新化 • Oracle Cloud Infrastructureで、コスト効率が高く、管理 しやすい最新のクラウド・データ管理プラットフォームにデー タを移行 • 進行中のデータ同期のための初期ロードおよびデータ・レプ リケーションにデータ変換を使用 OCI GoldenGate Data Transforms 3rd OCI GoldenGate OCIオブジェクト・ストレージ OCI GoldenGate 22 Copyright © 2024, Oracle and/or its affiliates
23.  OCI GoldenGate Data Transformsとはどんなサービス？  もう1つのOCI ETLサービス OCI Data Integration 本セッションのアジェンダ Copyright © 2024, Oracle and/or its affiliates 23
24. Oracle が提供する包括的な Cloud Data Platform ソリューション OCI Data Platformサービス全体像 24 Storage OCI Core Infrastructure Compute/ GPU Database Networking OCI Data Platform Services メタデータ管理 収集 蓄積/管理 提供 可視化/分析/データサイエンス Container Instance Data Catalog Data Integration GoldenGate GoldenGate Stream Analytics Streaming Object Storage ADW/ATP Exadata Database MySQL Heatwave Big Data Data Flow ADW/ATP Exadata Database MySQL Heatwave Big Data Data Flow Analytics Artificial Intelligence Data Science Cloud SQL Oracle Machine Learning/ AutoML Copyright © 2024, Oracle and/or its affiliates
25. GUIベースのクラウドETLサービス • OCI Data Integration は、様々なデータ変換処理を行うためのETL機能と、コーディング無しで設計するグラフィ カルなインタフェースを提供します • OCI Data Integration により、簡単にデータの準備、統合、ロードを行うことが可能です。 OCI Data Integration 25 Copyright © 2024, Oracle and/or its affiliates
26. OCI Data Integration 主な特長 26 Broad Connectivity • SaaSアプリケーション • 異種クラウド・データベース • データ・レイク • オンプレミス・ソース • ビッグ・データ エンタープライズ・クラス • ETL演算子の幅広さ • データ探索 • 統合されたデータ品質とプロファイリング • ライフサイクル管理 • 再利用可能なテンプレートとデータフロー • データ・フローの検証 セキュアでコンプライアンスに準拠 • 認証および認可のためのOCI IAMとの統合 • OCI Vaultを使用して、パスワードやウォレッ ト・ファイルなどの機密情報を格納および暗 号化 • 規制コンプライアンス: FedRAMP High、 HIPAA、HITRUST CSF、PCI DSS、 SOC1、2 &3、その他多数 自動化とイノベーション • ETLまたはE-LTメソッドの自動選択 • スキーマ・ドリフトの自動保護 • E-LTのプッシュダウンにより、データ・ソースのパ フォーマンスの低下を排除 完全なマネージド • クラウド・ネイティブでサーバーレス • 使いやすいグラフィックデザイナー • ロード前にデータフローを視覚化 • Oracle Cloud Infrastructureおよび SaaSとのネイティブ統合 業界をリードする価格/ パフォーマンス • ユースケースに基づく他のハイパースケラー (AWS、Azure)よりも最大16~232%低コ スト • OCI free tierで試用可 Copyright©2023、 Oracle and/or its affiliates. All rights reserved. Copyright © 2024, Oracle and/or its affiliates
27. アプリケーションで処理されるデータ・エンティティの系統情報の参照 生成された系統情報をData Catalogサービスで参照 以下のデータ・ソースがサポートされる • Apache Hive • Autonomous Database(ATP/ADW) • IBM DB2 • Microsoft Azure SQL Database • My SQL • Oracle Database • Oracle Object Storage • PostgreSQL OCI Data Catalogと連携したデータ系統の生成 27 Documentation:Data Lineage Overview OCIDI側の設定はチェックだけ Data Catalogでオブジェクト情報、系統情報を自動取得 アプリケーションを実行 Copyright © 2024, Oracle and/or its affiliates
28. 主なユースケース OCI Data Integration 28 データサイエンスやアナリティクスに使用されるデータレイクへの大規模な データのロードと変換を効率的に行います 分析目的で使用されるDW(ADWなど)へのスケーラブルなデータロード と変換を効率的に行います Data Integration for Data Marts, Data Warehouses and Analytics Data Integration for Data Lakes & Data Science Object Store ORACLE AUTONOMOUS DATABASE OCI Data Integration ORACLE AUTONOMOUS DATABASE OCI Data Integration Object Store Copyright © 2024, Oracle and/or its affiliates
29. まとめ 29 Copyright © 2024, Oracle and/or its affiliates
30. 豊富なデータ変換、ETL/ELT機能を備えたデータパイプラインの開発・実行を実現 サービス概要/特徴 • OCI GoldenGate Data Transformsは、システム間で データを移動、変換するためのデータフローやワークフローなど を設計する各種機能やスケジュール実行などの機能を提供 します • OCI GoldenGate Data Transformsを使用すると、分 析、データ・サイエンス、およびデータレイクハウス・プロジェクト 用のデータ・パイプラインを構築することが可能です • OCI GoldenGateの他のデプロイメント(Data Replication, Stream Analytics)と組み合わせることで、 様々なデータ連携の要件をサポートします こんな課題に役立ちます • データレイクハウスや大規模データウェアハウスへのELT/ETL 処理を実現したい • 様々なデータソースからデータをロード、変換するパイプライン を構成したい • GUIベースでのデータ変換処理を設計・実行したい • Change Data Captureの機能(Data Replication)と 連携してリアルタイム・データ・パイプラインを構成したい サービス価格 • Oracle Cloud Infrastructure - GoldenGate: ¥188.174 [OCPU/時間] ※OCI GoldenGateのデプロイメントとして稼動するためサービス価格はOCI GoldenGateの価格となります。サイジングの目安などについては製品ドキュメン トを参照してください。 Oracle Cloud Infrastructure - GoldenGate Data Transforms 30 Copyright © 2024, Oracle and/or its affiliates
31. GUIベースのクラウドETLサービス サービス概要/特徴 • OCI Data Integration は、様々なデータ変換処理を行 うためのETL機能と、コーディング無しで設計するグラフィカル なインタフェースを提供します • OCI Data Integration により、簡単にデータの準備、統 合、ロードを行うことが可能です こんな課題に役立ちます • データサイエンスやアナリティクスに使用されるデータレイクへ の大規模なデータのロードと変換を効率的に実行したい • 分析目的で使用されるDW(自律型データウェアハウスなど) へのスケーラブルなデータロードと変換を効率的に実行した い サービス価格 • Oracle Cloud Infrastructure - Data Integration - Workspace(ETL開発時): ¥22.4 [Workspace Usage Per Hour] • Oracle Cloud Infrastructure - Data Integration(ETL実 行時): ¥5.6 [Gigabyte of Data Processed Per Hour] • Oracle Cloud Infrastructure - Data Integration - Pipeline Operator Execution(Pipeline/Schedule実行時): ¥42.0 [Execution Hour] Oracle Cloud Infrastructure - Data Integration 31 * 2023年7月現在 Copyright © 2024, Oracle and/or its affiliates
32. OCI GoldenGate Data Transforms 参考資料 32 Oracle Cloud Infrasturctureドキュメント： • https://docs.oracle.com/ja-jp/iaas/goldengate/doc/transform-data.html blog（英語） • https://blogs.oracle.com/dataintegration/search.html?contentType=Blog- Post&default=oci%20goldengate%20getting%20started%20data%20transforms チュートリアル（Quickstart） • https://docs.oracle.com/en/cloud/paas/goldengate-service/dtqdz/#articletitle ワークショップ（Livelabs） • https://apexapps.oracle.com/pls/apex/r/dbpm/livelabs/view-workshop?wid=3916 • Livelabsの紹介：https://oracle-japan.github.io/ocitutorials/database/adb103-livelabs/ Copyright © 2024, Oracle and/or its affiliates
33. OCI Data Integration OCI Data Integrationホームページ（事例）： • https://www.oracle.com/jp/integration/data-integration/ Oracle Cloud Infrasturctureドキュメント： • https://docs.oracle.com/ja-jp/iaas/data-integration/home.htm 公開スライド資料： • 概要：https://speakerdeck.com/oracle4engineer/oci-data-integration-overview-2022nian-5yue-ban • 技術資料：https://speakerdeck.com/oracle4engineer/ocidi-technical-jp チュートリアル（日本語） • https://oracle-japan.github.io/ocitutorials/intermediates/ocidi-tutorials/ ワークショップ（Livelabs） • https://apexapps.oracle.com/pls/apex/dbpm/r/livelabs/view-workshop?wid=859 • Livelabsの紹介：https://oracle-japan.github.io/ocitutorials/database/adb103-livelabs/ 参考資料 33 Copyright © 2024, Oracle and/or its affiliates