[HeatWavejp Meetup #06] リアルタイムデータレプリケーション、分析を可能にするフルマネージド型Oracle GoldenGateのご紹介 [山田 恭平 氏(日本オラクル)]

HeatWavejp Meetup #06「MySQL HeatWave へのデータ同期はどうするの！？」（2024/02/15 開催）の講演資料です。

【講演内容】
リアルタイムデータレプリケーション、分析を可能にするフルマネージド型Oracle GoldenGateのご紹介

本セッションでは、MySQL Heatwaveを始めとする多種多様なデータベースやストリーミングデータをリアルタイムにレプリケーションすることができるOracle GoldenGateについてご紹介します。
また、Oracle GoldenGateを無償で利用可能な、フルマネージド型のデータベース移行サービスであるOCI Database Migrationについてもご紹介し、その特徴や利便性について触れていきます。

【発表者】
日本オラクル株式会社
Senior Cloud Engineer
山田 恭平 氏

【イベント情報】
HeatWavejp Meetup #06
https://heatwavejp.connpass.com/event/308061/

Transcript

1. 山田 恭平 リアルタイムデータレプリケーション、分析を可能にする フルマネージド型Oracle GoldenGateのご紹介 日本オラクル株式会社 クラウド・エンジニアリング統括 COE本部 データベース・ソリューション部 2024年 2月 15日 (HeatWavejp Meetup #06)
2. Oracle GoldenGateのご紹介 Copyright © 2024, Oracle and/or its affiliates 2 3 OCI Database Migration OCI GoldenGateを 活用したデータベース 移行サービスを紹介 2 OCI GoldenGate フル・マネージドサービス として構成・ユースケー スおよび課金など解説 1 Oracle GoldenGate OCI GoldenGateの 機能を理解するための 基本的な情報理解
3. The GoldenGate Platform 実績ある優れたソフトウェアテクノロジー 3 Copyright © 2024, Oracle and/or its affiliates 84% 1000’s # 1 of customers of Fortune 100 use GoldenGate in real-time data & Data Fabric Strategy Golden Gate Brg, San Francisco, CA, アメリカ合衆国
4. Oracle GoldenGate Platformの主な機能 GoldenGate & Stream Analytics 4 Copyright © 2024, Oracle and/or its affiliates Data Replication Data Pipelines/CTL Stream Analytics 可用性 • Oracle/Non-Oracle DB • 低ダウンタイムDB移行 トランザクション伝搬 • OLTP/Reference Data DWHへのデータロード • ほぼ影響を与えないキャプチャ • リアルタイムなステージング環境実現 Data Lake Ingest • 高性能な差分ストリーム伝搬 • イベントドリブンなデータを リアルタイム伝搬 Stream Data Preparation • Filter, Correlate, Enrichなど CTL & Data Integration • Continuous Transformation and Loading (CTL), Aggregate, Lookup, RegEx, など Analyze Data Streams • 時系列解析, 機械学習, Geo- Spatial, ML/AI Observe, Alert and Deliver • 外部データストアへのストリーム • 高度なアラート機能 No-code Development • 20以上の事前構成済機能
5. Oracle GoldenGate Platform の優位性 多くの実績、信頼性、性能 5 Copyright © 2024, Oracle and/or its affiliates 180ヶ国、8,000以上の企業が導入 (Oracle Data Integration / Data Fabric Products and Services) グローバルの決済機関が導入 (Oracle GoldenGate is backbone for banking High Availability fabric) 他に類を見ない性能とスケール (Core ETL/E-LT, Replication and Streaming is industrial strength) 世界中の金融決済業界の90％以上が GoldenGateを導入しており、 毎日30兆ドル以上の決済、為替、証券の移動 が行われています。
6. Oracle GoldenGate – 基本的な構成 • Database Server とは分けて GoldenGate Hubとして構成することが可能 • ネットワーク経由でソース、ターゲットデータベースにアクセスしデータの変更履歴を抽出/適用する 6 Copyright © 2024, Oracle and/or its affiliates Source Trail File Service Manager Administration Server GoldenGate Deployment Target
7. Oracle GoldenGate – 基本的な構成 • 変更履歴抽出/適用の流れ 7 Copyright © 2024, Oracle and/or its affiliates Source Trail File Service Manager Administration Server GoldenGate Deployment Target ① Extract が変更履歴を抽出し、 証跡ファイル(TRAIL)へWriteする ② Replicat が、証跡ファイルを読 み同じトランザクションを実行 Service Manager (OCIではコンソール)が実 行環境(デプロイメント)全体を管理 Administration Server で 各プロセスの実装・運用・監視・管理
8. オンプレミス時代のGoldenGateの特徴 8 Copyright © 2024, Oracle and/or its affiliates • 性能 • 実績 • 信頼性 メリット • ライセンスコスト • 構成の複雑性 デメリット
9. Oracle GoldenGateのご紹介 Copyright © 2024, Oracle and/or its affiliates 9 3 OCI Database Migration OCI GoldenGateを活 用したデータベース移 行サービスを紹介 2 OCI GoldenGate フル・マネージドサービス として構成・ユースケー スおよび課金など解説 1 Oracle GoldenGate OCI GoldenGateの機 能を理解するための基 本的な情報理解
10. フルマネージド型データレプリケーション(Change Data Capture)サービス サービス概要/特徴 • OCI GoldenGate は、Oracle GoldenGateを ベースとしたフルマネージド型のデータレプリケーショ ンサービスです • OCI GoldenGate は、接続対象データベースのパ フォーマンスへの影響を最小限に抑えながら、リアルタ イムの変更データをキャプチャして、OLTP、DWH、 ODS、レポート・システムなどに伝搬します こんな課題に役立ちます • 変更差分データをリアルタイムに連携させたい • オンプレミスDBのデータをクラウド上のDBにリアルタイム 連携させたい • クラウド上のDB間でリアルタイムデータ連携をしたい サービス価格(PAYG) • Oracle Cloud Infrastructure - GoldenGate ¥188.174[OCPU Per Hour] Oracle Cloud Infrastructure - GoldenGate GUIで操作する フルマネージド型 GoldenGate サービス オンプレミスと クラウドを繋ぐ リアルタイムな データ連携 マルチリージョン、 マルチクラウドでの リアルタイムな データ連携 Copyright © 2024, Oracle and/or its affiliates 10
11. Oracle Cloud Infrastructure - GoldenGate 画面イメージ 11 Copyright © 2024, Oracle and/or its affiliates [デプロイメントの作成] によりGoldenGate hubを構成 [接続の作成]で接続対象の情報を入力
12. Oracle Cloud Infrastructure - GoldenGate 画面イメージ – デプロイメントの作成 12 Copyright © 2024, Oracle and/or its affiliates
13. Oracle Cloud Infrastructure - GoldenGate 画面イメージ – デプロイメントの作成 13 Copyright © 2024, Oracle and/or its affiliates
14. Oracle Cloud Infrastructure - GoldenGate 画面イメージ – デプロイメントの作成 14 Copyright © 2024, Oracle and/or its affiliates
15. Oracle Cloud Infrastructure - GoldenGate 画面イメージ – 接続の作成 15 Copyright © 2024, Oracle and/or its affiliates
16. Oracle Cloud Infrastructure - GoldenGate 画面イメージ – GoldenGate コンソール 16 Copyright © 2024, Oracle and/or its affiliates OCIではコンソールが実行環境(デプロイメン ト)全体を管理 GoldenGateのコンソール (Administration Server) で 各プロセスの実装・運用・監視・管理
17. Oracle Cloud Infrastructure - GoldenGate 画面イメージ – GoldenGate コンソール 17 Copyright © 2024, Oracle and/or its affiliates GoldenGateのコンソール (Administration Server) で 各プロセスの実装・運用・監視・管理 OCIではコンソールが実行環境(デプロイメン ト)全体を管理
18. Oracle Cloud Infrastructure - GoldenGate 画面イメージ – データ連携プロセス 18 Copyright © 2024, Oracle and/or its affiliates TRAIL(証跡)ファイル (OCI GGではデプロイメント内に格納・管理される)
19. OCI GoldenGate の一般的なユース・ケース あらゆる環境で利用可能な信頼性の高い正確なリアルタイム・トランザクション 19 Copyright © 2024, Oracle and/or its affiliates Multi-Cloud あらゆる場所からの リアルタイム・トランザクション SaaS to OCI 業界アプリケーション データ・トランザクション Multi-Region ドメインまたはリージョン間の データ可用性 On-Premises to Cloud リアルタイムのトランザクションを クラウドへ メッセージング・プラットフォームからのリアル タイム・トランザクション データ/デルタ・レイクへの リアルタイム取込み ビッグ・データ・プラットフォームからの CDC抽出 Streaming Ingest Delta / Data Lakehouse Ingest Big Data Capture
20. DB2/z Real-time Data Events Apps DBs NoSQL & IoT DBMS Cloud Big Data NoSQL Streams Copyright © 2024, Oracle and/or its affiliates 20 OCI Streaming OCI Data Lake House 1000+ combinations of supported data platforms Stream Processing • ETL / CEP • Time Series • AI / ML • Geospatial Source Target
21. OCI GoldenGate 国内の事例について 21 Copyright © 2024, Oracle and/or its affiliates
22. OCI GoldenGate 概要と最新情報 Copyright © 2024, Oracle and/or its affiliates 22 3 OCI Database Migration OCI GoldenGateを活 用したデータベース移 行サービスを紹介 2 OCI GoldenGate フル・マネージドサービス として構成・ユースケー スおよび課金など解説 1 Oracle GoldenGate OCI GoldenGateの機 能を理解するための基 本的な情報理解
23. フルマネージド型、Oracle Cloud へのデータベース移行サービス ◼ 概要 • データベースをOracle Cloudにスムーズに移行できるようにする サービス • いくつかの簡単なステップで、移行元データベースに接続し、初期 同期から、オンラインレプリケーションを開始、ダウンタイムの少ない カットオーバーを実現 • データベース移行開始から6か月間は無償 ◼ 主な特徴 • オフライン/オンラインでの論理的移行 • スキーマ/メタデータの移行 • エンタープライズ向けの強力なオラクル・ツール(Zero Downtime Migration、GoldenGate、Data Pump)をベースとしたサービス Oracle Cloud Infrastructure – Database Migration OCI DMS Copyright © 2024, Oracle and/or its affiliates 23
24. Oracle Cloud Infrastructure – Database Migration 利用イメージ 24 Copyright © 2024, Oracle and/or its affiliates 事前準備 (DBのユーザ作成や権限設定など) ソース/ターゲットDBへの接続設定 移行タスクの作成 検証タスクの実行 移行開始 – 完了
25. Oracle Cloud Infrastructure OCI Database Migration Service - MySQL移行の新しいサポート Copyright © 2024, Oracle and/or its affiliates 25 世界最速のMySQLインフラストラクチャへの完全自動データベース移行を誰でも実行できるように 完全管理 • ネイティブOCIサービス • 自動化、使いやすい 堅牢な機能セット • ステップバイステップのフェーズ • オフライン移行 • GoldenGateを使用した オンライン(論理レプリケーション)移行 完全に無料 • これらの機能の利用可能日については、 続報をお待ちください On Premises MySQL DBs AWS Aurora MySQL DBs AWS RDS MySQL DBs Azure DB for MySQL DBs Google Cloud MySQL DBs VCN OCI Database Migration https://www.oracle.com/jp/cloud/database-migration/
26. Oracle Cloud InfrastructureのGoldenGateの特徴 26 Copyright © 2024, Oracle and/or its affiliates • 性能 • 実績 • 信頼性 • ライセンスコスト • 構成の容易性 メリット • ライセンスコスト • 構成の複雑性 デメリット OCI GoldenGate/Database Migration の利用により逆にメリットへ
27. What’s next? Copyright © 2024, Oracle and/or its affiliates 27 Learn More • Service Overview Video • Take an Interactive Tour Try a hands-on guided lab • Replicate data using OCI GoldenGate • Set up bidirectional replication in OCI GoldenGate • Send data from Oracle GoldenGate to OCI GoldenGate • Send data from OCI GoldenGate to Oracle GoldenGate • Replicate data from ATP to OCI Object Storage • Replicate data from PostgreSQL to ATP • Replicate data from ATP to Azure Data Lake Storage Gen 2 • Replicate data from PostgreSQL to MySQL Run OCI GoldenGate yourself • Free Trial: https://www.oracle.com/cloud/free/ • Quickstarts: https://docs.oracle.com/en/cloud/paas/goldengate- service/tutgk/index.html#articletitle
28. Thank you 28 Copyright © 2024, Oracle and/or its affiliates
30. Our mission is to help people see data in new ways, discover insights, unlock endless possibilities. Our mission is to help people see data in new ways, discover insights, unlock endless possibilities.