Oracle GoldenGate 23ai 導入Tips

Oracle GoldenGate 23ai 導入Tips 環境確認からトラブルシュートまで各フェーズで役立つ技術紹介 – 2024/09/30 版日本オラクル株式会社

以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することを確約するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリース、時期及び価格については、弊社の裁量により決定され、変更される可能性があります。 Safe harbor statement
2 Copyright © 2024, Oracle and/or its affiliates

Agenda - GoldenGate 23ai 導入Tips Copyright © 2024, Oracle and/or
its affiliates 3 3 参考情報 MOS 参考情報事例およびユースケース OCS 技術支援 2 導入Tips GoldenGate 23ai の一部の新機能について解説 1 はじめに基礎的な技術情報とオンプレミス、OCI GGの現状について

GoldenGate 23ai 導入Tips – はじめに本資料では Oracle – Oracle の常時レプリケーションを基礎構成として解説します
4 Copyright © 2024, Oracle and/or its affiliates 連携パターン Oracle から Oracle Non-Oracle (Oracle以外のRDBMSがある) RDBMS以外 (Big Data などが絡む場合) 移行か常時連携か常時連携移行案件変換の有無表構成はそのまま表構成が変わる連携対象数 1:1 1:n や n:1 連携方向単方向双方向 CDR(競合) 競合なし競合あり常時連携の要件は？ DR (RPO,RTO) Zero Downtimeメンテナンス対応性能要件(許容できる連携ラグ) 他本資料の基本的な内容として、Oracle⇨Oracle の常時レプリケーションを想定したものとしますが、以下についても参考情報として触れています。 • 双方向(CDR/ACDR) • DB以外(GG4DAA)連携例

GoldenGate 23ai 導入Tips – はじめに詳細なTips項目の紹介環境確認 •Certification Matrix /
サポートの理解 / 多彩な構成 / 異なるテクノロジー / 応用構成サイジング •データベースに関する要素 / プロセス多重化の指針 / 補足事項設定・設計 •既存データベースへの設定変更および確認 / GoldenGate の設定初期ロード (インスタンス化) •初期データロードとは / 様々な初期データロード / Instantiation CSN を使った初期データロード / 他監視・管理について •マイクロサービス・アーキテクチャにおける監視・管理 / OCI GoldenGate に関する要素トラブルシュート •GoldenGate 共通のトラブルシュート / OCI GoldenGate におけるトラブルシュート補足情報 •高可用性要件における構成 / 双方向連携 / DB以外のデータ・ソースへ連携 5 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips 詳細なTips項目の紹介環境確認 •Certification Matrix / サポートの理解 /
多彩な構成 / 異なるテクノロジー / 応用構成サイジング •データベースに関する要素 / プロセス多重化の指針 / 補足事項設定・設計 •既存データベースへの設定変更および確認 / GoldenGate の設定初期ロード (インスタンス化) •初期データロードとは / 様々な初期データロード / Instantiation CSN を使った初期データロード / 他監視・管理について •マイクロサービス・アーキテクチャにおける監視・管理 / OCI GoldenGate に関する要素トラブルシュート •GoldenGate 共通のトラブルシュート / OCI GoldenGate におけるトラブルシュート補足情報 •高可用性要件における構成 / 双方向連携 / DB以外のデータ・ソースへ連携 7 Copyright © 2024, Oracle and/or its affiliates 環境確認 • Certification Matrix - 認定構成の確認 • Recommend Patch についての情報 • Upgrade Support について • オブジェクトのサポートについての理解とCPAT • Database アセスメントサービス(社内限定) • 多彩な構成と各々の特徴 • ローカルおよびリモート構成 • 異なるバージョン間での連携 • HA構成への理解 • その他 • 設計/設定/サイジングなどに影響する要素と考慮ポイントを列挙

GoldenGate 23ai 導入Tips 環境確認 – 公開済みのオンプレミス環境・認定情報 Certification Matrix – 認定情報の開示
8 Copyright © 2024, Oracle and/or its affiliates https://www.oracle.com/integration/goldengate/certifications/ オンプレミス・ベースの情報は Excel シートによる情報公開

GoldenGate 23ai 導入Tips 環境確認 – OCI GoldenGate のサポート対象情報 Certification Matrix
– 認定情報の開示 9 Copyright © 2024, Oracle and/or its affiliates OCI GoldenGate はマニュアルの “What‘s supported” へリンク https://www.oracle.com/integration/goldengate/certifications/

GoldenGate 23ai 導入Tips 環境確認 – 推奨パッチ情報 Database への Recommend Patch
について (オンプレミス・OCI GGで共通) 10 Copyright © 2024, Oracle and/or its affiliates Oracle GoldenGate -- Oracle RDBMS Server Recommended Patches (Doc ID 1557031.1) • 11gR2 (11.2.0.3 および 11.2.0.4) Latest Oracle GoldenGate For Oracle Database & Oracle Database Patch Recommendations (Doc ID 2193391.1) • 12c 以降 Oracle GoldenGate 19cリリース以上ごとに推奨されるOracle GoldenGate (OGG)パッチをリストするとともに、推奨されるパッチとバグ修正、機能固有のオプションのバグ修正に関する情報を提示 BugFixesのほとんどは最新バージョンの一部であるため、通常、最新のデータベース・リリース更新(DBRU)および提供されているパッチを使用することを推奨する

GoldenGate 23ai 導入Tips 環境確認～対象となるデータベースの実装についてサポート可否確認 • 23ai マニュアルより •
サポートされるデータ型やファンクションの確認 • DDL / DML などの精査 • CPATの活用 Cloud Premigration Advisor Tool (CPAT) Analyzes Databases for Suitability of Cloud Migration (Doc ID 2758371.1) Migration Methods By default CPAT assumes that the migration to the cloud instance will be a logical migration done using standard Oracle Data Pump dump files (CPAT does not support physical migration checks at this time). However, if the migration will be done using Oracle Data Pump over a DBLINK or if Oracle GoldenGate will be used in addition to Oracle Data Pump, users should explicitly use the "--migrationmethod" to indicate what methods will be used to perform their migration. For example: specifying "--migrationmethod DATAPUMP_DBLINK GOLDENGATE" would result in CPAT checking for anything in the source database that can be problematic for Oracle Data Pump when used over a DBLINK or when Oracle GoldenGate is employed. ※ migrationmethod で GOLDENGATE を指定するとデータ型の不適合については検出し、レポートに含める事が可能 11 Copyright © 2024, Oracle and/or its affiliates https://docs.oracle.com/en/middleware/goldengate/core/23/coredoc/prepare-oracle- understanding-whats-supported.html#GUID-2F0178C5-B77F-4EF9-A47A-833E904D7691

GoldenGate 23ai 導入Tips 環境確認 – 選択可能なGoldenGate実行環境 (ローカル構成とHUB構成) ローカル構成 (DBと併設されるケース) •
同一ノード上だけでなく同一サイト上も含む HUB構成 (DBとは独立した実行環境) – OCI GG 12 Copyright © 2024, Oracle and/or its affiliates Source Site (Server) Source Database Target Site (Server) Target Database Dist Rec ASYNC Trail transport 実行環境 = GoldenGate Deployment Local Site (DC / Cloud Region) Source Database Target Database ASYNC SourceとTargetが同じTechnology typeで実装可能異なるTechnology typeでは Deployment が分かれる

GoldenGate 23ai 導入Tips [参考情報] 環境確認 – 多彩な構成 (異なるTechnology type) 異なるTechnology
type 連携 (DB : non-Oracle) 異なるTechnology type 連携 (Distributed Application) 13 Copyright © 2024, Oracle and/or its affiliates Source Source Database Target Target Database Dist Rec DB2/z GG for DB (non-Oracle) GG for DB (Oracle) Source Source Database Target Dist Rec GG for DB (Oracle) OCI Streaming GG for DAA (Kafka ハンドラ) GG for DAA (OCI Storage ハンドラ) OCI Object Storage Extract Rec Replicat Replicat

GoldenGate 23ai 導入Tips [参考情報] 環境確認 – 認定の差異が構成に与える影響例) Source Database
が古い場合のローカル構成 Source Database で認定されるバージョンが古くなる例) Source Database が古い場合のHUB構成 HUBの中でDeploymentが分かれる (新旧バージョンの連携が必要) 14 Copyright © 2024, Oracle and/or its affiliates Source Site (Server) Source Database Target Site (Server) Target Database ASYNC Trail transport Dist Rec Local Site (DC / Cloud Region) Source Database Target Database Dist Rec ASYNC Trail transport またはまたは

GoldenGate 23ai 導入Tips 環境確認 – 間接的な抽出環境ダウンストリーム構成について(基本) 15 Copyright ©
2024, Oracle and/or its affiliates https://docs.oracle.com/en/middleware/goldengate/core/23/coredoc/extract-downstream-extract.html#GUID-34ACFCA0-17AF-49BA-95D5-883EDBC00C99 上記の図では、CDBNORTH が Source Database 、 CDBSOUTH が Target Database となる。 Source と Target の間に、Downstream (Mining) Database サーバかあり、その Log Mining Server を使用して変更を抽出する。 Source Database への負荷を極小化する事ができるが、Enterprise Edition である必要がある。また、Mining Database のライセンスが発生する事にも注意が必要である。 Downstream (Mining) Server 注意： GoldenGate 19cまでは、外部サーバ構成としてADGスタンバイから Classic Capture で抽出する構成が非推奨ながらも出来ましたが、統合キャプチャに一元化されたので、技術的にもできなくなりました。ご注意下さい。

GoldenGate 23ai 導入Tips 環境確認 – Oracle MAA と GoldenGate 連携について
高可用性要件における通常(ローカル)構成 https://docs.oracle.com/en/database/oracle/oracle-database/23/haovw/ogg- microservices-cloud1.html#GUID-ADF0293B-DD0F-43AC-8DD9-13340B318DF7 高可用性要件におけるHUB構成 16 Copyright © 2024, Oracle and/or its affiliates Exadata の外でGoldenGate 環境を作る HUB 構成となる --- この構成においてファイルシステムの連携を ACFS / ACFS replication で実現する Exadata に GoldenGate ソフトウェアを導入し、処理を継続できるように構成する --- ファイルシステムの共有は DBFS か ACFS

高可用性要件における通常(ローカル)構成：正常系 GoldenGate 23ai 導入Tips 環境確認 – Oracle MAA と GoldenGate
業務継続の例ローカル構成でADGのF/Oが発生した後の構成例 17 Copyright © 2024, Oracle and/or its affiliates 正常系：サイト内をADG、サイト間を GoldenGate で構成する ⇨ MAA Platinum 構成 GG GG GG GG Primary Site (DB) 障害：サイト内でADGによるF/Oで業務継続し、GGの連携も連動して引き継ぐ構成 Application 切換え発生 Application 通常の処理

多彩な構成 / 異なるテクノロジー / 応用構成サイジング •データベースに関する要素 / プロセス多重化の指針 / 補足事項設定・設計 •既存データベースへの設定変更および確認 / GoldenGate の設定初期ロード (インスタンス化) •初期データロードとは / 様々な初期データロード / Instantiation CSN を使った初期データロード / 他監視・管理について •マイクロサービス・アーキテクチャにおける監視・管理 / OCI GoldenGate に関する要素トラブルシュート •GoldenGate 共通のトラブルシュート / OCI GoldenGate におけるトラブルシュート補足情報 •高可用性要件における構成 / 双方向連携 / DB以外のデータ・ソースへ連携 18 Copyright © 2024, Oracle and/or its affiliates サイジング • はじめに～設計段階のタスクと体制 • サイジング指針 • 一般的な進め方を踏まえた精査ポイント • GoldenGateの各プロセスに影響する要素 • サイジング観点でのプロセス並列化と留意点 • トランザクションの精査 • OLTP / DSS / ロングトランザクション • 証跡ファイルの保持要件 • Extractのメモリに対する留意点 • 統合プロセスとSGAリソース • 統合Extractの詳細

GoldenGate 23ai 導入Tips – サイジングはじめに～設計段階のタスクと体制設計段階のタスクと体制 • 構成の決定と事前情報収集および実装
/ 役割の明確化 19 Copyright © 2024, Oracle and/or its affiliates (A) 連携目的・ゴールデータ活用 / 処理 Offload / DR / 移行 (B) 業務継続環境構築時に許容される停止時間既存環境への変更・追加設定の可否サービス継続と切替え (C) 現行環境の調査要件(機能・性能) の確認現行への影響 / 連携における性能ツールの選定と実現性(データ変換) (D) 実装されるレプリケーション環境 PoC / プロトタイプ・動作検証監視・管理・運用連携状態の確認計画停止・計画外停止への対処上記を考慮したサイジングが必要になります (A) (B) (C) (D)

GoldenGate 23ai 導入Tips – サイジングサイジング指針と一般的な進め方前提条件： • ソース側は既存のDBサーバーにGoldenGateを導入 •
ネットワークは既存のものを使用 • ターゲット側はDBサーバーを新規構築 → REDO生成量を使用してラフなサイジングを実施 • 現行のAWRレポートや将来予測値から基準となるREDO生成量を想定 • AWRレポートはデータの取得頻度やピーク、オフピークを意識する • 伝播対象は全ての表か、一部の表かも考慮する 20 Copyright © 2024, Oracle and/or its affiliates •REDO生成量 •要件 (性能/可用性/伝播件） •現環境情報設定・設計（仮） POC (推奨) 設定・設計（再）構築・検証設定・設計（本）導入・稼働 Source側の通常負荷やN/Wコンディションなど変動要素を加味する必要がある適用(Replicat)側では変更処理の有無や伝播対象 (Target)の処理能力・チューニングも大きく影響するピーク? 平均? ① REDO生成量全てが伝播対象か? (+ 安全係数?) ② 全体の流れ(イメージ)

GoldenGate 23ai 導入Tips – サイジングサイジング指針と一般的な進め方を踏まえた精査ポイント GoldenGate によるレプケーションで費やすリソースと考慮について～ RPO/RTO
や常時連携で許容される連携ラグ要件にも影響を受ける 21 Copyright © 2024, Oracle and/or its affiliates • REDO生成量増加 - Archive Log 運用影響 - Force Logging - サプリメタル・ロギング影響 • GGデプロイメントのリソース消費 - スループットと CPU, RAM • Trail File の保持領域 - 生成量と保持期間 • Trail File 転送の負荷 • 使用可能なN/Wリソース(帯域・距離) • 暗号化/圧縮の有無 • GGデプロイメントのリソース消費 - スループットと CPU, RAM • Target DB側の処理能力 • Trail File の保持領域 - 生成量と保持期間 • レプリケーションの可用性要件

GoldenGate 23ai 導入Tips – サイジングサイジング指針と一般的な進め方を踏まえた精査ポイント • 業務以外でREDO生成量が増加するポイント 1. Logging
設定 • Nologging 設定の処理をGoldenGateで伝播するにはLogging への変更が必要 • 影響はワークロードに依存するため、環境固有の確認が必要 • まずは Nologging処理の有無を確認 2. データベースに対する最小のサプリメンタル・ロギング 3. サプリメンタル・ロギング • データレプリケーションに必要な情報をREDOログに付加 • キー制約(PK/UK/Unique Index)列または論理キー列値をログに常に付加 • 10%未満の増量になることがほとんどだが、キー列のない表は増分に注意 • アーカイブ保存領域の容量がギリギリの場合は拡張または一時退避先の検討が必要 • Trail File 保持容量に関する考慮 Trailファイルは以下のタイミングで新規ファイルを生成しながら蓄積される • 上限サイズ500MB(デフォルト/変更可) • プロセス再起動製品機能により、送信が完了したTrailファイルは自動削除可能 • 正常稼働時は大量データは蓄積されないサイジングは想定障害復旧時間からの見積もりが基本 • ローカルTrail : ネットワーク障害の想定復旧時間 • リモートTrail : ターゲットDBの想定復旧時間 • さらに小さくすることも可能だが、手作業が増えるサイズ試算例 • 全テーブル伝播想定REDO生成量 × 1.1(サプリメンタル・ロギング増分) × 0.4 × 想定復旧時間 • 必要に応じて余裕率かける 22 Copyright © 2024, Oracle and/or its affiliates ※本スライドの情報は実績に基づく傾向ですが、全ての環境で保証するものではありません

GoldenGate 23ai 導入Tips – サイジングサイジング指針～ GoldenGateの各プロセスに影響する要素 • Extract
(Capture / Distribution ) プロセススループット単一CaptureプロセスでREDO50～80MB程度の処理量が見込める (CPU性能を含むリソースに依存するため参考値) Distribution は Capture以上のスループットを実現可能 CPU 単一Captureプロセスで最大1 CPUコア程度のリソース消費は考慮に入れる Oracleのバックグランドプロセス稼働による+αを考慮 (Log Mining Server) DistributionのCPU消費はCaptureに比べ大幅に小さいメモリ Captureのメモリ消費はオープントランザクション量に依存するため見積もりは困難だが、制御は可能 • データローディングや洗い替えなどでラージトランザクションがある場合は、基準とする • CaptureはOSに対して仮想メモリをリクエスト（物理メモリを直接要求しない） • Capture側の設定で仮想メモリリクエストの敷居値を設け、内部ページングさせることも可能 Oracleインスタンスに Mining DB用のメモリ領域 (streams_pool_size) の確保が必要 Distributionのメモリ消費はCaptureに比べ大幅に小さい 23 Copyright © 2024, Oracle and/or its affiliates ※本スライドの情報は実績に基づく傾向ですが、全ての環境で保証するものではありません

GoldenGate 23ai 導入Tips – サイジング【参考資料】 Extract プロセスのメモリ消費について未コミットの処理が多い、想定したサイジング以上にトランザクションが多い場合には注意が必要 24
Copyright © 2024, Oracle and/or its affiliates オンデマンドで割り当てられる DIMM SWAP OS仮想メモリ空間 CACHESIZE CACHESIZEMAX (CACHESIZEの2倍弱程度) キャッシュ（管理仮想メモリー・プール） Tx1 Tx2 Tx3 Tx4 Txn CACHEDIRECTORY • CACHESIZE/CACHESIZEMAXを超えると、ディスクに書き出す (ページング） • ページング動作は、各閾値を利用して2段階で行われる（ページングのデフォルトは <deployment>/var/tmp/ ) 未コミットのトランザクションサイズ https://docs.oracle.com/en/middleware/goldengate/core/23/reference/cachemgr.html#GU ID-B910F3D9-E41C-4335-AC0A-442435481A19 CACHESIZE設定はページングファイルサイズと密接なので、ローカルのファイルシステム領域・性能への影響も考慮すること

GoldenGate 23ai 導入Tips – サイジングサイジング指針～ GoldenGateの各プロセスに影響する要素 • ネットワーク
Trailファイルの生成量をベースに帯域におさまるか確認試算例：REDO生成量 × 1.1(サプリメンタル・ロギング増分を10%と仮定) × 0.4 必要に応じて余裕率かけるサプリメンタル・ロギング増分は、ユニークなKeyが無い場合は全カラムが対象となるので大幅に増える可能性を考慮すること帯域に収まらない場合は転送圧縮機能の使用を検討ラフな見積もり： Trailファイルをgzipで圧縮圧縮機能を使用するとData PumpのCPU消費が向上 <参考情報> HUB構成等による Remote Capture の場合は、通常のローカル構成より遅延が起きやすい事に注意また、ローカルサイトおよびHUB構成においてはDatabaseまでの距離による影響も考慮 25 Copyright © 2024, Oracle and/or its affiliates ※本スライドの情報は実績に基づく傾向ですが、全ての環境で保証するものではありません表に対してユニークなキーが存在していることを前提として 10%増と仮置き

GoldenGate 23ai 導入Tips – サイジングサイジング指針～ GoldenGateの各プロセスに影響する要素 • Replicat
プロセススループット非統合のReplicat 1プロセスでREDO生成量換算で 30MB/s程度の処理を見込める (あくまで参考値) Replicat プロセスを多重化することでワークロードを分割でき、スループット向上が可能現状 GoldenGate 23ai では、通常のOLTP系処理のレプリケーションにおいて非統合のパラレル Replicatが推奨となっている CPU/メモリターゲットDBは新規構築となるケースが多いため、細かい見積もりは行わない傾向 26 Copyright © 2024, Oracle and/or its affiliates ※本スライドの情報は実績に基づく傾向ですが、全ての環境で保証するものではありません

GoldenGate 23ai 導入Tips – サイジング GoldenGateの各プロセスに影響する要素～多重化するケース 1. 機能・構成観点のプロセス多重化
2. 性能観点でのプロセス多重化 27 Copyright © 2024, Oracle and/or its affiliates 伝播先が複数?! 特定の列データのみ?! 特定の行データのみ?! 伝播対象や変換に伴ってプロセスを分ける必要がある場合などプロセスの多重化により処理性能向上を目指すスキーマ単位で1プロセス表単位で1プロセス何れもプロセスを増やす分のリソースを考慮する (CPU/RAM/NW) Distribution Distribution Distribution

GoldenGate 23ai 導入Tips – サイジングサイジング指針～トランザクションの精査レプリケーションに影響を与える一般的なトランザクションの例 28 Copyright
© 2024, Oracle and/or its affiliates トランザクション留意点 1 OLTP データの更新量を元にサイジング (Oracle であれば REDO生成量) 許容される連携ラグを考慮した上で、判断基準をREDO生成のピーク、あるいは平均値から判断し、プロセスの数を決定し、それに応じたリソースを確保する 2 OLTP + データ変換など GoldenGateにおける変換処理は、列ファンクションを使用したものや SQLEXECでプロシージャを呼び出すものなど様々なケースが考えられるので PoCは必須 TABLE/MAPで使用される SQLEXECでは、特に実データおよび実トランザクション量に近い環境でPoCを実施する事を推奨 3 バッチ処理夜間バッチなどで実施される大量データの挿入や更新、集計表の再作成などを想定しているバッチ・ウィンドウ内で完了すべく、コミット頻度を低くしたケースでは連携ラグが発生し易い事に注意すべきまた、未コミットの処理が多いと仮想メモリ(CACHEMGR)の使用領域が増えるため、ディスクの領域確保にも注意が必要可能であれば、コミット頻度の見直しも検討して欲しい 4 ロング・トランザクション 1つのトランザクションの実行時間が長くかかるものこの場合、3と同様に仮想メモリ(CACHEMGR)に関する注意点と、抽出処理されていない Archive Log ファイルの削除ができず、領域がひっ迫する可能性がある事を意識する 3 および 4について Bounded Recovery (BR)機能の実装について確認 (https://docs.oracle.com/en/middleware/goldengate/core/23/reference/br.html#GUID-D6BBBB23-9CE3-4FFE-9503-503F05E6FE85)

GoldenGate 23ai 導入Tips – サイジングサイジング指針～ GoldenGateの各プロセスに影響する要素 • Trail
File (証跡ファイル) の保持要件 Trailファイルは以下のタイミングで新規ファイルを生成しながら蓄積される上限サイズ500MB(デフォルト/変更可) - 変更しした場合はプロセス再起動が必要製品機能により、処理(送信)が完了したTrailファイルは自動削除可能正常稼働時は大量データは蓄積されないサイジングは想定障害復旧時間からの見積もりが基本ローカルTrail : ネットワーク障害の想定復旧時間リモートTrail : ターゲットDBの想定復旧時間さらに小さくすることも可能だが、手作業が増えるサイズ試算例全テーブル伝播想定REDO生成量 × 1.1(サプリメンタル・ロギング増分) × 0.4 × 想定復旧時間必要に応じて余裕率かけるサプリメンタル・ロギング増分は、ユニークなKeyが無い場合は全カラムが対象となるので大幅に増える可能性を考慮すること 29 Copyright © 2024, Oracle and/or its affiliates ※本スライドの情報は実績に基づく傾向ですが、全ての環境で保証するものではありません参考情報：現環境のアーカイブからTrailを生成する方法 How to Setup extract in-house to Process Customer's Archived Logs (Doc ID 1205843.1) • Trail File を失っても Archive Log から再生成可能 • 一般的には Trail File と Archive Log の重複保持は不要表に対してユニークなキーが存在していることを前提として 10%増と仮置き

GoldenGate 23ai 導入Tips [参考情報] 統合(Integrated) Extract の Deep Diveより統合(Integrated)
Extract 30 Copyright © 2024, Oracle and/or its affiliates Reader Prepare Prepare Prepare Builder Capture Integrated Log Mining Server Log Mining Server 複数のOracleバックグランドプロセス Streams Pool を使用 • Reader: REDOを読み取り、複数に分割 • Preparer: 分割されたREDOをスキャンとパラメータファイルに基く事前フィルタリングを行う • Builder: Prepare によって処理されたレコードをSCN順に統合 • Capture: Logical Change Records(LCRs)の形式に変換し GoldenGateプロセスに転送 • LogMining ServerからLCRを取得 • マッピングや変換処理を行う ▪ Trailファイルに書き込む

GoldenGate 23ai 導入Tips – サイジング [参考情報] パラレル適用プロセス – Parallel Replicat
について non-Integrated Parallel Replicat (非統合パラレル) 1つのReplicat構成内で、複数のインバウンド・サーバー子プロセス(適用サーバーと呼ばれる)は、元のトランザクションの一貫性を維持しながら、トランザクションをパラレルに適用する事ができる。 ※ パラメータに依存してコンピュート・リソースを消費する事を考慮 Mapper: レイルファイルとマップレコードを読み取り、マップされたレコードをマスターに転送 Master (thread-based) : Collater と Scheduler の 2 つのスレッドから構成される • Collater Mapperの管理と通信を行うとともに、マップされたトランザクションを受信し、それらを1つの順序どおりのストリームに並べ替える • Scheduler アプライヤの管理と通信を行うとともに、コラタからのトランザクションの読み取り、バッチ処理、およびアプライヤへのスケジューリングを行う Applier: ターゲットデータベースに適用を実行パラメータの詳細は以下を参照 https://docs.oracle.com/en/middleware/goldengate/core/23/coredoc/replica t-parallel-replicat.html#GUID-F1CD8E03-8DA1-4A78-95D3-C0516F1DA09A 31 Copyright © 2024, Oracle and/or its affiliates (サンプル) 以下がデフォルト値: MAP_PARALLELISM 2 APPLY_PARALLELISM 4

多彩な構成 / 異なるテクノロジー / 応用構成サイジング •データベースに関する要素 / プロセス多重化の指針 / 補足事項設定・設計 •既存データベースへの設定変更および確認 / GoldenGate の設定初期ロード (インスタンス化) •初期データロードとは / 様々な初期データロード / Instantiation CSN を使った初期データロード / 他監視・管理について •マイクロサービス・アーキテクチャにおける監視・管理 / OCI GoldenGate に関する要素トラブルシュート •GoldenGate 共通のトラブルシュート / OCI GoldenGate におけるトラブルシュート補足情報 •高可用性要件における構成 / 双方向連携 / DB以外のデータ・ソースへ連携 32 Copyright © 2024, Oracle and/or its affiliates 設計・設定 • Database の設計・設定 • 初期化パラメータとキャプチャ対象の基礎 • ロギングの必要性とその影響 • TRANDATA 補足情報 • ユニークなKeyの必要性と効果 • 統合キャプチャとプロセスの登録/再登録 • 統合プロセスの監視や評価 / AWR とヘルスチェック • GoldenGate の設計・設定 • 標準的な構成・設定例 • SUPPRESSTRIGGERS (Replicat) • 各種ファンクション (列・行・SQLEXECなど) • イベントマーカ • Trail File の暗号化と圧縮 • [植田さんコンテンツ] – Trail の自動パージタスク

GoldenGate 23ai 導入Tips – 設計・設定 Database の設計・設定 Oracle Database の技術的な要件
(認定構成である事の確認と必須および推奨パッチの適用) • 初期化パラメータ enable_goldengate_replication を TRUE に設定 • Source Database (CDB) のアーカイブ・ログ・モード運用が必須 ⇨ 環境確認を参照主なロギング・プロパティの構成について 33 Copyright © 2024, Oracle and/or its affiliates ロギング・オプションコマンド処理内容ユースケースデータベースへの最小サプリメンタル・ロギング ALTER DATABASE ADD SUPPLEMENTAL LOG DATA 行連鎖情報をREDOログに追加 (Database 23ai からは PDB単位で設定が可能になった ⇨ MOS 3045271.1 ) 必須強制ロギング・モード ALTER DATABASE FORCE LOGGING; すべてのトランザクションおよびロードのロギングを強制強く推奨スキーマ・レベルのサプリメンタル・ロギング ADD SCHEMATRANDATA (Service Manager – DB接続より操作可能) 主キー、一意キー、外部キー等のサプリメンタル・ロギングの有効化 ⇨ Oracle 推奨スキーマが将来作成する表も含む表レベルのサプリメンタル・ロギング ADD TRANDATA (Service Manager – DB接続より操作可能) 対象表の主キー、一意キー、外部キー等のサプリメンタル・ロギングの有効化スキーマが将来作成する表は含まれない詳細については以下を参照 https://docs.oracle.com/en/middleware/goldengate/core/23/coredoc/prepare-transaction-logs-settings-and-requirements-ogg- oracle.html#GUID-5AE33689-FB01-4499-B678-5D5731F39C3B

GoldenGate 23ai 導入Tips – 設計・設定 Database の設計・設定 34 Copyright ©
2024, Oracle and/or its affiliates ロギング・オプションコマンドデータベースへの最小サプリメンタル・ロギング ALTER DATABASE ADD SUPPLEMENTAL LOG DATA 強制ロギング・モード ALTER DATABASE FORCE LOGGING; スキーマ・レベルのサプリメンタル・ロギング ADD SCHEMATRANDATA (Admin Service – DB接続より操作可能) 表レベルのサプリメンタル・ロギング ADD TRANDATA (Admin Service – DB接続より操作可能) DBAとして実行管理サービス(Admin Service) DB 接続 ⇨ TRANDATA情報 + から設定可能推奨はスキーマ・レベル

GoldenGate 23ai 導入Tips – 設計・設定【補足情報】表レベルのサプリメンタル・ロギング(ADD TRANDATA)について ADD TRANDATA
の確認 • INFO TRANDATA スキーマ.オブジェクト名 AdminClientから実行 [oracle@ggtest bin]$ cd /u01/app/oracle/product/goldengate/23ai/bin [oracle@ggtest bin]$ ./adminclient Oracle GoldenGate Administration Client for Oracle Version 23.4.1.24.05 OGGCORE_23.4.0.0.0OGGR_LINUX.X64_240529.0500_FBO Copyright (C) 1995, 2024, Oracle and/or its affiliates. All rights reserved. Linux, x64, 64bit (optimized) on May 29 2024 09:21:59 オペレーティング・システムの文字セットはUTF-8と識別されました。 OGG (接続されていません) 1> connect http://ggtest:9001 DEPLOYMENT dep01 as ggadmin PASSWORD パスワード OGG (http://ggtest:9001 dep01) 3> DBLOGIN USERIDALIAS PDB データベースに正常にログインしました。 OGG (http://ggtest:9001 dep01 as PDB@ORCL235) 8 > INFO TRANDATA scott.EMP 表SCOTT.EMPのサプリメンタル・トランザクション・ログ・データのロギングは有効です。表SCOTT.EMPの論理レプリケーションは有効化されています。表SCOTT.EMPの列が補足的にログに記録されます: - "EMPNO" 表SCOTT.EMPの準備済CSN: 3917223 表SCOTT.EMPのJSONの部分更新が無効化されています 35 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 設計・設定【補足情報】 Database 21c から導入された LOGICAL_REPLICATION句の動作確認
Oracle Database 21cからの新機能 • 表定義にLOGICAL_REPLICATION句を含める Create table foo (pk_col number primary key, b varchar(200)) enable logical replication; これにより ADD TRANDATA する事と同等になる表を作成直後に INFO TRANDATA を実行 OGG (http://ggtest:9001 dep01 as PDB@ORCL235) 10> INFO TRANDATA scott.foo 表SCOTT.FOOのサプリメンタル・トランザクション・ログ・データのロギングは有効です。表SCOTT.FOOの論理レプリケーションは有効化されています。表SCOTT.FOOの列が補足的にログに記録されます: - "PK_COL" 表SCOTT.FOOの準備済CSN: 13780348 表SCOTT.FOOのJSONの部分更新が無効化されています 36 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 設計・設定【補足情報】 GoldenGate 21c から導入されたパラメータ： ENABLE_AUTO_CAPTURE
サプリメンタル・ロギングを使用する表の自動Extractのサポート • 論理レプリケーションが有効になっているすべての表の変更をキャプチャする • LIST TABLES AUTO_CAPTUREコマンド・オプションを使用して、自動キャプチャが有効な表をリスト可能 • 自動キャプチャを設定するには、TRANLOGOPTIONS ENABLE_AUTO_CAPTUREオプションを使用 ⇨サプリメンタル・ロギングを使用する表はExtractによって自動的にキャプチャされる ⇨表をTABLEパラメータとして追加する必要がない ※ Oracle Database 21c以上 37 Copyright © 2024, Oracle and/or its affiliates OGG (http://ggtest:9001 dep01 as PDB@ORCL235) 6> list tables scott.* AUTO_CAPTURE "SCOTT"."BONUS" "SCOTT"."DEPT" "SCOTT"."EMP" "SCOTT"."FOO" "SCOTT"."GALAXIES" "SCOTT"."SALGRADE“ リスト基準に一致する6個の表が見つかりました。

GoldenGate 23ai 導入Tips – 設計・設定【補足情報】データベース・ディクショナリの確認 • DBA_CAPTURE_PREPARED_TABLES (実行例) 38
Copyright © 2024, Oracle and/or its affiliates sys@ORCL235> select * from dba_capture_prepared_tables; TABLE_OWNER TABLE_NAME SCN TIMESTAM SUPPLEME SUPPLEME SUPPLEME SUPPLEME PARTIAL_ -------------------- -------------------- ---------- -------- -------- -------- -------- -------- -------- SCOTT BONUS 3917218 24-07-19 NO NO NO NO DISABLED SCOTT DEPT 3917220 24-07-19 NO NO NO NO DISABLED SCOTT EMP 3917223 24-07-19 NO NO NO NO DISABLED SCOTT SALGRADE 3917226 24-07-19 NO NO NO NO DISABLED SCOTT GALAXIES 3976630 24-07-22 NO NO NO NO DISABLED SCOTT GALAXIES2 4566315 24-07-25 NO NO NO NO DISABLED SCOTT FOO 13780348 24-08-20 NO NO NO NO DISABLED

GoldenGate 23ai 導入Tips – 設計・設定【補足情報】データベース・ディクショナリの確認 • DBA_OGG_AUTO_CAPTURED_TABLES (実行例) •
USER_OGG_AUTO_CAPTURED_TABLES(実行例) 39 Copyright © 2024, Oracle and/or its affiliates sys@ORCL235> select* from SYS.DBA_OGG_AUTO_CAPTURED_TABLES; OWNER NAME ALLOW_NOVALIDATE_PK -------------------- -------------------- -------------------------------- SCOTT DEPT NO SCOTT EMP NO SCOTT BONUS NO SCOTT SALGRADE NO SCOTT GALAXIES NO SCOTT FOO NO scott@PDBTK> select * from SYS.USER_OGG_AUTO_CAPTURED_TABLES; NAME ALLOW_NOVALIDATE_PK -------------------- -------------------------------- BONUS NO DEPT NO EMP NO FOO NO GALAXIES NO SALGRADE NO

GoldenGate 23ai 導入Tips – 設計・設定データベースの設計・設定ユニークなKeyの必要性と効果 • GoldenGate による論理的なレプリケーションではレコードがユニークである事が必須
➡レコードがユニークであればレプリケーションが可能になる留意点１：全てのカラム情報をREDOログに出力する必要がありSource側でREDOログ生成量が増加 • 論理的なキー列を指定する事は可能（colsオプション) 留意点２：適用先システムでは全件読込みの必要があり性能やリソースに大きく影響する 40 Copyright © 2024, Oracle and/or its affiliates Source / Target 環境において、ユニークなKeyを作成する事を推奨サイジングにも影響する要素

GoldenGate 23ai 導入Tips – 設計・設定データベースの設計・設定統合キャプチャとプロセスの登録/再登録 • DBへのプロセス登録と再登録 (AdminClientからの操作)
OGG> connect http://ホスト名:ポート DEPLOYMENT dep01 as ggadmin PASSWORD パスワード OGG> DBLOGIN USERIDALIAS PDB(エイリアス) OGG> REGISTER EXTRACT EXT01 OGG> REGISTER EXTRACT EXT01 DATABASE SHARE NONE • 再登録に関する注意点 Integrated Extract Is Mining through Old Archive Logs Even When Altering to BEGIN NOW (Doc ID 1610114.1) Extractプロセス登録時の注意～ Archive Log ファイルの削除ポリシーの変更 ⇨ 登録された Extract プロセスが処理を終えていないArchive Log ファイルは削除できないので領域管理に注意が必要 41 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 設計・設定データベースの設計・設定統合プロセスの監視や評価 / AWR •
統合プロセスのヘルスチェックツールの紹介 • Oracle GoldenGate Performance Data Gathering (Doc ID 1488668.1) • GoldenGate Integrated Capture and Integrated Replicat Healthcheck Script (Doc ID 1448324.1) • AWRから見る統合プロセス • Oracle GoldenGate Performance Data Gathering (Doc ID 1488668.1) • GoldenGate Integration with AWR (Doc ID 1596493.1) • Best Practices and Performance Tuning Recommendations for Oracle GoldenGate Integrated Replicat (Doc ID 1953623.1) ⇨ Integrated Replicat はGoldenGate 23ai から非推奨となりました (2024/05) 42 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 設計・設定 GoldenGate の設計・設定～基本的なパラメータ(サンプル) Oracle
GoldenGate Best Practices: sample parameter files (Doc ID 1321696.1) – Internal 43 Copyright © 2024, Oracle and/or its affiliates | Confidential: Internal Extract Replicat Distribution GLOBALS

GoldenGate 23ai 導入Tips – 設計・設定 MAP : SQLEXEC によるユーザ・イグジット
代表的なファンクションおよびSQLEXECについて • ルックアップ表を利用した値変換処理のサンプル • SQLEXECは便利だが、性能面には懸念もある事に注意 44 Copyright © 2024, Oracle and/or its affiliates 1 1月 2 2月 3 3月 4 4月ソース表 •追加された表に対しては処理を行わない •ルックアップ表を使用した値変換 1月 Jan 2月 Feb 3月 Mar 4月 Apr 5月 May 6月 Jun 7月 Jul 8月 Aug 9月 Sep 10月 Oct 11月 Nov 12月 Dec ルックアップ表 1 Jan 2 Feb 3 Mar 4 Apr ターゲット表

GoldenGate 23ai 導入Tips – 設計・設定 GoldenGate の設計・設定 • Replicatプロセスのパラメータ設定抜粋 (サンプル)
45 Copyright © 2024, Oracle and/or its affiliates -- scott.tab1 間でレプリケーション MAP scott.tab1, TARGET scott.tab1, -- ルックアップ表から洗い替え後のデータをピックアップする処理設定 SQLEXEC (ID LOOKUP, QUERY "SELECT NEW FROM SCOTT.MAPPING WHERE OLD = :CODE_IN_PARAM", PARAMS (CODE_IN_PARAM = COL2 )), -- ターゲット表にルックアップしたデータをマッピング -- 追加列はマッピングの対象にしない COLMAP (USEDEFAULTS, COL2 = @GETVAL(LOOKUP.NEW)); ※本スライドの情報は実績に基づくサンプルであり、全ての環境で動作保証するものではありません

GoldenGate 23ai 導入Tips – 設計・設定トリガー/参照整合性制約の対応：トリガーへの対応トリガーの有効化/無効化設定 • 非統合Replicatではデフォルトでターゲット側の伝播対象表のトリガー処理は有効化される (NOSUPPRESSTRIGGERSがデフォルトで有効となっているため)
• Replicatプロセスのパラメータファイルで、DBOPTIONパラメータのサブパラメータである SUPPRESSTRIGGERSを明示的に指定することで、ターゲット側でのトリガー処理をすべて抑止することが可能 46 Copyright © 2024, Oracle and/or its affiliates SUPRESSTRIGGERS (デフォルト) NOSUPRESSTRIGGERS 親表、子表ともに伝播することを想定親表のみ伝播することを想定 (可能であればTarget Database 側でトリガーを無効化しても良い) [親表] [子表]

GoldenGate 23ai 導入Tips – 設計・設定トリガー/参照整合性制約の対応：トリガーへの対応特定のトリガーの有効化/無効化設定 - SQLEXECパラメータの使用 Oracle
GoldenGate処理の範囲でストアド・プロシージャ、問合せまたはデータベース・コマンドを実行するパラメータ Oracle GoldenGateはデータベースと直接通信し、データベースによってサポートされている処理を実行する Replicatパラメータ・ファイル内でSQLEXEC文を記述し、DBMS_DDLパッケージのSET_TRIGGER_FIRING_PROPERTYプロシージャを実行することで特定のトリガーの有効化/無効化を行う事が可能 SQLEXECパラメータを使用してSET_TRIGGER_FIRING_PROPERTYプロシージャを使用する場合、 GoldenGate用ユーザーに対して、ExtractおよびReplicatがクラシックおよび統合モードで動作するために必要なほとんどの権限を含むdbms_goldengate_auth.grant_admin_privilegeパッケージに加え、以下の権限を付与する必要がある。 DBMS_DDL 実行権限 ALTER ANY TRIGGER 権限 47 Copyright © 2024, Oracle and/or its affiliates Oracle® Fusion Middleware Oracle GoldenGate 23ai Parameters and Functions Reference Guide / SQLEXEC https://docs.oracle.com/en/middleware/goldengate/core/23/reference/sqlexec.html#GUID-34A0589B-1450-4BC9-A573-683895AAA1EC

GoldenGate 23ai 導入Tips – 設計・設定トリガー/参照整合性制約の対応：トリガーへの対応特定のトリガーの有効化/無効化設定 - SQLEXECパラメータの使用 Replicatパラメータ・ファイル内でSQLEXEC文を記述、DBMS_DDLパッケージのSET_TRIGGER_FIRING_PROPERTYプロシージャで
有効化したい特定のトリガーについてFALSEを指定するトリガーのスキーマ、トリガー名、TRUE(トリガー抑止)またはFALSE(トリガー有効)を指定する • Replicatプロセスパラメータファイル : SQLEXECを一度FALSEで実行すると、TRUEを設定した状態でReplicatプロセス再起動により再びコマンドが実行されるまで、USERが所有するトリガー MY_TRIGGERは動作しない GGのパラメータからでなく、DB側で実行し、特定のトリガーを有効化することも可能 • DB側でコマンドを実行する場合(Streamsのトリガー起動プロパティ制御と同様) : 48 Copyright © 2024, Oracle and/or its affiliates exec DBMS_DDL.SET_TRIGGER_FIRING_PROPERTY('USER','MY_TRIGGER',FALSE); SQLEXEC "begin DBMS_DDL.SET_TRIGGER_FIRING_PROPERTY('USER','MY_TRIGGER',FALSE); end;"

GoldenGate 23ai 導入Tips – 設計・設定イベント・マーカー・システム(またはイベント・マーカー・インフラストラクチャ) GoldenGateプロセスによって、(プロセスのデータソースに応じて)トランザクション・ログまたは証跡のイベント・レコードに基づいて定義済のアクションを実行できるイベント・マーカー・システムが提供される以下は、マニュアルに紹介されているユースケース •
日次処理の起動 • 初期ロードから変更同期への移行の簡略化 • データ異常値が検出された場合の処理の停止 • 特定の注文番号のトレース • バッチ・プロセスの実行 • 結果となる操作を除くSQL文のみの伝播 • 長時間実行トランザクション開始前の他のトランザクションのコミット • データ検証のためのシェル・スクリプトの実行 https://docs.oracle.com/cd/G13662_01/reference/table-map.html#GUID-C2356234-3780-48EE-9E7A-F21DC352638C__I2016744 49 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 設計・設定イベント・マーカー -データ変換ユースケース① 想定ユースケース • 指定のSCNより大きなSCN番号のトランザクションが来た場合にプロセスをSTOPする
変換案/変換イメージ • FILTER、EVENTACTIONSを使用し実現する例： 1.FILTERでSCN=100以降を適用させない 2.SCN＝100のトランザクションが来た場合に、EVENTACTIONでReplicatをSTOP パラメータ定義例 ※方法は複数あります MAP ggtest.test1, TARGET ggtest.test1, FILTER(@GETENV('ORATRANSACTI ON','SCN') < 10338480275290), EVENTACTIONS (STOP); トランザクション SCN A 90 B 100 C 110 Replicat STOP FILTERでSCN=100以降を適用させないようにする 50 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 設計・設定イベント・マーカー -データ変換ユースケース② 想定ユースケース • 指定のdate型カラムのデータが指定日付よりも大きい場合のみ伝播させる
変換案/変換イメージ • FILTER、EVENTACTIONSを使用し実現する例： 1.@COMPUTEで日付の比較 2.FILTERで条件に合致するデータのみを伝播パラメータ定義例 ※方法は複数あります MAP ggtest.date_filter, TARGET ggtest.date_filter, FILTER (@COMPUTE (@NUMSTR(@DATE('JUL', 'YYYY-MM-DD', CREATE_DATE)) > @NUMSTR(@DATE(' JUL', 'YYYY-MM-DD', '2018-09-12'))) > 0); id create_date 1 2018-09-13 2 2018-09-13 3 2018-09-12 id create_date 1 2018-09-13 2 2018-09-13 ‘2018-09-12’より日付が大きい場合のみ伝播 51 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 設計・設定他・特記事項分散パスの拡張機能 - Trail File
の暗号化・圧縮など 52 Copyright © 2024, Oracle and/or its affiliates https://docs.oracle.com/cd/G13662_01/coredoc/distribute-add-distribution-path.html Source Trail File Service Manager Administration Server Distribution 分散パスの追加 – 暗号化/圧縮に関連する設定可能項目「ソース・オプション」「ターゲット・オプション」「ターゲット・(拡張) オプション」暗号化プロファイル必要に応じて、ドロップダウン・リストから暗号化プロファイルを選択可能ターゲット暗号化アルゴリズムターゲット・デプロイメントに証跡を送信するときに使用される暗号化アルゴリズム。オプションには、AES128、AES192,および AES256が選択可能暗号化の変更暗号化アルゴリズムの変更を許可するには、このオプションを有効化するネットワーク圧縮の有効化このオプションを有効にする場合は、圧縮しきい値を設定圧縮しきい値ネットワーク圧縮を有効にすると、オプションが表示されるので、圧縮しきい値を指定する

多彩な構成 / 異なるテクノロジー / 応用構成サイジング •データベースに関する要素 / プロセス多重化の指針 / 補足事項設定・設計 •既存データベースへの設定変更および確認 / GoldenGate の設定初期ロード (インスタンス化) •初期データロードとは / 様々な初期データロード / Instantiation CSN を使った初期データロード / 他監視・管理について •マイクロサービス・アーキテクチャにおける監視・管理 / OCI GoldenGate に関する要素トラブルシュート •GoldenGate 共通のトラブルシュート / OCI GoldenGate におけるトラブルシュート補足情報 •高可用性要件における構成 / 双方向連携 / DB以外のデータ・ソースへ連携 53 Copyright © 2024, Oracle and/or its affiliates 初期ロード (初期データロード) • 初期ロード概要 • Oracle – Oracle における初期データロードの Best Practice (Instantiation CSN) • 他の選択肢 • flashback_scn を使用した expdp/impdp

GoldenGate 23ai 導入Tips - 初期ロード初期データロード概要 GoldenGateによるレプリケーションを開始する前に表データを同期させる作業で、計画停止が無い場合は同時に差分更新連携も考慮する必要がある •
GoldenGateの初期ロード機能 • Direct Load (⇨ MAではサポートされない) • File to Replicat • Direct Bulk Load • File to Database Utility (※主に異機種DB間を想定) • 初期 Extract (Oracle のみで expdp/impdp との連携) • Oracle – Oracle の場合はDBの機能を利用 • expdp/impdp • TTS • Restore＆Recovery • 他 (PDB Clone など) 54 1. 初期ロード前 2. 初期ロード後 3. GoldenGateによる同期更新されたデータが対象 Copyright © 2024, Oracle and/or its affiliates About Instantiating with Initial Load Extract (oracle.com)

GoldenGate 23ai 導入Tips - 初期ロード初期データロード概要計画停止を伴う初期データロード計画停止または、静的なロードを実施する時間が無い場合 55 Copyright
© 2024, Oracle and/or its affiliates 計画停止が可能で、停止時間内で初期データが全てレプリケーション先にロードできる場合はシンプルな初期データロードを推奨する現行システム移行先の新システムレプリケーションの元 (データの断面) ①トランザクションをキャプチャ ②キャプチャされる更新前のデータを初期ロード ③トランザクションを適用要件に依存するが、トラザクションをキャプチャしつつ、前日のバックアップなどで移行先のDBを構成するその後、キャプチャした処理を適用し、レプリカを生成する現行システム移行先の新システム Instantiation from an Oracle Source Database Document ID 1276058.1

GoldenGate 23ai 導入Tips - 初期ロード初期データロード <Best Practice> Oracle GoldenGate
Best Practices: Instantiation from an Oracle Source Database (Doc ID 1276058.1) • Oracle Data Pump Integration for Table Instantiation ⇨ Oracle GoldenGate (OGG) version 12.2 and above. SQL>select table_name, scn from dba_capture_prepared_tables where table_owner = 'SCOTT’; TABLE_NAME SCN ----------------------- ---------- BONUS 3917218 DEPT 3917220 EMP 3917223 SALGRADE 3917226 GALAXIES 3976630 56 ADD TRANDATA された表が SCN を保持する expdp/impdpでこの情報も Target に渡され Replicatの設定により、適切に適用がSkipされる (Targetで確認⇨DBA_APPLY_INSTANTIATED_OBJECTS) ソースDBの伝播元オブジェクト(表)に ADD TRANDATA するサプリメンタル・ロギングに加え SCNの情報が保持される Data Pump による expdp/impdp でターゲットDBへ差分適用する Replicat のオプション設定(※)で重複処理を回避する ※ DBOPTIONS ENABLE_INSTANTIATION_FILTERING Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips - 初期ロード SCNレベルの断面を取得する初期ロード方式 expdpのFlashback_SCNオプション • Flashback Query
により SCNレベルの一貫性のあるdmpを取得 • ソースDBのUndo表領域に影響オンラインバックアップ/リストア/リカバリでクローンDBを作成しクローンDBから ExportすればソースDBへの直接的な負荷が回避可能 57 Capture Expdp + flashback_scn dmp Expdp Online backup Restore / recovery ①Capture開始（SCN1111） Distribution Replicat ②dmp取得（SCN2222） ③Import ④Replicat起動 (SCN2222から適用) Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips - 初期ロードキー制約を使用した無停止初期ロード exp/imp or expdp/impdpを使用 (flashback_scnなし)
• ソース側でExport前にGoldenGateのキャプチャ開始 • Replicatで重複更新を無視しながら追い付き処理を行う(handlecollisionsパラメータ) 58 Extract(Capture) 開始 exp実行 imp実行 Replicatの追い付き処理データ同期状態ソースDB ターゲットDB 005 003 004 005 ① 適用 ② 適用 ③ 適用ソース側更新発生タイミングターゲット側適用タイミングターゲット適用済みの更新が発生する 002 003 004 005 ① 更新 ② 更新 ③ 更新 006 007 008 ④ 更新 ⑤ 更新 ⑥ 更新 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips - 初期ロード初期ロード応用編業務稼働中の初期ロードが必要クローンDBを構築するリソースがない検証の結果、Flashback_SCNで全テーブルをexportするundo負荷が許容できない全てのテーブルに主キーが付いていない。主キーが無い表がオンライン
テーブル毎に初期ロード方式を変えることが可能 • 主キーがある表は通常の expdp と handlecollosionで初期ロード • 主キーがない表のみ expdp + flashback_scn オプションで初期ロード（参考）テーブル単位でSCN断面を指定する方法 • How to add new tables for OGG replication in the current running extract and replicat ? (DocID 1332674.1) • OGG How to Resync Tables / Schemas on Different SCN s in a Single Replicat (Doc ID 1339317.1) 59 Copyright © 2024, Oracle and/or its affiliates

多彩な構成 / 異なるテクノロジー / 応用構成サイジング •データベースに関する要素 / プロセス多重化の指針 / 補足事項設定・設計 •既存データベースへの設定変更および確認 / GoldenGate の設定初期ロード (インスタンス化) •初期データロードとは / 様々な初期データロード / Instantiation CSN を使った初期データロード / 他監視・管理について •マイクロサービス・アーキテクチャにおける監視・管理 / OCI GoldenGate に関する要素トラブルシュート •GoldenGate 共通のトラブルシュート / OCI GoldenGate におけるトラブルシュート補足情報 •高可用性要件における構成 / 双方向連携 / DB以外のデータ・ソースへ連携 60 Copyright © 2024, Oracle and/or its affiliates 監視・管理について • マイクロサービス・アーキテクチャにおける監視・管理 / OCI GoldenGate に関する要素 • 全体管理 - クリティカル・ログ / DISCARD など • 各プロセス - 各種レポート • Trail File とパージタスク • パフォーマンス・メトリック・サービス • データ整合性の確認 • GoldenGate Veridata • Veridata 以外の確認について count関数、diffコマンド、ORA_HASH

GoldenGate 23ai 導入Tips – 監視・管理についてマイクロサービス・アーキテクチャにおける監視・管理 61 デプロイメント/サービス名称説明およびデフォルトのディレクトリなど
備考 [srvm]サービス・マネージャ診断ログ (ServiceManager.log) /u01/app/oracle/product/goldengate/deployment/srvm/var/log/ ServiceManager-debug.log /u01/app/oracle/product/goldengate/deployment/srvm/var/log/ [dep01] 管理サービス診断ログ (ggserr.log) /u01/app/oracle/product/goldengate/deployment/dep01/var/log/ adminsrvr-debug.log /u01/app/oracle/product/goldengate/deployment/dep01/var/log/ Default : 無効 [dep01] 抽出サービス extract.log /u01/app/oracle/product/goldengate/deployment/dep01/var/log/ EXTRACT レポート/破棄ファイル /u01/app/oracle/product/goldengate/deployment/dep01/var/lib/report/ [dep01] 適用サービス Replicat.log /u01/app/oracle/product/goldengate/deployment/dep01/var/log/ REPLICATレポート/破棄ファイル /u01/app/oracle/product/goldengate/deployment/dep01/var/lib/report/ [dep01] 分散サービス distsrvr.log /u01/app/oracle/product/goldengate/deployment/dep01/var/log/ [dep01] レシーバ・サービス recvsrvr.log /u01/app/oracle/product/goldengate/deployment/dep01/var/log [dep01] トレイル・ファイル各プロセスの証跡ファイル /u01/app/oracle/product/goldengate/deployment/dep01/var/lib/data ※ 構築した環境の情報(oggca.sh) サービス・マネージャの名称とディレクトリ: srvm : /u01/app/oracle/product/goldengate/deployment/srvm ユーザのデプロイメントの名称とディレクトリ: dep01: /u01/app/oracle/product/goldengate/deployment/dep01 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 監視・管理についてマイクロサービス・アーキテクチャにおける監視・管理サービス・マネージャ (Service Manager) 62
デバッグ・ログ Copyright © 2024, Oracle and/or its affiliates https://docs.oracle.com/cd/G13662_01/coredoc/deploy-search-and-read-log-information-diagnosis- page.html 「診断」ページからのログ情報の検索および読取り https://docs.oracle.com/cd/G13662_01/coredoc/deploy-manage-debug-log.html デバッグ・ログの管理診断ログ情報に含まれる内容 • ExtractプロセスとReplicatプロセスのラグ情報 (レイテンシ値) • ハートビート履歴表からのハートビート表アクティビティ • Oracle GoldenGateのプロセス、証跡およびパスのステータス・メッセージ • Oracle GoldenGateのプロセス、証跡およびパスのエラー・メッセージ • デプロイメントおよびマイクロサービスのステータス • デプロイメントまたはマイクロサービスのエラー・メッセージ • ハートビート診断ログ

GoldenGate 23ai 導入Tips – 監視・管理についてマイクロサービス・アーキテクチャにおける監視・管理管理サービス (Administration Service) 63
診断ログ(= ggserr.log) デバッグ・ログエラー・ログの使用 https://docs.oracle.com/cd/G13662_01/coredoc/using-error-log-1.html Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 監視・管理についてマイクロサービス・アーキテクチャにおける監視・管理各プロセスのレポート 64 EXTRACT レポート
REPLICAT レポート Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 監視・管理について GoldenGate に関連するログ情報レポートファイル • プロセス毎の情報が個別のファイルに出力される
• DB でのトレースファイルに該当するファイル • プロセスの再起動時に新規にファイルが作成される • ファイル名にはプロセス名が含まれる • 既存のファイルはプロセス毎に最大11個まで出力される • <プロセス名>.rpt が最新で、順に <プロセス名>0.rpt, <プロセス名>1.rpt, .. <プロセス名>9.rpt • (例) プロセス名が CAP01 の場合、 CAP010.rpt CAP01.rpt CAP011.rpt CAP012.rpt CAP019.rpt New ・・・・・ Old 65 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 監視・管理についてマイクロサービス・アーキテクチャにおける監視・管理各プロセスの破棄レポート 66 EXTRACT 破棄レポート
REPLICAT破棄レポート Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 監視・管理について GoldenGate に関連するログ情報 discard ファイル (廃棄ファイル)
• 各プロセスでエラーが発生した際に失敗した処理の情報が出力される • 出力ディレクトリは DISCARDFILE パラメータで任意に指定 • ファイルの最大サイズ等はユーザ側で設定可能 – ローテーションされる 67 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 監視・管理についてマイクロサービス・アーキテクチャにおける監視・管理トレイル・ファイルの概要 68 Copyright ©
2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 監視・管理についてマイクロサービス・アーキテクチャにおける監視・管理パフォーマンス・メトリックサービス – Administrator Service
70 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 監視・管理についてマイクロサービス・アーキテクチャにおける監視・管理パフォーマンス・メトリックサービス - Extract 71
Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 監視・管理についてマイクロサービス・アーキテクチャにおける監視・管理パフォーマンス・メトリックサービス - Replicat 72
Copyright © 2024, Oracle and/or its affiliates non-Integrated Parallel (以下が default値) MAP_PARALLELISM 2 APPLY_PARALLELISM 4

GoldenGate 23ai 導入Tips – 監視・管理についてマイクロサービス・アーキテクチャにおける監視・管理ハートビート・テーブル • ダミー表を作り、定期的にsysdateをupdate •
ダミー表をGoldenGateでレプリケーション • ターゲット側でダミー表を参照し「いつ時点までのデータが届いているか」を確認 • GoldenGateの管理情報を含むHeartbeat Table の作成・管理も可能参考：Oracle GoldenGate Best Practices: Heartbeat Table for Monitoring Lag times (Doc ID 1299679.1) 73 Copyright © 2024, Oracle and/or its affiliates sysdateを毎秒update sysdate 2024-08-20 15:30:00 15:29:50までの更新は届いている！現在時刻とのラグは？ sysdate 2024-08-20 15:29:50

GoldenGate 23ai 導入Tips – 監視・管理についてマイクロサービス・アーキテクチャにおける監視・管理監視対象プロセス設定のプロファイルによる管理 75 Copyright ©
2024, Oracle and/or its affiliates ExtractやReplicatなどに対する設定をプロファイル化し、管理を簡素化可能自動起動・再起動・再試行回数や遅延などプロセスの細かな挙動も設定可能

GoldenGate 23ai 導入Tips – 監視・管理についてデータの整合性について～ Active Data Guard
と GoldenGate の違い Data Guard / Active Data Guard GoldenGate (for Database) SYNC or ASYNC Redo transport Standby Site RFS MRP Standby Database Standby Redo Logs Primary Site LG WR NSS/ TT SG A REDO BUFFER Primary Database Online Redo Logs • DBからDBの物理的なレプリケーション • 効率的で高性能 • 暗黙的な整合性 Data Guard replication Source Site Source Database Target Site Target Database Distribution Receiver • 表から表の論理的なレプリケーション • 証跡ファイル(中間ファイル)を介した非同期連携 • 高い柔軟性 - 双方向も可能 GoldenGate replication ASYNC Trail transport 堅牢柔軟 DB<->DB R/W R または mount R/W R/W 全てのDBがR/W可能な状態なのでレプリケーション以外のトランザクションやオペミスが発生し易い！ 76 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 監視・管理についてデータの整合性について Source Site Source Database
Target Site Target Database Distribution Receiver ASYNC Trail transport R/W R/W update … where key=‘P001’ update … where key=‘P001’ • 障害などからの不完全リカバリなどでデータベースレベルで不整合が起きる • 確認不足から表定義を変更してしまった • 領域の不足に対応するため古いデータを削除したが連携対象だった • 。。。。。人的なミスなどでデータを不正規に変更してしまう GoldenGateによるレプリケーション時、ソースDB/ターゲットDBは常にOpen状態オペミス/接続ミスなどによる意図しない更新によるデータ不整合GoldenGate ではハンドリング不可能 Oracle GoldenGate Veridataを使用して、データ伝播対象表の中身のレベルで確認どの表のどのデータが不一致かをレポーティング可能 77 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 障害対応例【補足情報】データの整合性について～ Oracle GoldenGate
Veridata ②不一致データの存在を確認 ① 終了したジョブの情報を表示 ③不一致データの詳細を確認 78 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 障害対応例【補足情報】データの整合性について～ Oracle GoldenGate
Veridata ① Click で展開 ② 不一致データの詳細を確認 ③ 修復の実行 79 Copyright © 2024, Oracle and/or its affiliates

多彩な構成 / 異なるテクノロジー / 応用構成サイジング •データベースに関する要素 / プロセス多重化の指針 / 補足事項設定・設計 •既存データベースへの設定変更および確認 / GoldenGate の設定初期ロード (インスタンス化) •初期データロードとは / 様々な初期データロード / Instantiation CSN を使った初期データロード / 他監視・管理について •マイクロサービス・アーキテクチャにおける監視・管理 / OCI GoldenGate に関する要素トラブルシュート •GoldenGate 共通のトラブルシュート / OCI GoldenGate におけるトラブルシュート補足情報 •高可用性要件における構成 / 双方向連携 / DB以外のデータ・ソースへ連携 80 Copyright © 2024, Oracle and/or its affiliates トラブル・シュート • 状況の迅速な把握 • エラーの発生プロセス、時刻、処理内容の把握 • 確認すべきログ • 診断ログ(ggserr.log) • 各プロセスのレポートファイル • 各プロセスの破棄ファイル • Activity Log の収集 • SQL Trace • ヘルスチェック・スクリプト • AWR / Statspack • OS Watcher (AHF insight)

GoldenGate 23ai 導入Tips – 障害対応例迅速な状況の把握エラーの発生プロセス、時刻、処理内容の把握 81 Copyright ©
2024, Oracle and/or its affiliates • どのプロセスでエラーが発生していたかの確認 info all コマンド • エラーの発生時刻や発生しているエラー内容の確認 • エラーの発生状況の詳細を確認 • エラーが発生した SQL 文の詳細を確認 ggserr.log レポートファイル discard ファイル管理サービス:各プロセス GUI 管理サービス:各プロセス – 診断ログ管理サービス:各プロセス – レポートファイル管理サービス:各プロセス – 破棄レポートファイル

GoldenGate 23ai 導入Tips – 障害対応例迅速な状況の把握診断ログ(ggserr.log) • 各プロセスの情報が出力される •
DB でのアラートログに該当するファイル • GGSCI(AdminClient)からの実行コマンドも出力される • ディレクトリは監視・管理の概要を参照のこと /u01/app/oracle/product/goldengate/deploymen t/dep01/var/log • 最大値でローテーションされる $OGG_HOME/lib/utl/logging/ogg-ggserr.xml 最大サイズ10MB(default) レポートファイル • プロセス毎の情報が個別のファイルに出力される • DB のトレースファイルに該当するファイル • プロセスの再起動時に新規にファイルが作成される • ファイル名にはプロセス名が含まれる • 既存のファイルはプロセス毎に最大11 個まで出力される • ディレクトリは監視・管理の概要を参照のこと破棄ファイル • 各プロセスでエラーが発生した際に失敗した処理の情報が出力される • ローテーションされない • ファイルの最大サイズ等はユーザ側で設定可能 • 自動で設定されプロセスのレポートファイルと同じディレクトリに出力 82 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 障害対応例迅速な状況の把握 DISCARD ファイル(破棄ファイル) • エラー発生時のトランザクションの情報を出力
• エラー発生時のデータの情報が確認可能 83 Copyright © 2024, Oracle and/or its affiliates Current time: 2017-11-11 14:09:39 Discarded record from action ABEND on error 1 OCI Error ORA-00001: 一意制約(SCOTT.SYS_C008305)に反しています (status = 1). INSERT INTO “SCOTT"."TEST" ("C1","C2") VALUES (:a0,:a1) Aborting transaction on /home/gg1123/dirdat/bb beginning at seqno 0 rba 1320 error at seqno 0 rba 1320 Problem replicating SCOTT.TEST to SCOTT.TEST Mapping problem with insert record (target format)... * C1 = 2 C2 = 2017-11-11 13:26:09 * Process Abending : 2017-11-11 14:09:39 ターゲットでの DISCARD ファイルの出力例各列の値

GoldenGate 23ai 導入Tips – 障害対応例迅速な状況の把握 DISCARD ファイル(破棄ファイル) - 設定時の注意点
• 最大サイズはデフォルト 50MB • MAXBYTES や MEGABYTES でサイズ変更可能 • ファイルが存在する場合の対応は APPEND/PURGE で設定 • PURGE の場合、過去の情報が削除される点に注意が必要 84 Copyright © 2024, Oracle and/or its affiliates REPLICAT REP01 USERID gguser, PASSWORD <password> ASSUMETARGETDEFS DISCARDFILE ./dirrpt/discard.dsc, APPEND, MEGABYTES 100 MAP SCOTT.TEST, TARGET SCOTT.TEST; DISCARD ファイルの設定例

GoldenGate 23ai 導入Tips – 障害対応例迅速な状況の把握 Activity Loging [oracle@ptvm28 log]$
pwd /u01/app/oracle/product/goldengate/deployment/dep01/var/log [oracle@ptvm28 log]$ ls -l drwxr-x--- 2 oracle oinstall 4096 8月 18 23:23 . drwxr-x--- 7 oracle oinstall 63 7月 18 21:38 .. -rw-r----- 1 oracle oinstall 8043 7月 24 22:58 ER-events.log -rw-r----- 1 oracle oinstall 177749 8月 20 23:42 adminsrvr.log -rw-r----- 1 oracle oinstall 8864 8月 13 21:51 distsrvr.log -rw-r----- 1 oracle oinstall 69168 7月 24 22:58 extract.log -rw-r----- 1 oracle oinstall 52081 7月 24 22:44 gglog-EXT01.dmp -rw-r----- 1 oracle oinstall 19208 7月 21 21:32 gglog-REP01.dmp -rw-r----- 1 oracle oinstall 11403 7月 21 21:32 gglog-REP01A00.dmp -rw-r----- 1 oracle oinstall 0 7月 21 21:32 gglog-REP01A01.dmp -rw-r----- 1 oracle oinstall 0 7月 21 21:32 gglog-REP01A02.dmp -rw-r----- 1 oracle oinstall 0 7月 21 21:32 gglog-REP01A03.dmp -rw-r----- 1 oracle oinstall 173825 8月 20 23:42 ggserr.log -rw-r----- 1 oracle oinstall 39296 8月 18 21:47 pmsrvr.log -rw-r----- 1 oracle oinstall 1760 8月 13 21:51 recvsrvr.log -rw-r----- 1 oracle oinstall 26216 7月 21 23:22 replicat.log -rw-r----- 1 oracle oinstall 4796367 8月 20 23:42 restapi.log -rw-r----- 1 oracle oinstall 10481944 8月 18 23:20 restapi.log.1 -rw-r----- 1 oracle oinstall 10481536 7月 24 22:59 restapi.log.2 -rw-r----- 1 oracle oinstall 10449965 7月 24 00:02 restapi.log.3 -rw-r----- 1 oracle oinstall 10482245 7月 19 02:08 restapi.log.4 Doc ID 1204284.1 OGG Activity Logging Tracing Doc ID 1756375.1 [GG] GoldenGate のアクティビティ・ロギングの設定方法について(KROWN:153608) dmp ファイルは自動取得されているが、 Activity Log の取得については上記 Note を参照のこと ※ 性能に対する影響に注意 85 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 障害対応例迅速な状況の把握 SQLトレース • Replicat プロセスが実行する
SQL 文の確認 • 実行している SQL 文の待機状況や実行計画を確認 • SQLEXEC 句を使用することで DB のコマンドを直接呼び出し可能 REPLICAT rep01 USERID gguser, PASSWORD gguser DISCARDFILE ./discard.dsc, APPEND ASSUMETARGETDEFS SQLEXEC "alter session set tracefile_identifier='OGG_DEBUG‘" SQLEXEC "alter session set events 'sql_trace wait=true‘" MAP SCOTT.*, TARGET SCOTT.*; Replicat のパラメータファイル ※ TRACEFILE_IDENTIFIER を指定することで、任意の文字列をファイル名に付与可能 86 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 障害対応例迅速な状況の把握ヘルスチェックスクリプト GoldenGate Integrated Capture
and Integrated Replicat Healthcheck Script (Doc ID 1448324.1) <OGG MA HOME>/lib/sql/healthcheck • ogghc_install.sql および ogghc_run.sql の実行 ⇨html出力による詳細なレポートの作成が可能 87 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 障害対応例迅速な状況の把握 AWR / Statspack •
Database のパフォーマンス確認 • Replicat 遅延時に Database 側の問題か GoldenGate 側の問題かの切り分け • AWR は Database が Enterprise Edition + Diagnostic Pack のオプションが必要 • Statspack は事前にインストールと設定が必要参考情報 • Doc ID 1773633.1 AWR によるパフォーマンス診断(KDS:11536) • Doc ID 1709837.1 STATSPACKレポートとは何ですか？(KROWN:29953) 88 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 障害対応例迅速な状況の把握 AHF Insight – OS
レベルの情報収集 89 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 障害対応例 [補足情報] 迅速な状況の把握 - チェックポイントの理解チェックポイントについて
• GoldenGateは各プロセスで作成されるチェックポイント持つ • チェックポイントは、リカバリの目的でプロセスの状態を対象概要解説 Extract データ・ソースの読取りチェックポイントとトレイルの書込みチェックポイントで構成される読取りチェックポイント詳細開始チェックポイントプロセスの起動時にデータ・ソースに作成される最初のチェックポイントリカバリ・チェックポイント Extractによってまだ処理されていない最も古いトランザクションを含むレコードのデータ・ソース内の位置現在のチェックポイント Extractが読み取った最新レコードのデータ・ソース内の位置 Replicat 証跡内のReplicatチェックポイント開始チェックポイントプロセスの起動時に証跡に作成される最初のチェックポイント現在のチェックポイント Replicatが読み取った最新レコードの証跡内の位置内部チェックポイント SHOWCHオプションを使用したINFOコマンド現在のチェックポイント・エントリだけでなく、レコード自体に関するメタデータ情報も表示 GoldenGate チェックポイント表 GoldenGateによりサポートされるデータベース内にチェックポイント表が作成できるメイン・チェックポイント表と、自動的に作成される補助チェックポイント表 90 Copyright © 2024, Oracle and/or its affiliates

Source Site (Server) Source Database Target Site (Server) Target Database checkpoint checkpoint もしくは checkpoint表 Extract プロセスの障害や、Extract プロセスが稼働するノード障害が発生しても Trail File および checkpoint が維持できていればプロセスもしくはノードの再起動により抽出処理は透過的に継続できる ※ 注意 Extract 停止時間中は未処理の Archive Log が削除できないため領域枯渇でDBが停止しないように十分注意することおなじく、 Replicat プロセスの障害や、Replicat プロセスが稼働するノード障害が発生しても Trail File および checkpoint (またはDB内に作成された、checkpint 表) が維持できていればプロセスもしくはノードの再起動により適用処理は透過的に継続できる 92 Copyright © 2024, Oracle and/or its affiliates

多彩な構成 / 異なるテクノロジー / 応用構成サイジング •データベースに関する要素 / プロセス多重化の指針 / 補足事項設定・設計 •既存データベースへの設定変更および確認 / GoldenGate の設定初期ロード (インスタンス化) •初期データロードとは / 様々な初期データロード / Instantiation CSN を使った初期データロード / 他監視・管理について •マイクロサービス・アーキテクチャにおける監視・管理 / OCI GoldenGate に関する要素トラブルシュート •GoldenGate 共通のトラブルシュート / OCI GoldenGate におけるトラブルシュート補足情報 •高可用性要件における構成 / 双方向連携 / DB以外のデータ・ソースへ連携 93 Copyright © 2024, Oracle and/or its affiliates 補足情報 • 高可用性構成について (XAG含む) • レコードの競合について • CDR / ACDR • Database 以外のデータ・ソース連携 • DAA (for Big Data) • Generic File Writer のサンプル

GoldenGate 23ai 導入Tips – 障害対応例 [補足情報] Bounded Recovery について Oracle
Database のみ - デフォルトで有効化されているサポートとの連携必須 Extract の基本的な挙動 Extractが停止したときにオープンしているトランザクションがなかった場合は、現在のExtract読取りチェックポイントからリカバリ (標準リカバリ) ログ内での開始位置の時刻がExtractの停止時刻と非常に近いオープンしていたトランザクションがある場合、Extractはその中で最も古いトランザクションの開始位置からログを再度読み取ってリカバリ (標準リカバリ) Extractが長時間オープンしているトランザクションとみなすトランザクションが1つ以上あった場合は、ExtractはBounded Recoveryを利用してリカバリ 94 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 補足情報高可用性構成について (XAG含む) Real Application Clustersを使用したGoldenGate
Microservices Architectureの構成概要 https://docs.oracle.com/cd/G11854_01/haovw/ogg-microservices-premises1.html#GUID-55FA8876-984F-4E88-9157-CAF1550C261E PDB1 PDB2 PDB3 CDB$ROOT PDB1 PDB2 PDB3 CDB$ROOT 1 2 PDB3 Database Server 1 上で、RAC インスタンス-1 および GoldenGate のプロセスが稼働していたケースで、ノード障害が発生した！ Application からの接続は RAC2に接続し、業務の継続が可能だが、GoldenGate プロセスが透過的に処理を継続する必要がある XAG (Grid Infrastructure Agent) による構成で引き継ぐ 95 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 補足情報高可用性構成について - Grid Infrastructure Agent
(XAG) https://www.oracle.com/database/technologies/xag-agents-download.html Supported platforms: AIX, Linux, Solaris, Windows Supported applications: Oracle GoldenGate, Siebel, Apache, PeopleSoft, MySQL, JD Edwards, WebLogic Oracle E-Business Suite 96 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 補足情報高可用性構成について - Grid Infrastructure Agent
(XAG) Grid Infrastructure のクラスタ・リソースとして GoldenGate のプロセスを登録・管理する事で障害発生時でも RACサービスに対し透過的な処理継続が可能になる (DBFSやACFSなどの共有可能なファイル・システムが必要となる) https://www.oracle.com/docs/tech/database/ogiba.pdf 97 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 補足情報レコードの競合について - Conflict Detection &
Resolution 双方向同期 (CDRが必要なケース) 疑似・双方向同期 98 Copyright © 2024, Oracle and/or its affiliates update … where key=‘P001’ update … where key=‘P001’ 同一データを各インスタンスで同時に更新するケース (レコード競合解消が必須) update … where key=‘P001’ update … where key=‘P002’ 同一表で異なるレコードまたは異なる表をそれぞれが更新 (レコード競合解消が不要) ※ただし、アプリケーションに依存表A 表A 表B 表A 対象レコードが異なるケース対象となる表が異なるケース

レコードの競合について - Conflict Detection & Resolution GoldenGate 23ai 導入Tips –
補足情報 99 update … ▲ ▲ ▲ where key=‘P001’ update … ◎ ◎ where key=‘P001’ 競合が発生 OGG 業務に沿った処理方式を実装 CDRによる競合解決ソース側でのキャプチャ時に、Before Image(変更前イメージ)とAfter Image(変更後イメージ)をTrailに格納し、Replicatでターゲット側に適用する際に競合を解決検知ルール解決ルール 1)検知と解決のルールを定義設定 2)Trailデータの取り込み 3)ターゲットデータの状態確認 4)競合検知後のルール確認と適用 Before Image After Image ルール Insert処理時の競合(一意制約違反)を検知 Update処理時にBefore Imageとの違いを検知 Update処理時に対象が存在しないことを検知 Delete処理時にBefore Imageとの違いを検知 Delete処理時に対象が存在しないことを検知 OVERWRITE(上書き) IGNORE(スキップ) DISCARD(スキップ) USEMAX[EQ](値比較) USEMIN[EQ] (値比較) ターゲット列 Copyright © 2024, Oracle and/or its affiliates

レコードの競合について - Conflict Detection & Resolution レプリケーション中のデータ (レコード内容は同一性を維持) GoldenGate 23ai
導入Tips – 補足情報 100 Column Before update After update ID 1 1 NAME Essentials of Oracle GoldenGate Essentials of Oracle GoldenGate AUTOHR Taro Aoyama Taro Aoyama IN_STOCK 1000 1500 LAST_UPD_TS 24-JAN-15 04.41.40.900990 PM 24-JAN-15 05.41.40.900990 PM Column Before update After update ID 1 1 NAME Essentials of Oracle GoldenGate Essentials of Oracle GoldenGate AUTOHR Taro Aoyama Dr. Taro IN_STOCK 1000 800 LAST_UPD_TS 24-JAN-15 04.41.40.900990 PM 24-JAN-15 06.41.40.900990 PM 24-JAN-15 5:41 24-JAN-15 6:41 業務上の処理として • IN_STOCK カラムは正味の値とする • IN_STOCK 以外は最新データを保持するルール Copyright © 2024, Oracle and/or its affiliates

レコードの競合について - Conflict Detection & Resolution IN-STOCK は正味の値にする GoldenGate 23ai
導入Tips – 補足情報 101 Column Before update After update ID 1 1 NAME Essentials of Oracle GoldenGate Essentials of Oracle GoldenGate AUTOHR Taro Aoyama Dr. Taro IN_STOCK 1000 1500-200=1300 LAST_UPD_TS 24-JAN-15 04.41.40.900990 PM 24-JAN-15 06.41.40.900990 PM Column Before update After update ID 1 1 NAME Essentials of Oracle GoldenGate Essentials of Oracle GoldenGate AUTOHR Taro Aoyama Dr. Taro IN_STOCK 1000 800＋500=1300 LAST_UPD_TS 24-JAN-15 04.41.40.900990 PM 24-JAN-15 06.41.40.900990 PM 1000 1500 1000 800 +500 -200 -200 +500 ルールに従って • IN_STOCK カラムは正味の値とする • IN_STOCK 以外は最新データへ置き換えるルールに従って • IN_STOCK カラムは正味の値とする • IN_STOCK 以外は最新データなのでそのまま Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai 導入Tips – 補足情報レコードの競合について - Conflict Detection &
Resolution Replicat パラメータのサンプル 102 Copyright © 2024, Oracle and/or its affiliates replicat r_rep userid ogg_user, password ogg_user assumetargetdefs map sample.book, target sample.book, COMPARECOLS (ON UPDATE ALL), RESOLVECONFLICT ( UPDATEROWEXISTS, (delta_res_method, USEDELTA, COLS (IN_STOCK)), (max_res_method, USEMAX (LAST_UPD_TS), COLS (NAME, AUTHOR,LAST_UPD_TS)), (DEFAULT, IGNORE)); RESOLVECONFLICT 以降で、競合解決のルールを記述 COMPARECOLS Update競合を検知するために使用する列を指定。このシナリオでは全ての列を比較する。要件に応じて列の絞り込みやDelete競合の検知(ON DELETE)も可能 UPDATEROWEXISTS 行が存在するUpdate競合の解決ルール IN_STOCK列は正味の値を適用 NAME, AUTHOR, LAST_UPD_TSは、LAST_UPD_TS列の値が大きい方（より最新のデータ）を適用 DEFAULT デフォルトの挙動（無視）

GoldenGate 23ai 導入Tips – 補足情報 Database 以外のデータ・ソース連携 GoldenGate for Distributed
Applications and Analytics 23ai (GG4DAA) 103 Copyright © 2024, Oracle and/or its affiliates Source Target Trail File Trail File Service Manager Service Manager Administration Server Administration Server Distribution Receiver non-Oracle non-Oracle Target GoldenGate (for RDBMS) Trail File は共通

GoldenGate 23ai 導入Tips – 補足情報 Database 以外のデータ・ソース連携 - GG4DAA アダプタ統合オプション
Oracle GoldenGate for Big Dataアーキテクチャに基づく主要な２製品 • Oracle GoldenGate Javaアダプタ (Generic File Writer) 全体的なフレームワークで Oracle GoldenGate File Writerモジュールが組み込まれており、フラット・ファイル使用を目的。 (ファイル・ライター・ハンドラとも表記される) • Oracle GoldenGate for Big Data Oracle GoldenGateの証跡レコードから各種のビッグ・データ・ターゲット(HDFS、HBase、Kafka、Flume、JDBC、 CassandraおよびMongoDBなど)に対応これらのハンドラは、データを様々な形式(Avro、JSON、区切りテキスト、XMLなど)に変換可能 104 Copyright © 2024, Oracle and/or its affiliates Target Trail File non-Oracle GoldenGate (for RDBMS) JavaアダプタとOracle GoldenGate for Big Dataの理解 https://docs.oracle.com/cd/F47657_01/gbdin/understanding-java-adapter-and- oracle-goldengate-bigdata.html#GUID-CF8E208D-508C-4BEB-85F4-499AA3B581B1 Target

GoldenGate 23ai 導入Tips – 補足情報 Database 以外のデータ・ソース連携 - GG4DAA Generic
File Writer プロパティ : gg.handler.name.format: delimitedtext (デフォルト) | json | json_row | xml | avro_row | avro_op | avro_row_ocf | avro_op_oc ParquetまたはORCイベント・ハンドラを使用する場合、選択した形式がavro_row_ocfまたはavro_op_ocfである必要があります。 105 Copyright © 2024, Oracle and/or its affiliates Target non-Oracle GoldenGate (for RDBMS) Trail File format 解説 delimitedtext 区切りテキスト json JSON json_row JSON出力モデリング行データ xml XML avro_row 行コンパクト形式のAvro avro_op 操作詳細形式のAvro avro_row_ocf Avroオブジェクト・コンテナ・ファイル(OCF)形式 avro_op_ocf Avro OCF形式でHDFSに書き込まれる詳細形式のAvro Target

GoldenGate 23ai 導入Tips – 補足情報 Database 以外のデータ・ソース連携 - GG4DAA Generic
File Writer https://docs.oracle.com/en/middleware/goldengate/big-data/23/index.html 106 Copyright © 2024, Oracle and/or its affiliates GoldenGate for DAA Target Replicat パラメータファイルハンドラ用のプロパティファイルを指定 TARGETDB LIBFILE libggjava.so SET property= <parameter file directory>/<properties file name> 各ハンドラのプロパティ設定

GoldenGate 23ai 導入Tips – 補足情報 Flat File アダプタ簡易動作確認環境検証環境のイメージ(オンプレミス) 107
Copyright © 2024, Oracle and/or its affiliates Extract 【Source】 Oracle 19c (CDB) 【Target】 GoldenGate Application Adapter Deployment_01 (for DB) Deployment_02 (for Big Data) Replicat Trail File : 本検証環境では、各デプロイメントから参照可能なローカルディスクに配置 GoldenGate On-Premises GoldenGata 21c (for Oracle Database) GoldenGata for Big Data 21c (Generic File Writer) 本検証は GoldenGate for Big Data 21c で実施したものをサンプルとして掲載しています

GoldenGate 23ai 導入Tips – 補足情報 Flat File アダプタ簡易動作確認環境 108 Copyright
© 2024, Oracle and/or its affiliates Source Target Service Manager Administration Server Distribution Receiver Extract (Capture) : Trail : Distribution Server/Receiver : Delivery (Replicat） Trail File デプロイメント(実行環境) 検証環境のイメージ(オンプレミス) 本検証は GoldenGate for Big Data 21c で実施したものをサンプルとして掲載しています

© 2024, Oracle and/or its affiliates REPLICAT Rep01J TARGETDB LIBFILE libggjava.so SET property=/u01/app/oracle/product/GG4BD/21.4.0/opt/AdapterExamples/templates/filewriter.properties --SOURCEDEFS ./dirdef/dbo.def --DDL INCLUDE ALL --GROUPTRANSOPS 1000 --MAXSQLSTATEMENTS 200 --MAPEXCLUDE dbo.excludetable MAP orclpdb.hr.employees, TARGET *.*; ※ご注意あくまでサンプルです動作を保証するものではありません本検証は GoldenGate for Big Data 21c で実施したものをサンプルとして掲載しています

© 2024, Oracle and/or its affiliates REPLICAT Rep01J TARGETDB LIBFILE libggjava.so SET property=/u01/app/oracle/product/GG4BD/21.4.0/opt/AdapterExamples/templates/filewriter.properties --SOURCEDEFS ./dirdef/dbo.def --DDL INCLUDE ALL --GROUPTRANSOPS 1000 --MAXSQLSTATEMENTS 200 --MAPEXCLUDE dbo.excludetable MAP orclpdb.hr.employees, TARGET *.*; ※ご注意あくまでサンプルです動作を保証するものではありません [Database の場合のサンプル] REPLICAT Rep01DB USERALIAS trg_pdb DOMAIN OracleGoldenGate MAP_PARALLELISM 3 MIN_APPLY_PARALLELISM 2 MAX_APPLY_PARALLELISM 10 SPLIT_TRANS_RECS 1000 DBOPTIONS ENABLE_INSTANTIATION_FILTERING MAP orclpdb.hr.employees, TARGET orclpdb21.hr.employees; GG 21c MA版 https://speakerdeck.com/oracle4engineer/goldengate-21c-jian-dan-detabesurepurikesiyongaido-microservice-architectureban 本検証は GoldenGate for Big Data 21c で実施したものをサンプルとして掲載しています

© 2024, Oracle and/or its affiliates # Properties file for Replicat Rep01J # File Writer Handler Template gg.handlerlist=filewriter gg.handler.filewriter.type=filewriter gg.handler.filewriter.mode=op gg.handler.filewriter.pathMappingTemplate=./dirout gg.handler.filewriter.stateFileDirectory=./dirsta gg.handler.filewriter.fileNameMappingTemplate=${fullyQualifiedTableName}_${currentTimestamp}.json gg.handler.filewriter.inactivityRollInterval=10s gg.handler.filewriter.finalizeAction=none gg.handler.filewriter.format=json gg.handler.filewriter.format.metaColumnsTemplate=${objectname[table]},${optype[op_type]},${timestamp[op_ts]},${currenttimestamp[current _ts]},${position[pos]} gg.handler.filewriter.partitionByTable=true gg.handler.filewriter.rollOnShutdown=true gg.handler.filewriter.eventHandler=oci ※ご注意あくまでサンプルです動作を保証するものではありません本検証は GoldenGate for Big Data 21c で実施したものをサンプルとして掲載しています

© 2024, Oracle and/or its affiliates Extract 【Source】【Target】 GoldenGate Application Adapter Deployment (for DB) Deployment (for Big Data) Replicat GoldenGate On-Premises SQL>update emp set sal=3600 where ename = 'SCOTT'; SCOTT.EMP_2022-12-08_17-12-08.020.json --- { "table":"SCOTT.EMP", "op_type":"U", "op_ts":"2022-12-08 17:32:02.000000", "current_ts":"2022-12-08 17:12:07.996000", "pos":"00000000020000002563", "before":{"EMPNO":7788,"SAL":3000.00}, "after":{"EMPNO":7788,"SAL":3600.00} } 操作モードで JSONフォーマットによる出力設定を実行本検証は GoldenGate for Big Data 21c で実施したものをサンプルとして掲載しています

GoldenGate 23ai 導入Tips – 補足情報連携のパターンについて補足 115 Copyright © 2024,
Oracle and/or its affiliates 【Target】 GoldenGate for DAA Replicat Event Handler Streaming Object Storage Amazon Kinesis Azure Event Hub 一時的にファイルを生成 (自動的なパージ設定も可能) ストリーミング (※) ご注意 GoldenGate for DAA で提供できているデータソースと、OCI GoldenGate で連携可能なデータソースには一部差異があります。

GoldenGate 23ai 導入Tips – 参考情報 MOS 参考情報 117 Copyright ©
2024, Oracle and/or its affiliates Title MOS Doc ID Oracle GoldenGate -- Oracle RDBMS Server Recommended Patches 1557031.1 Latest Oracle GoldenGate For Oracle Database & Oracle Database Patch Recommendations 2193391.1 (aka Market Driven Support) Frequently Asked Questions (FAQ) for 11.2.0.1, 12.1.0.2 and 12.2.0.1 Database Releases 2728619.1 Release Schedule of Current Database Releases 742060.1 Cloud Premigration Advisor Tool (CPAT) Analyzes Databases for Suitability of Cloud Migration 2758371.1 How to Setup extract in-house to Process Customer's Archived Logs 1205843.1 Streams Pool Size Best Practices For Oracle GoldenGate And xStream 2998659.1 Integrated Extract Is Mining through Old Archive Logs Even When Altering to BEGIN NOW 1610114.1 Oracle GoldenGate Performance Data Gathering 1488668.1 GoldenGate Integrated Capture and Integrated Replicat Healthcheck Script 1448324.1 GoldenGate Integration with AWR 1596493.1 Best Practices and Performance Tuning Recommendations for Oracle GoldenGate Integrated Replicat 1953623.1 Integrated Replicat は非推奨 Instantiation from an Oracle Source Database 1276058.1 How to add new tables for OGG replication in the current running extract and replicat ? 1332674.1 OGG How to Resync Tables / Schemas on Different SCN s in a Single Replicat 1339317.1 Oracle GoldenGate Best Practices: Heartbeat Table for Monitoring Lag times 1299679.1 OGG Activity Logging Tracing 1204284.1 [GG] GoldenGate のアクティビティ・ロギングの設定方法について 1756375.1 Oracle GoldenGate Best Practices: sample parameter files 1321696.1 Internal

GoldenGate 23ai 導入Tips – 参考情報 Copyright © 2024, Oracle and/or
its affiliates 118 Title URL 備考 GoldenGate 21c 簡単データベース・レプリケーションガイド https://speakerdeck.com/oracle4engineer/goldengate-21c-jian-dan- detabesurepurikesiyongaido-microservice-architectureban オンプレミス OCI GoldenGateによるBaseDBからADBへのデータ連携 https://oracle-japan.github.io/ocitutorials/adb/adb401-oci-goldengate/ OCI GoldenGate OCI-GoldenGateの分散パスを利用してOracle Databaseのリージョン間レプリケーションを実装する https://qiita.com/ykuma614/items/9a82986c1fe97182104d OCI GoldenGate Oracle GoldenGate 23ai for Oracle 簡易インストール https://qiita.com/TDM26587/items/64efd8f124fe745dd5f5 オンプレミス Title URL [Session01] Oracle GoldenGate 最新情報&最新事例 https://speakerdeck.com/oracle4engineer/oracle-goldengate-20240702-session01- oracle-goldengate [Session02] Oracle GoldenGate 23ai 新機能紹介とテクニカル Tips https://speakerdeck.com/oracle4engineer/oracle-goldengate-20240702-session02- oracle-goldengate-23ai-tips [Session03] コンサルタントが語るプロジェクトからの学び https://speakerdeck.com/oracle4engineer/oracle-goldengate-20240702-session03-ocs [Session04] Data Transforms & OCI Data Integration概要 https://speakerdeck.com/oracle4engineer/oracle-goldengate-20240702-session04- data-transforms-and-oci-di Oracle GoldenGate 最新情報＆テクニカルセミナー資料 (2024/07/02) 公開済み技術資料

GoldenGate 23ai – 参考情報事例およびユースケース  本パートでは、Oracle GoldenGate テクノロジーを用いたユースケースと事例についてご紹介します。 
公開されている事例からピックアップして掲載しておりますので、他にも多くの事例がございます。  本パートにおいては GoldenGate Stream Analytics に関する事例は掲載しておりません。 119 Copyright © 2024, Oracle and/or its affiliates

Copyright © 2024, Oracle and/or its affiliates #1 real-time Data
Fabric platform 120 Applications Microservices Service Mesh Data Mesh Distributed Databases Analytics AI/ML Cloud DW’s Lake House Data Products IoT

Copyright © 2024, Oracle and/or its affiliates Data Events Data
High Availability • Oracle/non-Oracle DB • Low downtime migrations Transaction Replication • DML, DDL, Procedures etc. Change Data Capture • Oracle, non-Oracle DB, NoSQL etc. • CDC as a service mesh Data Pipelines Real-time Data Ingest • High fidelity change stream • Data Lakes/Warehouses Stream Integration • Prepare, filter, correlate, enrich • Data Streams via AsyncAPI CTL & Data Integration • Continuous data transformation and loading (aka: stream integration) Stream Analytics Analyze Data Streams • Time series analysis, machine learning, geo-spatial, ML/AI Observe, Alert and Deliver • Any data events, including IoT • Continuous Query Language (CQL) No-code Development • 20+ pre-built accelerators Governance Enterprise Grade Security • OAuth/SSO, IAM, RBAC • Certificates, mTLS 1.3, encryption… Data Verification • Automated conflict detection • Compare and repair features Metadata Catalog • Assets, lineage, policies 1,000’s of customers 84% of Fortune 100 #1 in real-time Data Fabric 121

1000+ combinations of supported data platforms: 幅広い接続対象のサポートに基づく多くの組合せ 122 Copyright ©
2024, Oracle and/or its affiliates DB2/z Real-time Data Events Apps DBs NoSQL & IoT DBMS Cloud Big Data NoSQL Streams OCI Streaming OCI Data Lake House Stream Processing • ETL / CEP • Time Series • AI / ML • Geospatial

おさらい：主な GoldenGate Platform のユースケース Copyright © 2024, Oracle and/or
its affiliates 123 Multi-active, high availability and cross-region Region A App Tier App Tier Region B App Tier On-prem Cloud Migrations/upgrades OCI hosted databases Analytic data feeds App Tier Analytics SaaS Apps On- prem Apps Data offloading / data hub App 1 App 2 App …n <real-time read only data store> Downstream Marts and Analytics Micro/Mini Services Audit History (of Tx’s) Stream analytics App Tier <application events> <transaction events> GoldenGate Stream Analytics DIY Stream Analytics OCI-native, fully-managed pipeline builder

• スマートフォン用「JRAアプリ」リリースに向け、利用者に鮮度の高いリアルタイムなデータ提供を実現するシステム基盤を、既存システムへの影響なく新たに可能な限り短期間かつ低コストでの構築が必要に • Oracle GoldenGate を用いた東西データベース間での双方向リアルタイム連携の実現によって、アプリからは配置を意識せずどちらもマスターとして更新することが可能に
• 既存システムへの更新も、既存データベース側にトリガーを設定せず Oracle GoldenGate を用いることで新システム側にも即時伝搬・連携されることで、新システム側のデータと合わせた包括的なリアルタイムデータの提供を実現 • オラクル・コンサルティングのサポートにより、スムーズな導入に加えて製品適用時の様々なノウハウを蓄積することが可能となり、今後の新システム構築や更改時での Oracle GoldenGate 利活用にともなうプロジェクト期間の短縮やコスト削減が可能に • 検討段階で1年以上を見込んでいた期間を、Oracle GoldenGate の導入により6か月へと短縮、早期のサービスインへ貢献日本中央競馬会様 Copyright © 2024, Oracle and/or its affiliates 125 東西データベース間のリアルタイムデータ連携を短期間かつ低コストで実現 ©JRA “JRA初の公式スマホアプリ『JRAアプリ』は、より便利に競馬情報をお届けすることを目的としてリリースしました、多くのお客様とJRAとをつなぐ新しいツールです。アプリをご利用されるお客様に対してリアルタイムに正確な情報を提供することが必須の要件であり、そのインフラとなるDB構成については、アプリという新たなプラットフォームにおいて、既存の他システムと連携し、障害やアクセス負荷に対して高い可用性を実現することはもちろん、セキュリティやシステム運用を含めた課題を解決する必要がありました。これらの課題に対し、『Oracle GoldenGate』を採用することで、既存システムおよび東西間のリアルタイムのデータベース連携を実現し、安定した性能で確実に対応できる環境を整備することができました。また導入にあたっては豊富な機能とオラクル・コンサルティングの実装ノウハウを活用させていただくことで、短期間で実装することができたことに大変感謝しております。” 日本中央競馬会お客様部アプリチーム

東西データベース間のリアルタイムデータ連携を短期間かつ低コストで実現システム概要 • スマートフォン用「JRAアプリ」リリースに向け、利用者に鮮度の高いリアルタイムなデータ提供を実現するシステム基盤を、既存システムへの影響なく新たに可能な限り短期間かつ低コストでの構築が必要 • 既存システムとの連携のため、東西2拠点のデータベース配置が必要だったが、アプリからそれらを意識せずデータアクセスを行うため、データベース間でのリアルタイム連携によるアクティブーアクティブ構成を実現
導入効果 • Oracle GoldenGate を用いた東西データベース間での双方向リアルタイム連携の実現によって、アプリからは配置を意識せずどちらもマスターとして更新することが可能 • 既存システムへの更新も、既存データベース側にトリガーを設定せず Oracle GoldenGate を用いることで新システム側にも即時伝搬・連携されることで、新システム側のデータと合わせた包括的なリアルタイムデータの提供を実現 • オラクル・コンサルティングのサポートにより、スムーズな導入に加えて製品適用時の様々なノウハウを蓄積することが可能となり、今後の新システム構築や更改時での Oracle GoldenGate 利活用にともなうプロジェクト期間の短縮やコスト削減が可能 • 検討段階で1年以上を見込んでいた期間を、Oracle GoldenGate の導入により6か月へと短縮、早期のサービスインへ貢献システム構成イメージ利用サービス・製品 • Oracle GoldenGate 顧客事例：日本中央競馬会様 Copyright © 2024, Oracle and/or its affiliates 126

出前館様 Copyright © 2024, Oracle and/or its affiliates 127
オラクルのハイブリッド・クラウド構成でサービス需要の急拡大に対応する強力なシステム基盤を実現ハイブリッド・クラウド構成により、安定したサービス提供に不可欠な優れた性能、高可用性を最適なコストで実現オンプレミス/パブリック・クラウド間の遅延のないデータ同期を実現トランザクション処理性能を2倍以上に強化し、ビジネスの機会を逃さないサービスを実現

• 新型コロナ禍以降、需要はこれまで以上に急拡大し、サービスを支えるシステム基盤への負荷も想定を超えて高まり、ユーザーや加盟店のユーザビリティを損なわず、高いパフォーマンスで安定稼働が可能なシステム基盤の再構築が急務に • 現在の2倍以上のオーダーを処理できるシステムを目指し、更新系にオンプレミスのOracle Exadata、参照系にOracle Exadata
Database Serviceを導入し、安定したサービス提供に不可欠な優れた性能、高可用性を最適なコストで実現 • 従来システムで課題となっていた更新系と参照系のデータ同期には、優れたコスト・パフォーマンスで大量の更新差分データをリアルタイムにレプリケーションできるOCI GoldenGateを採用 • 更新系データベースのバックアップおよびレプリケーションにはデータ保護専用のエンジニアド・システムであるOracle Database Zero Data Loss Recovery Applianceを導入し、徹底的にデータロスを排除する仕組みを構築出前館様 Copyright © 2024, Oracle and/or its affiliates 128 オラクルのハイブリッド・クラウド構成でサービス需要の急拡大に対応する強力なシステム基盤を実現 “お客様や加盟店にご不便をおかけしない処理性能と安定性を実現することを最優先としシステムを更改しました。『Oracle Exadata』のパフォーマンスには大いに期待しています。また、従来システムで課題だった更新系/参照系間の遅延のないデータ同期も、『OCI GoldenGate』によって実現できていますし、参照系データベースを『Oracle Exadata Database Service』でクラウド化し、ハイブリッド・クラウド構成にしたことで、コストの最適化も図ることができました。ビジネス機会を損なわない安定性と可用性を確保でき、現在の当社ビジネスの状況に合った投資ができた手応えがあります。" 株式会社出前館執行役員プロダクト本部本部長米山輝一氏

システム概要 • 新型コロナ禍以降、需要はこれまで以上に急拡大し、ユーザーや加盟店のユーザビリティを損なわず、高いパフォーマンスで安定稼働が可能なシステム基盤の再構築が急務に • サービスを支えるシステム基盤は、オーダーを受けてデリバリーするまでのトランザクションを処理する更新系データベースと、これを同期した参照系データベースで構成導入効果
• 更新系にオンプレミスのOracle Exadata、参照系にOracle Exadata Database Serviceを導入し、安定したサービス提供に不可欠な優れた性能、高可用性を最適なコストで実現 • サービス負荷に応じた柔軟なリソース調整が可能に • 従来システムで課題となっていた更新系と参照系のデータ同期には、優れたコスト・パフォーマンスで大量の更新差分データをリアルタイムにレプリケーションできるOCI GoldenGateを採用 • 更新系データベースのバックアップおよびレプリケーションにはデータ保護専用のエンジニアド・システムであるOracle Database Zero Data Loss Recovery Applianceを導入し、徹底的にデータロスを排除する仕組みを構築 • 従来18時間も必要だったフルバックアップ処理を大幅に短縮オラクルのハイブリッド・クラウド構成でサービス需要の急拡大に対応する強力なシステム基盤を実現システム構成イメージ利用サービス・製品 • Oracle Exadata(更新系), Oracle Exadata Database Service(参照系) • OCI GoldenGate • Oracle Database Zero Data Loss Recovery Appliance • Oracle Consulting Service 顧客事例：出前館様 Copyright © 2024, Oracle and/or its affiliates 129 https://www.oracle.com/jp/news/announcement/demae-can-powers-service-infrastructure-with-oracle-2023-03-22/

Real-time connections streamline operations and analytics Business requirements 1. Enable
real-time service requests for 15,000 stores and services contractors 2. Enable real-time analytics Technical challenges to overcome • Achieve sub-second query response against a 1 billion record table • High volume: 20,000 requests per second, ½ million API calls per day Oracle solution • Capture on-prem changed data, transform into Kafka, and send to Azure event hub for publishing to multiple Azure services • Non-disruptive to existing on premises Oracle-based retail system (IBM Tririga) Business results • Improved API response time from 5 seconds to 100 ms • APIs power a mobile app and Interactive Voice Response (IVR) system • External contractors can securely transact and view up-to-date data Multicloud operational and analytics data sharing solution Store Operations Copyright © 2024, Oracle and/or its affiliates 137

Customer Example: American Airlines 131 Real-time (OCI → Azure) data
integration for Fraud Detection • American Airlines is one of the world’s largest airlines • They have Oracle DBs running on OCI supporting various applications including AAdvantage Program (AA’s milage program). • AA runs anomaly and fraud detection ML algorithms on Azure. They need to send real-time data from Oracle DBs running on OCI to Azure Data Lake Storage for performing real-time fraud detection analysis • • AA uses OCI GoldenGate to capture change data from Oracle DBs running on OCI and GoldenGate for Big Data running on Azure to load into Azure Data Lake Storage in parquet format (leveraging Interconnect: FastConnect + ExpressRoute networking) OCI GoldenGate & GoldenGate for Big Data for MultiCloud Replication Copyright © 2024, Oracle and/or its affiliates

Oracle Consulting Service(OCS) サービスメニュー紹介

133 • OCSではお客様が安心してGoldenGate/OCI GoldenGateを導入できるよう、様々なご支援が可能です。 • ご支援の例として、下記のサービスメニューについてご紹介します。 ◆ OCI GoldenGateについて詳しくなく、OCI GoldenGateの引き合いがあっても諦めている状況の場合
⇒ OCI GoldenGate Bootcamp ✓ 学んだ活用パターンや設計ノウハウを活かしてOCI GoldenGate導入の提案やデリバリが可能 ◆ クラウド環境とのデータ連携を早期に実現したい場合 ⇒ OCI GoldenGate導入スタートアップ・サービス ✓ OCI GoldenGateの環境を早期に作成できるため、実際に環境を動かしながら具体的な活用方法の検討が可能 ◆ OCI GoldenGate導入プロジェクトで早期に安全な導入を有識者とともに実現したい場合 ⇒ OCI GoldenGate データ移行支援サービス ✓ スキルトランスファーにより身に着けたスキルを次回以降の案件で活かすことが可能 OCSサービスメニューについて Copyright © 2024, Oracle and/or its affiliates

134 OCI GoldenGate Bootcamp Oracle Databaseのアップグレード/データ移行の際にOracle Cloud Infrastructure GoldenGate(OCIGG)を利用することで、停止時間を極小化することが可能です。ただし、
OCIGGは柔軟性が高い一方、製品機能/特徴を理解した上での設計/実装が重要になります。本支援では、勉強会とハンズオンを通して、 OCIGGのアーキテクチャ、活用事例、移行設計やトラブル対応のポイントをスキルトランスファーします。日本オラクル株式会社〒107-0061 東京都港区北青山 2-5-8 オラクル青山センター oracle.com/jp サービス費用参考価格: コンサル営業までお問い合わせくださいクラウド利用料金及び製品・サービスに関する詳細は、弊社担当営業までご連絡ください課題と解決策 OCIGGはシステム要件に合わせた柔軟な構成が可能である一方、非常に多機能であるため、様々なサービス要件を考慮した設計が必要になります。 OCIGGを利用したデータ移行のノウハウを、座学に加えCloud環境を利用したハンズオンを交えることでOCIGGのアーキテクチャ、移行設計やトラブル対応のポイントを効率よく習得されることをご支援させていただきます。コンサルサービス概要座学とハンズオンを通して、DBアップグレードに伴い、停止時間を最小限化する施策やデータ連携用途として利用するための、OCIGGの設計/運用ノウハウを学習します。 ✓ 概要編では、OCIGG概要および、プロジェクト難易度等をお伝え致します。 ✓ 設計編では、OCIGGを活用したより実践的な設計考慮点をお伝え致します。 ✓ 運用編では、OCIGG運用におけて想定されるトラブルやその対応方法、パフォーマンスチューニングをお伝え致します。概要編設計編運用編座学ハンズオンハンズオン環境準備座学ハンズオン Q&A • ソース用/ターゲット用各1つのDBを受講者単位でスキーマ分割して使用 • 各自でOCIGGを構築オラクルの強み導入実績が豊富で製品技術に精通したコンサルタントが、OCIGG導入ノウハウを1ヶ月程度でスキルトランスファーします。 OCIGG Oracle Base Database Service Oracle Base Database Service 座学ハンズオン Copyright © 2024, Oracle and/or its affiliates

135 OCI GoldenGate Bootcamp 前提条件 ✓ 勉強会およびハンズオンの参加者は最大10名までとします。 ✓ お客様にてハンズオンを実施するデータ移行元DB、データ移行先DBとして、2つのOracle Base
Database Service環境のご用意が必要です。 ✓ ハンズオンで連携するデータは、弊社がサンプルとして準備したものを使用します。 ✓ ハンズオンの作業主体はお客様であり、オラクルコンサルはハンズオンの開催およびファシリテートを行います。 ✓ Q&Aは勉強会・ハンズオンに関連する内容にのみ対応します。 ✓ 勉強会はデータベース移行時においてのOCIGG活用を想定したものであり、双方向伝播を含むデータ連携運用ノウハウを含むものではありません。双方向伝播を含むデータ連携についても、勉強会の対象にする場合は、別途ご相談ください。勉強会資料サンプルセミナーアジェンダ • OCIGG Bootcamp は以下のアジェンダを想定しています。第3回設計/運用編座学 • 運用方式 • 障害対応方式 • OCIGG詳細設計ポイント • データベース詳細設計 • OCIGG適用による現行システムへの影響 • OCIGG試験設計 • OCIGGの試験設計ハンズオン • DB障害時の OCIGG同期再開第2回設計編座学 • 初期データ移行方式 • 伝播方式 • 監視方式ハンズオン • 3つの初期移行方式第1回概要編座学 • OCIGGの全体像と製品概要 • OCIGGの概要 • OCIGG PJの全体像 • OCIGG PJ事例 • OCIGGのアーキテクチャ • 制約・考慮事項の検討 • OCIGGデータ連携方式/システム構成策定ハンズオン • 構築と動作確認 (単方向レプリケーション) Copyright © 2024, Oracle and/or its affiliates

136 OCI GoldenGate 導入スタートアップ・サービス Oracle Cloud Infrastructure GoldenGate(OCIGG)を活用することで、お客様のOracle Database上のデータをクラウド上のOracle
Databaseへ連携することが可能です。本サービスでデータ連携環境を早期構築することにより、クラウド上のデータベースをDR環境やクエリ・オフロード先の環境として活用できます。オラクルの強み導入実績が豊富で製品技術に精通したコンサルタントが、お客様の環境に応じた方式を検討し、短期間でデータ連携環境を構築します。日本オラクル株式会社〒107-0061 東京都港区北青山 2-5-8 オラクル青山センター oracle.com/jp 課題と解決策 Cloud活用に向けてのデータの準備にお困りではないでしょうか？ • OCIGGでデータ・レプリケーションを構成することで、オンプレミスデータベースのデータをCloud上のデータベースに連携ができます。 • データはほぼリアルタイム連携されるため、Cloud上のデータベースは、 DR環境やクエリ・オフロード先の環境として活用可能です。コンサルサービス概要ポイント • 連携元/連携先DBや、お客様に選定いただいたデータ連携対象表に対しての制限事項や考慮事項を整理 • クラウドサービス利用による素早い基盤構築 • データ連携の動作確認 • OCIGGを使用したデータ連携方法のレクチャ • OCIGG活用ユースケースディスカッション(オプション) 環境ヒアリング OCIGG 基盤構築データ連携確認レクチャ＆ディスカッション既存OnP DB の Cloud化 DB間データ連携 BaseDB ExaDB-D ADW ATP 既存 DB Cloud OnP データレプリケーション機能を用い、OnP DB のデータをCloud DBに連携 - 既存システムのトランザクションデータを元とし、Cloud環境を開発/テストで活用 - 計画外停止によるデータが使えない時間を排除サービス費用参考価格: コンサル営業までお問い合わせくださいクラウド利用料金及び製品・サービスに関する詳細は、弊社担当営業までご連絡ください OCIGG Copyright © 2024, Oracle and/or its affiliates

コンサル・サービス詳細支援作業に関する情報前提条件 ✓ 工数9人日を上限とし、3週間を目安とさせていだだきます ✓ OCIGGを使用するためのクラウドクレジット及びクラウド環境が用意されていることを前提とします ✓ 対象DBは連携元/連携先でそれぞれ1つとし、環境構築済みであることを前提とします
✓ 対象DBはOCIGGからOracle*Net経由で接続できる前提とします ✓ 対象テーブルは10テーブルを上限とします ✓ 対象テーブルのデータサイズは合計100GBを上限とします ✓ データ伝播方向は片方向のみとします ✓ データ伝播時間改善のためのチューニングが必要な場合、工数や支援期間が異なりますので、ご相談ください。 137 OCI GoldenGate 導入スタートアップ・サービス Oracle Cloud Infrastructure(OCI) Oracle Cloud Infrastructure GoldenGate (OCIGG) 貴社環境 (On-Premise) On-Premise Database 支援内容 Oracle お客様連携対象テーブルの選定副主 OCIGG構成検討主副 OCIGG基盤セットアップ主副 OCIGGデータ連携セットアップ主副データ初期移行主副データ連携確認主副ディスカッション主副 OCIGG Deployment Autonomous Data Warehouse Cloud(ADW) REST データ連携の実行及び収集された各種監視データの参照はコマンドライン、ブラウザ経由、またはREST APIを使用して操作可能データは、On-premise to Cloud, Cloud to Cloud, On-premise to On-premise等、柔軟な構成で連携が可能管理用通信実データ通信 Deployment Console Command Line Access Cloud Shell REST API システム・アーキテクチャ ※OCIGGに関する詳細な構成については弊社製品担当にご相談ください。 Copyright © 2024, Oracle and/or its affiliates

138 OCI GoldenGate データ移行支援サービス Oracle Cloud Infrastructure GoldenGate (OCIGG)を利用してお客様のデータベースを別のデータベースに移行するサービスです。要件ヒアリングによりお客様の要件に寄り添ったデータ移行方式を提案し、オラクルコンサルティングサービスを活用する
ことで効率良く短期間でのデータ移行をご支援します。課題と解決策 OCIGGを活用することでデータベース移行時の課題として多く挙げられる3つの課題を解決し、安全にデータベース移行を実現します。また、経験豊富なオラクルコンサルの活用で、製品リスクを回避し、高品質で抜け漏れのない設計のご支援が可能であるため、プロジェクト手戻りリスクの低減を期待できます。オラクルの強み導入実績が豊富で製品技術に精通したコンサルタントが、お客様の要件に応じた方式を検討し、データベースの移行をご支援します。コンサルサービス概要ポイント • データ連携時におけるシステム要件を整理します。求められる要件における製品の制約事項や考慮事項を確認し、対応策を検討します。 • データ連携システム要件に従い、OCIGGのシステム構成や初期データ移行方式を検討します。 • OCIGGに関連するOSやデータベースの設計項目、各プロセスのパラメータ設計項目をガイドします。 • 環境構築、サンプルテーブルへの伝播確認を支援します。 • 基盤試験のテスト項目をガイドし、テスト計画やテストシナリオの策定を支援します。要件定義方式設計物理設計環境構築基盤試験計画日本オラクル株式会社〒107-0061 東京都港区北青山 2-5-8 オラクル青山センター oracle.com/jp サービス費用参考価格: コンサル営業までお問い合わせくださいクラウド利用料金及び製品・サービスに関する詳細は、弊社担当営業までご連絡ください Copyright © 2024, Oracle and/or its affiliates

139 OCI GoldenGate データ移行支援サービスシステム・アーキテクチャ • On-Premiseのデータベース移行だけでなく、OCI上のデータベースへの移行にも Oracle Cloud Infrastructure
GoldenGate(OCIGG)をご活用いただけます。 • OCIGGは、REDOログファイルから最新の変更ログをTrailファイル形式に抽出 (Capture)、TrailファイルからSQL文に変換して適用(Replicat)させる仕組みのため、低レイテンシを維持できるアーキテクチャです。 OCI Japan DC OCI Japan DC Exadata Cloud Service 他社Cloud コンサル・サービス詳細 • 支援作業に関する情報前提条件 ✓ 支援期間は、約3か月間を目安とさせていだだきます。 ✓ データ伝播方向は片方向を前提とします。 ✓ 設計書や手順書の作成、実機作業は貴社に実施いただきます。 ✓ 対象DBは連携元/連携先でそれぞれ1つとし、データベースは構築済みであることを前提します。 ✓ 連携元と連携先の環境はOCIGGの機能で通信可能である前提とします。 ✓ 下記に該当する場合は、別途工数の調整が必要となります。 ➢ 双方向同期(Active-Active利用)や段階移行が想定される場合 ➢ 実機作業でコンサルタントの立会いが必要な場合 ➢ 基盤試験以降のフェーズでご支援が必要な場合 ➢ OCIやExaDB-D/Exadataの構築についてご支援が必要な場合支援内容 Oracle お客様データ連携要件策定/制約・考慮事項検討主副連携対象テーブル精査副主 OCIGGシステム構成/初期データ移行方式策定主副 OCIGG物理設計主副 OCIGG環境構築副主 OCIGG基盤試験計画策定主副 Oracle Base Database Service Oracle Base Database Service Capture Trail Replicat OCIGG Capture Trail Replicat OCIGG Copyright © 2024, Oracle and/or its affiliates

Thank you

Our mission is to help people see data in new
ways, discover insights, unlock endless possibilities.

Oracle GoldenGate 23ai 導入Tips

Oracle GoldenGate 23ai 導入Tips

More Decks by oracle4engineer

Other Decks in Technology

Featured

Transcript