【Oracle GoldenGate 最新情報＆テクニカルセミナー】[Session02] Oracle GoldenGate 23ai 新機能紹介とテクニカル Tips

【Session-2】 Oracle GoldenGate 23ai 新機能紹介とテクニカル Tips 2024年7月2日日本オラクル株式会社クラウド事業統括クラウド・エンジニアリングCOE統括
データベース・ソリューション部橋本琢爾 Copyright © 2024, Oracle and/or its affiliates 1 Oracle GoldenGate 最新情報＆テクニカルセミナー

以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することを確約するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリース、時期及び価格については、弊社の裁量により決定され、変更される可能性があります。 Safe harbor statement
2 Copyright © 2024, Oracle and/or its affiliates

Agenda - GoldenGate 23ai 新機能紹介とテクニカル Tips Copyright © 2024, Oracle
and/or its affiliates 3 3 GoldenGate ユースケースとまとめ社内での動作確認も含めたユース・ケースのご紹介 2 GoldenGate 23ai 新機能 GoldenGate 23ai の一部の新機能について解説 1 GoldenGate 現状について基礎的な技術情報とオンプレミス、OCI GGの現状について

GoldenGate 機能拡張の推移 4 Copyright © 2024, Oracle and/or its affiliates
12c 18c 19c 21c 23ai GoldenGate 18.1 • Oracle Database 18c • ADWおよびATPへの搬送 • アイデンティティ列のサポート • その他のソースとターゲット • 行内データベース・アーカイブのサポート GoldenGate 12.x • Oracle Database 12.2 • マイクロサービスのアーキテクチャ • パラレルReplicat、自動CDR • 証跡の自己記述型メタデータ • プロシージャ・レプリケーション • 自動ハートビート表 • その他のソースとターゲット GoldenGate 19.1 • Oracle Database 19c • マイクロサービスのセキュリティ • Oracle用のクロス・エンディアン・リモート取得 • アップグレードが容易 • その他のソースとターゲット • パフォーマンス更新 GoldenGate 21.x • Oracle Database 21c • Oracle以外のビッグ・データ向けマイクロサービス • 新しい自動CDRルール • Oracle DBでの自動取得 • より多くのソースとターゲット (モンゴのキャプチャ、スノーフレークなど) • 簡易インストール GoldenGate 23ai • Oracle Database 23ai • 分散型AIベクトルとベクトル統合 • データ・ストリーム、AsyncAPI、CloudEvents • 高可用性クラスタ • StatsD、 Telegraf 可観測性 • 新しいGUI /レシピ/ ZeroETL • サードパーティIdP、新しい暗号化 • その他のソースとターゲットマイクロサービスアーキテクチャ Oracle Cloud マーケットプレイスストリーム分析完全管理型 Gen2クラウド GGフリーエディション AI Vector AsyncAPI

GoldenGate ユースケース 5 Copyright © 2024, Oracle and/or its affiliates
Active-Active, HA構成およびクロスリージョン Region A App Tier App Tier Region B App Tier On-prem Cloud 移行/ アップグレード OCI hosted databases 分析データ集約 App Tier Analytics SaaS Apps On- prem Apps Stream analytics App Tier <application events> <transaction events> Stream Analytics DIY Stream Analytics OCI-native, fully-managed pipeline builder Data offloading / data hub App 1 App 2 App …n <real-time read only data store> Downstream Marts and Analytics Micro/Mini Services Audit History (of Tx’s) AI基盤としてのデータ収集・連携

... エンタープライズ標準に最適な選択肢 6 Copyright © 2024, Oracle and/or its affiliates
DBMS Data Lakes NoSQL Streams Oracle technologies 3rd party databases 3rd party vector sources 3rd party messaging, NoSQL Business Updates DML & DDL Vector Changes Operational Systems OCI Streaming OCI Dataflow OCI Big Data Docs, Events/Alerts real-time events stream processing OCI Stream Analytics Exadata Cloud + Autonomous DB

Announcing Oracle GoldenGate 23ai – The next Long Term Support
Release Copyright © 2024, Oracle and/or its affiliates 7

GoldenGate 23.4 100’s of new features, full platform 8 Copyright
© 2024, Oracle and/or its affiliates GG Core (platform wide) GG for Oracle GG for Non-Oracle GG DAA/Big Data AI and Streaming Data • Interoperability for database vector types (heterogeneous capture & apply) • Replication (canonical format) of vectors • Publish and subscribe interfaces, with AsyncAPI (REST) & CloudEvents (JSON) for streaming Ease of use • Embedded WebUI UX Redesign • Native cross-platform Boolean support • Colmap to @DBFunction • Bi-Directional Loop Detection (new for several non-Oracle platforms) • Support special numeric values in column functions • Simplified configuration assistant (OGGCA) Observability and Diagnosability • Trail File Management • Observability unlocked with StatsD and Telegraf (23.4) • chkptdump Utility in GoldenGate Home Security and Governance • Trail File Encryption - OKV 21.4 support • Validate OAuth/SSO integration • IDP: Support token based authentication • Encrypt user data in cache files and persisted cached data files Performance – Resilience • Clustered GoldenGate - Configuration Service • Parallel Replicat - Automatic reconnects for replication continuity • Fast failure detection for distribution and target- initiated paths Oracle Database Features • Oracle vectors support • GoldenGate support for Oracle Blockchain and Immutable Tables • Oracle Boolean Datatype • Active-active replication support for Blockchain/Immutable Tables using ACDR • Lock-free reservation columns • Add support for tables with 4K columns for Oracle Database 23ai • GoldenGate replication support for JSON diff • Support for Oracle SQL Domains • Support coexistence of GoldenGate with Transient Logical Rolling Upgrades Observability and Diagnosability • AWR Enhancements • Integrated Diagnostics for integrated extracts and replicats Security and Governance • Native Capture and Apply User Roles in Oracle Database 23ai • GoldenGate Per PDB Extract • GoldenGate support for long passphrases Performance – Resilience • Integrate with DDL notification on target tables • Automatic Reconnects w/zero data loss • Automatic CDR Enhancements MySQL • Capture from Group Replication Cluster • Parallel Replicat in Bi-Directional Configurations • Ignore Unsupported Data Types • Support lower-case-table-names=1 • New MySQL and Compliant Databases Support SQL Server • Parallel Replicat in Bi-Directional Configurations • CDC Capture job and Always On Synchronization Status Monitoring • New SQL Server and Compliant DBs Support • Package Microsoft’s ODBC Driver 18 • DSN-less connectivity PostgreSQL • Capture from Partitioned Tables • Precise instantiation using PostgreSQL snapshots • Support for ENUM (user defined data types) and ARRAYs Sybase, Teradata, and TimesTen • Teradata Vantage (2.4) and VantageCloud • Microservices Architecture builds • GoldenGate for Delivery to OCI TimesTen IBM DB2 • New Data Type Support • Usability Enhancement for iSeries and zSeries • Microservices Architecture to LUW and iSeries HP NSK • Various operational enhancements • @SIZEOF () in support of parsing T24 tokens • Enscribe File Close Operations Enhancement • RMTHOSTALT for High Availability Switching Big Data, Kafka and NoSQLFeatures • Databricks Delivery • Snowflake Streaming Handler • Stage and Merge Improvements • Support Avro formatting based on schema provided by Avro Metadata Provider. • Google Pub/Sub Delivery • Auto Table Creation • MongoDB Bi-directional replication • XAG Support for GG4DAA • Redis Delivery • GCP BigQuery Stage and Merge • MongoDB Capture • GGS Integrations • Cassandra 4x & DSE Capture MicroTX Enterprise Edition – First release 23.4 • Transaction Patterns Supported • Long Running Actions (LRA) • Try-Confirm/Cancel (TCC) • MicroTx XA • Unique Resource Manager Proxy Approach • Simplified Application Development • Interceptors to Simplify Application Development • Simplified Application Development • MicroTx Libraries for Spring Boot • XA Transaction Interoperability • WebLogic Applications as XA Participant • APEX (ORDS) Application as XA Participant • ORDS Applications as XA Participants • Databases/Resource Managers for XA Oracle, PostgreSQL, DB2/Z & MicroTX updates GA now, the rest planned for Mid-2024 ※2024年6月末時点の情報

GoldenGate Certification Certification Matrix の公開 OCI GoldenGate マニュアルより 9 Copyright
© 2024, Oracle and/or its affiliates https://www.oracle.com/integration/goldengate/certifications/ https://docs.oracle.com/en/cloud/paas/goldengate-service/wxntz/#GUID- 174CFBB6-ABF6-4199-BED4-F0F2DD7124B4

GoldenGate 23ai 全体像の理解 10 Copyright © 2024, Oracle and/or its
affiliates GoldenGate (Core) forDB GoldenGate for Oracle GoldenGate for non-Oracle forDAA for Big Data Streaming / Analytics Streaming (AsyncAPI) Microservice Tx management (ODI) Data Transforms Veridata 補完 <対象> <S/W> Oracle Database Oracle Database 以外 (MySQL,PostgreSQL,SQL Server …) Autonomous Database, OCI Object Storage databricks, snowflake … OCI Streaming (Kafka) OCI Stream Analytics … AsyncAPI MicroTx EE (分散アーキテクチャ管理との連携) ETL/ELT 連携データ突合および修正オンプレミス GoldenGate 製品群 OCI GoldenGate で提供予定

Oracle GoldenGate 23ai GoldenGate 概要 • Data Guard / Active
Data Guard との違い Oracle が提供するデータベースのレプリケーション製品・機能において GoldenGate と Data Guard の違いを明確化 • GoldenGate の技術概要プロセスの構成例や内部動作を簡単に解説するとともに、論理的なレプリケーションにおけるサポートについて理解する Copyright © 2024, Oracle and/or its affiliates 11

GoldenGate 23ai Data Guard / Active Data Guard GoldenGate (for
Database) 12 Copyright © 2024, Oracle and/or its affiliates SYNC or ASYNC Redo transport Standby Site RFS MRP Standby Database Standby Redo Logs Primary Site LG WR NSS/ TT SG A REDO BUFFER Primary Database Online Redo Logs • DBからDBの物理的なレプリケーション • ランサムウェアの保護 • 重要な情報のみが複製 • 効率的で高性能 • 暗黙的な整合性 Data Guard replication Source Site Source Database Target Site Target Database Distribution Receiver • 表から表の論理的なレプリケーション • 証跡ファイル(中間ファイル)を介した非同期連携 • 変更履歴のみの伝播 • 高い柔軟性 - 双方向も可能 • 環境差異への対応 (version, endian, OS, DB) GoldenGate replication ASYNC Trail transport mount or Read Only R/W R/W R/W

Desupported “Classic Features” 13 Copyright © 2024, Oracle and/or its
affiliates Classic Extract Desupported in 21c Classic Architecture Desupported in 23ai Microservice Integrated

GoldenGate 23ai GoldenGate (for Oracle Database) 14 Copyright © 2024,
Oracle and/or its affiliates Source Site Source Database Target Site Target Database Distribution Receiver ASYNC Trail transport R/W R/W トランザクション (PDB) Trail File Trail File トランザクション (PDB) Log Miner XStream (API) Distribution Receiver Trail File Trail File 双方向可能 Integrated

GoldenGate 23ai サポート対象の理解 15 Copyright © 2024, Oracle and/or its
affiliates https://docs.oracle.com/en/middleware/goldengate/core/23/coredoc/prepare-oracle-understanding-whats-supported.html#GUID-2F0178C5-B77F-4EF9-A47A-833E904D7691 https://www.oracle.com/integration/goldengate/certifications/ レコードの特定のためのKEYが必要なので、表にカラムが１つしか無く、そのデータ型が LOBなどの場合はレプリケーションができない

GoldenGate 23ai 様々な実装パターン (ローカル構成とHUB構成) ローカル構成 (DBと併設されるケース) HUB構成 (DBとは独立した実行環境) 16 Copyright
© 2024, Oracle and/or its affiliates Source Site Source Database Target Site Target Database Dist Rec ASYNC Trail transport 実行環境 = GoldenGate Deployment Local Site (DC / Cloud Region) Source Database Target Database ASYNC SourceとTargetが同じTechnology typeで実装可能異なるTechnology typeでは Deployment が分かれる

Oracle GoldenGate 23ai GoldenGate Distributed Application and Analytics • 異なるTechnology
Type との連携 Copyright © 2024, Oracle and/or its affiliates 17

GoldenGate 23ai 全体像の理解 (再掲) 18 Copyright © 2024, Oracle and/or
its affiliates GoldenGate (Core) forDB GoldenGate for Oracle GoldenGate for non-Oracle forDAA for Big Data Streaming / Analytics Streaming (AsyncAPI) Microservice Tx management (ODI) Data Transforms Veridata 補完 <対象> <製品> Oracle Database Oracle Database 以外 (MySQL,PostgreSQL,SQL Server …) Autonomous Database, OCI Object Storage databricks, snowflake … OCI Streaming (Kafka) OCI Stream Analytics … AsyncAPI MicroTx EE (分散アーキテクチャ管理との連携) ETL/ELT 連携データ突合および修正オンプレミス GoldenGate 製品群 OCI GoldenGate で提供予定

GoldenGate 23ai 様々な実装パターン (異なるTechnology type) 異なるTechnology type 連携 (DB :
non-Oracle) 異なるTechnology type 連携 (Distributed Application) 19 Copyright © 2024, Oracle and/or its affiliates Source Source Database Target Target Database Dist Rec DB2/z GG for DB (non-Oracle) GG for DB (Oracle) Source Source Database Target Dist Rec GG for DB (Oracle) OCI Streaming GG for DAA (Kafka ハンドラ) GG for DAA (OCI Storage ハンドラ) OCI Object Storage Extract 区切りテキスト XML JSON Avro Rec Replicat Replicat OCI 同一リジョンでもデプロイメントは2つに分けれます

GoldenGate 23ai GoldenGate (for DAA) Big Data 系と連携する根幹であるファイル・アダプタの動作を解説 20 Copyright
© 2024, Oracle and/or its affiliates Source Site Source Database Target Site Target Data Source Distribution Receiver ASYNC Trail transport R/W トランザクション (PDB) Trail File Trail File Log miner XStream (API) Big Data用各ハンドラ(lib) 区切りテキスト XML JSON Avro SCOTT.EMP_2022-12-08_17-12-08.020.json --- { "table":"SCOTT.EMP", "op_type":"U", "op_ts":"2022-12-08 17:32:02.000000", "current_ts":"2022-12-08 17:12:07.996000", "pos":"00000000020000002563", "before":{"EMPNO":7788,"SAL":3000.00}, "after":{"EMPNO":7788,"SAL":2000.00} } JSONのサンプル SQL>update emp set sal=2000 where ename = 'SCOTT’; SQL>commit;

New GoldenGate for Distributed Applications and Analytics アプリケーション開発者、データエンジニア、データ利用者のためのシンプルな単一パッケージ 21 Copyright
© 2024, Oracle and/or its affiliates GoldenGate for Distributed Applications and Analytics for DBMSs for NoSQL for Warehouses for Events & Messaging for Big Data & Lakehouses for Stream Processing for Application Development GG for Oracle GG for Non-Oracle GG for Mainframes capture or deliver transactions + events deliver data transactions + events microservices Tx management streaming data prep, pipelines + analytics data streams (asyncAPI) * separately priced products 主にBig DataやObject Storage など適用のみのケース Kafka や一部Capture が可能な Big Data ソリューション Oracle Stream Analytics (別製品だったものを統合)

New GoldenGate for Distributed Applications and Analytics アプリケーション開発者、データエンジニア、データ利用者のためのシンプルな単一パッケージ 22 Copyright
© 2024, Oracle and/or its affiliates GoldenGate Data Streams – JSON形式のデータ・イベントへの新しいパブリッシュ/サブスクライブRESTインタフェース。オープンなAsyncAPI標準を活用して、ソフトウェア・クライアントは、Apache Kafkaのような複雑で高価なメッセージング・ソフトウェアを立てることなく、GoldenGateから変更イベントに直接サブスクライブできるようになりました。お客様は、GoldenGate ストリーミング・データ・チャネルから直接「ファン・アウト」スタイルのデータ配信をサポートできるようになりました。

New Database Roles New Simplified GUI/UX StatsD Telegraph Integration OCI
IAM Integration JSON Relational Duality Oracle GoldenGate next-generation AI with distributed vector support PDB Extract Capture DDL Notification on Target Tables Microservices Architecture Only Non-Oracle & Big Data Technology Online DDL + EBR AWR Enhancement Data Streams Pub-Sub AsyncAPI High Availability Clusters Trail Files Management 23ai Database New Features Support Integrated Diagnostics for IE/IR ACDR Enhancements @Dbfunction Mapping GG Free Recipes NEW IN 23ai Copyright © 2024, Oracle and/or its affiliates 24

ベクトルレプリケーションによる分散AI処理 25 Copyright © 2024, Oracle and/or its affiliates A.ベクトルをOracleベクトル・データベースに移行
B.ベクトル変更の複製/連結 C.マルチクラウドのマルチアクティブOracleベクター・データベース D.検索エンジンへの変更(テキスト/ベクトル)のストリーム AIアプリA AIアプリB AIアプリC アプリA AIアプリB *埋込みモデルはベクトル・ストア間で同じである必要があります *埋込みモデルはベクトル・ストア間で同じである必要があります

Retrieval Augmented Generation ビジネス上の問題にGenAIを適用するための実用的なIT作業がすでに始まっており、ほとんどの組織がどのように開始されているかは次のとおりです。 1. 最初からLLM - 自分のデータから自分のモデルを作成します。
2. 微調整されたLLM - プライベート・ドメインでトレーニング済みのLLMを精製 3. Prompt Engineering- 独自のプライベート・データを使用してプロンプトを拡張 (拡張生成の取得) 26 Copyright © 2024, Oracle and/or its affiliates

Retrieval Augmented Generation 27 Copyright © 2024, Oracle and/or its
affiliates ベクトルデータベーステキスト生成モデルチャンクドキュメントをチャンク分割、ベクトル化しベクトルDBへロード Top4 Prompt Completion [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] Prompt ユーザーの自然言語の質問はベクトルとしてエンコードされ、AIベクトル検索に送信されるユーザーの質問に一致するデータベースに格納されているドキュメントなどのプライベート・コンテンツを検索ベクトル検索結果、類似度の高いチャンクテキストとプロンプトテキストをLLMに入力 GenAIは、コンテンツと一般的な知識を使用して、情報に基づいた回答を提供どこから？ PDF

RAG実装の難所と施策 28 Copyright © 2024, Oracle and/or its affiliates ベクトル
データベーステキスト生成モデル prompt Completion [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] Top4 チャンク Enhanced prompt ①Query Transformation テキスト生成モデルを使いオリジナルのプロンプトを別のテキストに変換 • Decomposition(Sub Query) • Expansion(RAG Fusion) • Hypothetical Document Embeddings • Routing • Step Back Prompt • Structuring Multi-modal モデル ⑤Multi-modalモデルテキスト生成モデルをマルチモーダルモデルに置き換え、画像やチャートの内容に関するテキスト生成もできるようにする ⑥RAGのフロー設計を変える • Self RAG • Adaptive RAG • Corrective RAG ④Reranking Rerankモデルを使って類似検索結果精度を修正し本当に必要なチャンクテキストをLLMに入力するチャンク Rerank Top2 prompt prompt Rerank モデル ③Semantic Chunking 埋め込みモデルを使ったセマンティックチャンキング埋め込みモデル ②Hybrid Search ベクトル類似検索とキーワード検索の併用テキスト生成モデル

RAGの構成要素 - Generative AI Agents Service(BETA)概要 29 Copyright © 2024,
Oracle and/or its affiliates • Generative AI Serviceと、その他のサービスのオーケストレーションをフルマネージドのPaaSとして提供 • ノーコード、Web UIウィザードでの検索拡張生成(RAG : Retrieval Augmented Generation)のプロビジョニング • チャットUI機能 • Oracle Database 23ai および MySQL Database Serviceは今後対応予定 Vector Store LLM Cache Store Application code Orchestration OCI Generative AI Service OCI OpenSearch Service OCI Redis Service OCI Generative AI Agents Service • ナレッジベースから関連ドキュメントを検索 • ドキュメントの関連性を再ランク付け • 文章と元のクエリを送信し、一貫したレスポンスを生成プロンプトをAgentに連携するコードのみ RAG構成のメンテナンスは Oracle任せ Rerank Model prompt prompt Completion

Oracle AI Vector Search 概要 AI Vector Search Technical Architecture
30 Copyright © 2024, Oracle and/or its affiliates ① 非構造化データからの生成 Oracle Databaseの外部または内部で実行でき内部で実行する場合、 ONNX標準を使用してベクトル埋込みモデルをインポートする非構造化データは、Oracle Databaseの内部または外部に配置できる(LOB) ②ベクトル埋め込みを生成非構造化データおよびビジネス・リレーショナル・データとともに保存 SQL*Loaderまたはデータ・ポンプでロード可能で、リアルタイムデータ連携では GoldenGate 23aiも使用可能 ③ ベクトル索引通常のテーブル列にインデックスを作成する方法と同様に、ベクトル埋め込みにベクトルインデックスを作成巨大なベクトル空間に対して類似検索を実行するのに有益 (IVF_FLAT / HNSW) ④ リレーショナルとベクトルの関連付け非構造化データをチャンクに変換してから、各チャンクにベクトル埋込みを生成し、従来のリレーショナル・キー検索との類似性を組み合せる ⑤ RAG AI Vector Searchは、 LangChainなどの一般的なフレームワークと DBMS_VECTOR_CHAIN PLSQLパッケージを使用して RAGを有効化できる https://docs.oracle.com/en/database/oracle/oracle-database/23/vsiad/aivs_genarch.html 表索引プロシージャパッケージ

Oracle Database と AI Vector Search GoldenGate (for Oracle Database)
- 様々なデータソースの架け橋 31 Copyright © 2024, Oracle and/or its affiliates Source Site Source Database Target Site Target Database Distribution Receiver ASYNC Trail transport R/W R/W Trail File Trail File VECTOR型 VECTOR型表のレプリケーション連携例 UTL_TO_EMBEDDING

Oracle Database と AI Vector Search データファブリック・データメッシュ 32 Copyright ©
2024, Oracle and/or its affiliates Oracle technologies 3rd party databases Relational Vectors real-time data 3rd party vector sources 3rd party messaging, NoSQL Business Updates Docs, Events/Alerts DML & DDL Vector Changes Prompt Chat History Enhanced Prompt “What’s the policy?” “What are my corporate benefits?” Embedding Model Embedding Similarity Search Augmented Prompt LLM / GPT Retrieval Augmented Generation (RAG) Business Operations Vector Hub Real-time Data trusted answers from fresh data to_embeddings() Business Data fresh business data and reduced hallucinations in your Generative AI answers (新鮮なビジネスデータとジェネレーティブAIによる幻覚の低減) どこから？

ストリーミング・パイプラインからの実用的なAI/ML データファブリック・データメッシュ 33 Copyright © 2024, Oracle and/or its affiliates
Business Operations イベントインサイト類似性検索機械学習外部 AI/ML アラートデータ製品 Oracle technologies 3rd party databases 3rd party messaging, NoSQL AI/ML サービス統合

GoldenGate 23ai for AI? 34 Copyright © 2024, Oracle and/or
its affiliates 1 より優れたRAG (取得拡張生成) 2 AIモデルのトレーニングと微調整のためのデータの向上

GoldenGate Data Streams with AsyncAPI (イベント駆動アーキテクチャ) 36 Copyright © 2024,
Oracle and/or its affiliates データプロデューサが AsyncAPI チャネルを介し、JSON形式の CloudEvents(※) としてトランザクション・イベントのストリームを公開するための新しい pub/sub API Standardized Pub/Sub APIs Real-time data events Message Data Tx’s • Inserts • Updates • Deletes • GET/PUT • Schema Changes YAML descriptor リアルタイム・データ・イベントを任意のデータ・コンシューマに公開クライアント・コード・ジェネレータ: データ・コンシューマ向けの複雑なKafkaクラスタのバイパス Benefits シンプルなイベント・ソーシングとトランザクション・アウトボックス・パターン AsyncAPIはイベント駆動型アーキテクチャの未来 Channel A Channel B Channel …n (※)イベントデータを一般的な方法で記述するための仕様

GoldenGate 証跡から AsyncAPI チャネルの作成 37 Copyright © 2024, Oracle and/or
its affiliates Distribution Service データ製品プロデューサ

Streaming Data Products 38 Copyright © 2024, Oracle and/or its
affiliates Transaction Outbox, with 23ai Duality Views simplify creation of JSON objects and eliminate redundant storage Data Producer application microservice A single database transaction base tables base tables base tables GoldenGate Data Streams Channel A Channel B Channel …n application microservice B Data Consumer publish subscribe consume JSON msg. CDC event exact-once ordered events INSERT, UPDATE, DELETE data is physically stored once, in the base tables JSON msg. Transaction Outbox, GoldenGate Data Streams low latency GoldenGate AsyncAPI for pub/sub broker Data Producer application microservice A single database transaction base tables base tables base tables outbox INSERT, UPDATE, DELETE INSERT JSON msg. GoldenGate Data Streams Channel A Channel B Channel …n application microservice B Data Consumer publish subscribe consume JSON msg. CDC event exact-once ordered events Transaction Outbox, GoldenGate & Kafka low latency change data with Apache Kafka as the pub/sub broker Data Producer application microservice A single database transaction base tables base tables base tables outbox INSERT, UPDATE, DELETE INSERT JSON msg. WSS/TLS over WAN GoldenGate distribution microservice GoldenGate receiver microservice Apache Kafka REP consumer group 2 consumer group 1 partition 0 partition 1 partition 2 application microservice B Data Consumer topic subscribe consume JSON msg. CDC event Classic Transaction Outbox solution for atomic (ACID) commit of an outgoing message Data Producer application microservice A single database transaction base tables base tables base tables outbox INSERT, UPDATE, DELETE INSERT JSON msg. message broker message relay polling queries publish application microservice B subscribe consume JSON msg. Data Consumer GA planned for 2H-2024 ※2024年6月末時点の情報

Existing High Availability Alternatives Database Hosted • GGはDBホストで実行され、アクティブ/アクティブで稼働 •
DBFSによる耐久性 • ローカルDR(ADGおよびバックアップ) • プライマリDBは、バージョン、パッチまたはエンディアンが異なる場合があります。 • RAC、XAG、ADG、OGG、DBFS、GDS Hub/Mesh Style • GGは個別のハブ/クラスタで実行 • プライマリDBは、バージョン、パッチ・レベルまたはエンディアンが異なる場合があります。 • ACFSによる耐久性 • ローカルDR(ADGおよびバックアップ) • RAC、XAG、ADG、OGG、DBFS、GDS Buddy Pair • GGはどこでも実行(DB、ハブ/メッシュ) • ローカルファイルシステム • DataGuardなし、RACなし • ペアDBは同じエンディアンであること • 100% GoldenGateデータ損失ゼロ、ダウンタイムなしのソリューション • OKV地理配分で使用 • CDR/AutoCDR考慮 40 Copyright © 2024, Oracle and/or its affiliates N-way GoldenGa te Each pair shares endianness, similar patching lifecycle and they swap Standby Redo Logs (SRLs) #1 Recommended 既存のオンプレミスのお客様、既存のHAおよびMAA Platinumソリューション (DBFS、ACFSおよびXAG Clusterwareを使用)は、引き続きGoldenGate 23ai以上で正常に動作します

Automatic Conflict Detection & Resolution ( Auto CDR ) Oracle
GoldenGateは、すべての分散データ・プラットフォームに組み込まれているCDRポリシーに対して、最も高度な機能の一部を提供します。 41 ※ 18c,19c では競合種類に大きな仕様拡張は無し Copyright © 2024, Oracle and/or its affiliates 基本的なCDR (任意のDB) 自動CDR (Oracle DB) データ競合のタイプ ✔ ✔ 挿入、更新、削除の競合異なるDBで影響を受ける同じ行、解決ポリシーが最早または最新のタイムスタンプが優先として構成可能、削除が常に優先 ✖ ✔ 削除- 挿入/更新の競合行はあるサイトで削除されましたが、別のサイトで更新されました ✖ ✔ デルタ解像度値を自動的に調整します(例: 借方+順次貸方) ✖ ✔ サイト優先度特定のサイトが常に獲得すべきポリシー ✖ ✔ 列グループの競合異なるサイトで更新される同じ行の異なる論理部分 ✖ ✔ ピース単位のLOB更新 LOB操作のポリシー: LOB WRITE、LOB ERASEおよびLOB TRIM ✖ ✔ 墓石の追跡削除操作またはPK更新用に構成可能(イメージの前) 簡単な例: メアリーの口座の当初の残高は10,000ドルです。メアリーはカリフォルニアの彼女の家の近くの支店に2000ドルを預けた。同時に、ニューヨークに旅行しているメアリーの夫のポールは、NYC支店に1000ドルを預けました。Paulはまた、同じアカウントの住所をサンタクララの新しいオフィス所在地に更新します。GoldenGate CDRは、最終残高を$13,000に調整するために使用されます。また、最新の更新された住所は最終住所として取得されます。

レコード競合が存在するか否か【補足資料】 GoldenGate における双方向と疑似双方向 42 双方向同期 (CDRが必要なケース) 疑似・双方向同期 update …
where key=‘P001’ update … where key=‘P001’ 同一データを各インスタンスで同時に更新するケース (レコード競合解消が必須) update … where key=‘P001’ update … where key=‘P002’ 同一表で異なるレコードまたは異なる表をそれぞれが更新 (レコード競合解消が不要) ※ただし、アプリケーションに依存表A 表A 表B 表B Copyright © 2024, Oracle and/or its affiliates

ルールベースの競合解決機能【補足資料】 CDR - Conflict Detection & Resolution 43 update
… ▲ ▲ ▲ where key=‘P001’ update … ◎ ◎ where key=‘P001’ 競合が発生 OGG 業務に沿った処理方式を実装 CDRによる競合解決ソース側でのキャプチャ時に、Before Image(変更前イメージ)とAfter Image(変更後イメージ)をTrailに格納し、Replicatでターゲット側に適用する際に競合を解決検知ルール解決ルール 1)検知と解決のルールを定義設定 2)Trailデータの取り込み 3)ターゲットデータの状態確認 4)競合検知後のルール確認と適用 Before Image After Image ルール Insert処理時の競合(一意制約違反)を検知 Update処理時にBefore Imageとの違いを検知 Update処理時に対象が存在しないことを検知 Delete処理時にBefore Imageとの違いを検知 Delete処理時に対象が存在しないことを検知 OVERWRITE(上書き) IGNORE(スキップ) DISCARD(スキップ) USEMAX[EQ](値比較) USEMIN[EQ] (値比較) ターゲット列 Copyright © 2024, Oracle and/or its affiliates

ルールベースの競合解決機能レプリケーション中のデータ (レコード内容は同一性を維持) 【補足資料】 CDRとは - Conflict Detection & Resolution
44 Column Before update After update ID 1 1 NAME Essentials of Oracle GoldenGate Essentials of Oracle GoldenGate AUTOHR Taro Aoyama Taro Aoyama IN_STOCK 1000 1500 LAST_UPD_TS 24-JAN-15 04.41.40.900990 PM 24-JAN-15 05.41.40.900990 PM Column Before update After update ID 1 1 NAME Essentials of Oracle GoldenGate Essentials of Oracle GoldenGate AUTOHR Taro Aoyama Dr. Taro IN_STOCK 1000 800 LAST_UPD_TS 24-JAN-15 04.41.40.900990 PM 24-JAN-15 06.41.40.900990 PM 24-JAN-15 5:41 24-JAN-15 6:41 業務上の処理として • IN_STOCK カラムは正味の値とする • IN_STOCK 以外は最新データを保持するルール Copyright © 2024, Oracle and/or its affiliates

ルールベースの競合解決機能 IN-STOCK は正味の値にする【補足資料】 CDRとは - Conflict Detection & Resolution
45 Column Before update After update ID 1 1 NAME Essentials of Oracle GoldenGate Essentials of Oracle GoldenGate AUTOHR Taro Aoyama Dr. Taro IN_STOCK 1000 1500-200=1300 LAST_UPD_TS 24-JAN-15 04.41.40.900990 PM 24-JAN-15 06.41.40.900990 PM Column Before update After update ID 1 1 NAME Essentials of Oracle GoldenGate Essentials of Oracle GoldenGate AUTOHR Taro Aoyama Dr. Taro IN_STOCK 1000 800＋500=1300 LAST_UPD_TS 24-JAN-15 04.41.40.900990 PM 24-JAN-15 06.41.40.900990 PM 1000 1500 1000 800 +500 -200 -200 +500 ルールに従って • IN_STOCK カラムは正味の値とする • IN_STOCK 以外は最新データへ置き換えるルールに従って • IN_STOCK カラムは正味の値とする • IN_STOCK 以外は最新データなのでそのまま Copyright © 2024, Oracle and/or its affiliates

New: GoldenGate 23ai High Availability Clusters 47 Copyright © 2024,
Oracle and/or its affiliates Goal • シンプルなGoldenGate HAアーキテクチャ • OracleおよびOracle以外のDB • マルチクラウド、オンプレミスまたはOCI GoldenGate Scope • Raft consensus model • 共有ファイル・システム(DBFS、ACFS)を排除し、XAG Clusterwareの必要性を排除 • 論理的、自動競合解決と非同期 Supported patterns • フェイルオーバー、アクティブ/アクティブ、マルチアクティブ • コンピュートHA - 単一データ・センター • マルチドメインHA - 単一リージョン • マルチリージョンHA – planet scale DC2 DC3 DC1 Leader / Primary Followers / Hot Standby Observers (optional) Deployment Key: GA planned for 2H-2024 ※2024年6月末時点の情報

Simple user experience for 99.999% High Availability 48 Copyright ©
2024, Oracle and/or its affiliates 1 OCI GoldenGate Cloud Users 1. リーダー・リージョンでのデプロイメントの作成 2. HAクラスタの場合は「チェックボックス」を選択 3. フォロワーの場所を選択 • リーダーと同じAD内 • 同一リージョンで異なるAD • 異なるリージョン On Premises Environments 2 GoldenGate On-Premise Users 1. 技術情報の確認 • 90% shorter than existing HA paper 2. ホストへのGoldenGae S/W インストール • Hosts can be in same region or many 3. リーダーからのHAクラスタの設定 • Shared Config Service • Raft の導入 *OCI-GG users will not need to know details of how it works

GoldenGate 23ai HA Clusters – SLAs 基本的なフェイルオーバー・ソリューション、およびより複雑なアクティブ/アクティブおよびマルチアクティブ Compute HA •
~99.99%, <52min downtime/yr • single Domain, multiple Computes • replicated Trails, single AD config store Multi-Domain HA • ~99.995%, <26min downtime/yr • multiple Domains & Computes • replicated Trails, regional config store Multi-Region HA • ~99.999%, <5min downtime/yr • multiple Regions, Domains & Computes • using load balancer, database RTO=0 49 RPO=0, zero data loss | RTO target ~3-5 seconds | OCI, on-prem, or any cloud | external consistency during recovery window is a function of pre-failure Tx Lag Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai microservices user interface 51 Copyright © 2024, Oracle
and/or its affiliates GGの一般的な導入のための統合UX Service Manager • Admin Microservice • Distribution Microservice • Receiver Microservice • Performance Metrics 新しい組込みコンポーネント • Certificates config • アイデンティティ/SSO統 • Trail File 管理 • 統合診断 • Etc.

Service specific UX’s 52 Copyright © 2024, Oracle and/or its
affiliates

Copyright © 2024, Oracle and/or its affiliates GoldenGate 23ai diagnostics
improvements Trail File Management Integrated Diagnostics AWR Enhancements StatsD Telemetry ワークロードの問題、構成の誤り(索引の不足によるレプリケーションSQLの低速化など)、パフォーマンス・ボトルネックの原因(データベース側やデータベース外の GoldenGateプロセスなど)を判別しやすくなるため、レプリケーション・パフォーマンスの問題のトラブルシューティングが大幅に簡素化されるオプションで、GoldenGate マイクロサービス層のメトリックを、 StatsD形式のテレメトリをサポートするコレクション・フレームワーク(InfluxDBなどの時系列データベースや Oracleデータベースに直接)に統合できるため、トレンド分析および予測インジケータの決定のための耐久性のあるシステム・イベントの収集が容易になるマイクロサービスGUIから直接、統合抽出、 Replicat(IE)および統合Replicat(IR)に対する UTL_RPADVサポート (オンデマンドで統計を収集することも、監視ジョブを作成してOracle Replicationのパフォーマンスを継続的に監視することも可能) GoldenGateユーザーは、証跡に含まれる詳細に関するアーカイブ、パージ、レポートなどの新しいタスクを含め、マイクロサービスGUI内から直接証跡ファイルを表示および管理できる 54

Copyright © 2024, Oracle and/or its affiliates GoldenGate 23ai observability
with StatsD and Telegraf (ATP) Autonomous Transaction Processing GoldenGate Stream Analytics GG Receive GG Admin GG Metrics GG Distribute GoldenGateは現在、オプションでGGマイクロサービスからテレメトリをStatsD形式でプッシュ • パフォーマンスの向上、REST APIへの影響なし、低レイテンシに最適 Telegrafなどの任意のStatsDデーモンは、メトリックを自動的に収集および集計 • 時系列データベース/Oracle DBにGGメトリックを格納して時系列分析を行う • リアルタイム・アラートのためにメトリックをストリーム・プロセッサ(KafkaやGG Stream Analyticsなど)に送信 * GoldenGate 23aiの将来のバージョンには、Telegrafのオプションのインストールが含まれる場合があります 55

IAM Integration JSON Relational Duality Oracle GoldenGate next-generation AI with distributed vector support PDB Extract Capture DDL Notification on Target Tables Microservices Architecture Only Non-Oracle & Big Data Technology Online DDL + EBR AWR Enhancement Data Streams Pub-Sub AsyncAPI High Availability Clusters Trail Files Management 23ai Database New Features Support Integrated Diagnostics for IE/IR ACDR Enhancements @Dbfunction Mapping GG Free Recipes Copyright © 2024, Oracle and/or its affiliates NEW IN 23ai 56

Database 23aiの新機能に対する幅広いサポート Oracle Database Features • JSON Relational Duality (extract/capture)
• Note: GA in post 23.4 bundle patch • Oracle Blockchainおよび不変表のGoldenGateサポート • Oracle Booleanデータ型 • ACDRを使用したブロックチェーン/不変表のアクティブ/アクティブ・レプリケーションのサポート • ロックフリー予約列 • Oracle Database 23aiの4K列を含む表のサポートの追加(行サイズが4MB未満) • JSON diffのGoldenGateレプリケーション・サポート • Oracle SQLドメインのサポート • GoldenGateと一時論理ローリング・アップグレードの共存をサポート • エディション・ベース再定義(EBR)のオンラインDDLサポート Observability and Diagnosability • AWRの拡張機能 • 統合診断- UTLRAPDVをマイクロサービスに統合 Security and Governance • 長いDBパスワードのGoldenGateサポート • Oracle DBにおけるユーザー・ロールによる Capture および Apply • PDB 単位での GoldenGate Extract Performance – Resilience • ターゲット表のDDL通知との統合 • データ損失ゼロの自動再接続 • 分散パスおよびターゲット開始パスの高速障害検出 • 自動CDRの拡張機能 • Windowsでの内部通信にネットワーク・ソケットのかわりに名前付きパイプを使用 Copyright © 2024, Oracle and/or its affiliates 57

エディション・ベース再定義(EBR)のオンラインDDL Background • Oracle DBのエディションベースの再定義(EBR)は、データベースをオンラインに保ちながらアプリケーションをアップグレードできる強力な機能であり、ユーザーのダウンタイムを最小限に抑えることができます。これは、停止が発生しない大規模なミッション・クリティカルなシステムに特に重要です。 Problem • データベース23aiより前は、一部のオンラインDDL操作では、サプリメンタル・ロギングがオンのときにオブジェクト・レベルのロックが発生す
る可能性があります。このため、特定のGoldenGate操作では、それらの操作中にオブジェクトがロックされ、DDL操作が失敗する可能性があります。 Solution • Database 23aiおよびGoldenGate 23ai以降では、サプリメンタル・ロギングを含む表は非ロックであるため、これらのDDL操作で EGGとEBRを併用する柔軟性が向上します。 • 機能もDatabase 19cにバックポートされます。 • ソリューションにより、意図しないオブジェクト・ロックを発生させることなく、EBRを使用してデータベースでGoldenGate抽出を有効にできます。 • GoldenGate 23aiは、オンライン・アプリケーション・アップグレードからの変更をレプリケートできるように、オンラインDDL操作を処理できます。 58 Copyright © 2024, Oracle and/or its affiliates

GoldenGate 23ai updates to security 59 Copyright © 2024, Oracle
and/or its affiliates IAM, IDCS and Azure AD IdPs OKV 21.4を使用した証跡ファイルの暗号化ロールベースの権限モデル Long Passwords OKV 21.4では、抽出不可能なマスター・キーの概念が導入され、これらのマスター・キーはOKVから取得できません。かわりに、暗号化操作(暗号化/復号化)をコールしてOKV内で実行する必要があります。証跡の暗号化では、2つの暗号化キーを使用します • 証跡キーごと- 単一のTFのデータを暗号化します • マスター・キー- トレイルごとのキーを暗号化データベース・ユーザー・パスワードおよびパスワード認証済セキュア・ロールの最大長は1024バイトです。 GGレプリケーションの権限を付与する新しいロールベース・アプローチ →DBMS_GOLDENGATE_AUTH.GRANT_ADMIN_PRIVILEGEの置換新しいロール: OGG_CAPTURE - Extractプロセスの使用 OGG_APPLY - Replicatプロセスを使用する場合。 OGG_SHARED_CAPTURE - 共有取得サービス用 OGG_APPLY_PROCREP - プロシージャ・レプリケーション・レコードを適用する場合。 OCI IAM/IDCSへの簡素化および更新された統合(Azure Active Directoryとのパススルー統合の新しいサポートを含む)。GoldenGateのユーザー・アイデンティティは、IdPsに簡単に外部化できるようになりました。

GoldenGate 23ai for Non-Oracle databases 61 Copyright © 2024, Oracle
and/or its affiliates GoldenGate for PostgreSQL • Capture from Partitioned Tables • Precise instantiation using PostgreSQL snapshots • Support for ENUM (user defined data types) and ARRAYs GoldenGate for DB2 Z / LUW / iSeries • Support for GRAPHIC, VARGRAPHIC, DBCLOB, and DISTINCT Data types • Improved installation experience for DB2 iSeries • Integration with WLM on DB2 Z • Allow multiple EXCLUDEUSERS GoldenGate for NSK • Add SIZEOF() function for use with @getptlftoken • Added support for delayed apply, and close file option to EVENTACTIONS. • Added support for SQLEXEC in SQL/MP to return a value New Operating System Certifications • RHEL 9 and OEL 9, all Linux platforms General OGG for Non-Oracle Enhancements • Microservices Architecture for DB2 LUW, DB2 iSeries, Sybase, TimesTen, and Teradata • Parallel Replicat support for bi-directional • Ignore unsupported data types GoldenGate for MySQL • Capture from Group Replication Cluster (21c) • Partial JSON support (21c) • Tracking schema changes (21c) • Improved support for lower case, mixed case, and upper-case table names GoldenGate for SQL Server • CDC Capture job and Always On Synchronization Status Monitoring • Improved database connectivity (no need for DSN) • Precise Instantiation using SQL Server snapshots • Package Microsoft’s ODBC Driver 18 GoldenGate for MySQL • Google Cloud SQL for MySQL 8.0 • MariaDB 10.6, 10.7, 10.8, 10.9 • MariaDB 10.11 • SingleStoreDB 7.8, 8.0 - Delivery only • SingleStoreDB Cloud 7.9 - Delivery only • Windows 2016, 2019, and 2022 support - local Capture only GoldenGate for SQL Server • Google Cloud SQL for SQL Server 2017, 2019 • Google Cloud SQL for SQL Server 2022 • Microsoft SQL Server 2022 • Windows 2022 support - local Capture only GoldenGate for PostgreSQL • PostgreSQL 16 • Google Cloud for PostgreSQL version 10 and above • Google Cloud AlloyDB for PostgreSQL version 15 and above • OCI PostgreSQL - Delivery (Capture already supported with 21c) Others • Teradata Vantage 2.4 • Teradata VantageCloud Lake editions • Certified 17.10 and 17.20 TTU drivers • OCI TimesTen - Delivery only • iSeries 7.5 Capabilities New Platform Certifications PostgreSQL & DB2/Z updates GA now, the rest planned for Mid-2024 ※2024年6月末時点の情報

GoldenGate 23ai for Distributed Apps and Analytics 62 Copyright ©
2024, Oracle and/or its affiliates GoldenGate Data Streams • Publish-subscribe REST endpoint delivery • JSON and CloudEvents formats General GG4DAA Features • Databricks Delivery • Databricks API/Driver • Delta Format data • Google Pub/Sub Delivery • Redis Delivery • MongoDB Capture • Autonomous JSON Delivery • Apache Cassandra/ Cassandra DSE Capture • Google BigQuery Stage and Merge Delivery • Target Table Instantiation • Snowflake Streaming Handler • GGDAA Docker Availability • Support Avro formatting based on an external schema • MongoDB Bi-Directional Replication • XAG Support for GG4DAA • Support Boolean Type • Data Transformation MicroTX Enterprise Edition – First release 23.4 Transaction Patterns Supported • Long Running Actions (LRA) • Try-Confirm/Cancel (TCC) • MicroTx XA • Unique Resource Manager Proxy Approach Simplified Application Development • Interceptors to Simplify Application Development • Simplified Application Development • MicroTx Libraries for Spring Boot • XA Transaction Interoperability • WebLogic Applications as XA Participant • APEX (ORDS) Application as XA Participant • ORDS Applications as XA Participants • Databases/Resource Managers for XA Capabilities Pub/Sub planned for Mid-2024 ※2024年6月末時点の情報

IAM Integration JSON Relational Duality Oracle GoldenGate next-generation AI with distributed vector support PDB Extract Capture DDL Notification on Target Tables Microservices Architecture Only Non-Oracle & Big Data Technology Online DDL + EBR AWR Enhancement Data Streams Pub-Sub AsyncAPI High Availability Clusters Trail Files Management 23ai Database New Features Support Integrated Diagnostics for IE/IR ACDR Enhancements @Dbfunction Mapping GG Free Recipes NEW IN 23ai Cloud Native Copyright © 2024, Oracle and/or its affiliates 63

OCI GoldenGate uptake for 23ai フルマネージド・プラットフォーム、1つのサービス- 統合デプロイメント single OCI service,
many deployment types GoldenGate 23ai for Oracle DBs GoldenGate 23ai for Big Data GoldenGate 23ai for Non-Oracle GoldenGate Stream Analytics (ODI) Data Transforms GoldenGate Veridata GoldenGate Data Streams Breadth of Features for Data Fabric / Mesh New in 2023 100’s of integrations Coming in 2024 23ai updates Copyright © 2024, Oracle and/or its affiliates 64 ※2024年6月末時点の情報

Microsoft Azure Data Center OCI Data Center Oracle Cloud Infrastructure
Industry leading innovation with Oracle Database@Azure Lakehouse Bronze | Silver | Gold local data catalog Ingest Analytics Azure Data Fabric Services Oracle Real-time Data Fabric Platform 「MicrosoftとOracleは、マルチクラウドの意味を完全に再定義しました。前例のない、本当に予期せぬ動きの中で、Exadataと、OCI上で動作するAutonomous Databasesを含むすべてのOracle Databaseクラウド・サービスが、Azureデータ・センターにコロケーションされるようになりました。Azureユーザーは、レイテンシやイングレス/エグレス料金を気にすることなく、Autonomous Databaseのパワーとメリットを直接体験できます。これはゲーム・チェンジャーであり、ウォールド・ガーデンは終わりました。」 Marc Staimer氏、Wikibon、シニア・アナリスト Azure-native Applications real-time data real-time data real-time data Copyright © 2024, Oracle and/or its affiliates 65

Award-winning data integration Copyright © 2024, Oracle and/or its affiliates
Read the full Report here ! 2023 Gartner Magic Quadrant • #1 for Cloud Data Integration • #1 in Streaming Integration • Leader in Data Replication/Synch • Leadership in low latency replication • Commitment to both On-Prem and Cloud 2024 Forrester Data Fabric Wave • #1 for Real-time Data Fabric • #1 in Transactional Data Fabric • Leader in Stream Processing • Leadership in low latency replication • Commitment to both On-Prem and Cloud 66

GoldenGate 活用事例① OCI GoldenGate (for Oracle Database) ～ Planet Scale
Replication 68 Copyright © 2024, Oracle and/or its affiliates Source Site - ASHBURN Source Database Target Site - TOKYO Target Database Distribution Receiver ASYNC Trail transport R/W R/W Trail File Trail File OCI GG Deployment OCI GG Deployment OLTP系の負荷ツールを使用

GoldenGate 活用事例② OCI GoldenGate (for Oracle Database) ～マルチ・クラウドの１例 69
Copyright © 2024, Oracle and/or its affiliates 他社様のクラウド環境 Source Database OCI Target Site - TOKYO Target Database ASYNC Trail File 他社様のCloud環境で稼働する Oracle Database 複数のシングル・インスタンスで稼働中のもの ※ご注意他社様の環境においてはサポートの可否やパッチの適用状況など詳細な確認が必要となります OCI GoldenGate の実行環境(Deployment) からリモートで変更履歴を抽出し、OCI の BaseDB 上に Multitenant を実装し集約 OCI GG Deployment

GoldenGate 活用事例③ OCI GoldenGate (for Oracle Database & for Distributed
Applications and Analytics ) 70 Copyright © 2024, Oracle and/or its affiliates Source Database OCI - TOKYO Target Data Source Distribution Receiver Trail File Trail File 区切りテキスト Streaming OCI GG Deployment OCI GG Deployment (for DAA) 1000,'Houston',20,743113 1001,'Dallas',20,822416 1002,'San Francisco',21,157574 1003,'Los Angeles',21,743878 1004,'San Diego',21,840689 1005,'Chicago',23,616472 1006,'Memphis',23,580075 1007,'New York City',22,124434 1008,'Boston',22,275581 1009,'Washington D.C.',22,688002 Big Data用各ハンドラ(lib) Source Database に対する処理を抽出し、for DAAに転送する for DAA の Kafkaハンドラを利用し、区切りテキストフォーマットを選択し、Kafka トピックへ連携 JSON Object Storage

データ・メッシュに至る理由データメッシュがソリューションとして登場するきっかけとなったテクノロジーのトレンドには、次のようなものがあります。 • デジタル・トランスフォーメーションの70-80%が失敗する • 業務系データの停止に伴うコストが上昇している • クラウド・ロックインが現実となり、さらにコストがかかる可能性がある •
データレイクの成功は、やや難しく、分析にのみ焦点が当てられているケースが見られる • 分散型データの台頭により、より効果的、効率的、かつ経済的なアーキテクチャが求められている • 組織のサイロ化により、データ共有の問題が深刻化している • データは競争力を高めるための触媒であり、それを適切に管理することが重要であるなぜ今データメッシュが必要なのか、詳しくはZhamak Dehghaniの2019 年の原著論文、「モノリシックなデータレイクから分散型データメッシュに移行する方法」をお読みください。 71 Copyright © 2024, Oracle and/or its affiliates https://www.oracle.com/jp/integration/what-is-data-mesh/#what-is-data-mesh

Copyright © 2024, Oracle and/or its affiliates 72 データ・メッシュ? データ・ファブリック?
データ・ファブリックアプリ開発の統合分析用データストアデータメッシュデータ統合メタカタログマイクロサービスメッセージデータレイクハウス分散型DW 人、プロセス、メソッド: データ製品重視技術的なアーキテクチャの属性 : 分散アーキテクチャイベント駆動型カタログ ACIDサポートストリーム指向分析データ重視運用データ重視物理・論理メッシュ https://www.oracle.com/jp/integration/what-is-data-mesh/#use-cases

データ・メッシュの定義と留意点 • データ・プロダクトビジネスにおける課題を解決に導くためにはデータを最大限活用する必要があり、データコレクション、データイベント、データ分析などを提供するツール • 分散型のアーキテクチャモノリシックなアーキテクチャからマルチクラウドやハ
イブリッド・クラウドへの移行を選択する組織や、グローバルに分散した運用が必要な組織を支援する分散・非集中型データ・アーキテクチャ • リアルタイムデータ静的かつバッチ指向のデータだけに依存するのではなく、イベント駆動型のデータ台帳やストリーミング中心のパイプラインに移行することをを目指す組織のための移動中のデータ 73 Copyright © 2024, Oracle and/or its affiliates いつでも、どこからでも価値ある情報に低いコストでアクセスできること

データ・メッシュ・ソリューションデータ・プロデューサとコンシューマがデータ製品と交換する分散型プラットフォームデータ・メッシュ・アーキテクチャは、データの消費者をデータ・プロデューサと簡単に接続できるようにするための基本です。最新のアプローチは、運用システムと分析システム全体でリアルタイムに機能し、高品質のデータ製品を生産する手段と、フェデレーテッド組織に必要なガバナンスを提供する必要があります。メッシュはデータで、プラットフォームはフレームワークを提供します。 74 Copyright © 2024, Oracle
and/or its affiliates λ データFabric/メッシュ・プラットフォームデータ・プロダクト分散型/分散型データ・アーキテクチャデータ・プロデューサ: データ・コンシューマ:

Copyright © 2024, Oracle and/or its affiliates 75 事例: HDFCによるOracleベースのリアルタイム・データ・メッシュ
複製検出データエンリッチメント時系列機械学習 ATM現金機械データ可用性 POS データ・レプリケーションコアバンキング HAおよびレプリケーション生データ国全体のデータ・メッシュトランザクション・ログ監視可能電子メールマーケティングキャンペーン (マーチャントバンキング) データ・レイクハウス /ウェアハウスデータ・プロデューサ: データ・コンシューマ: リアルタイム・イベント分散型アーキテクチャ検出可能なAPIおよびサービス分散型マルチクラウド・アーキテクチャインドの金融サービスは、HP NonStop(Base24)、Oracle CloudのOracle Exadata、 AzureのGoldenGate Stream Analyticsとデータレイクと分析でGoldenGateを実行 CDC

データ・ファブリック / データ・ファブリックメッシュ・ソリューションデータ・プロデューサとコンシューマがデータ製品と交換する分散型プラットフォームデータ・メッシュ・アーキテクチャは、データの消費者をデータ・プロデューサと簡単に接続できるようにするための基本です。最新のアプローチは、運用システムと分析システム全体でリアルタイムに機能し、高品質のデータ製品を生産する手段と、フェデレーテッド組織に必要なガバナンスを提供する必要があります。メッシュはデータで、プラットフォームはフレームワークを提供します。 76 Copyright ©
2024, Oracle and/or its affiliates https://www.oracle.com/jp/integration/what-is-data-mesh/#use-cases <データの消費者> <データ・プロデューサ> GG for DAA MicroTX Streaming AsyncAPI Stream Abalytics GG for DB Operational Data Store

Oracle Database と AI Vector Search GoldenGate (for Oracle Database)
- 様々なデータソースの架け橋 77 Copyright © 2024, Oracle and/or its affiliates Source Site Source Database Target Site Target Database Distribution Receiver ASYNC Trail transport R/W R/W Trail File Trail File VECTOR型 VECTOR型表のレプリケーション連携例 UTL_TO_EMBEDDING

Create a real-time vector hub for GenAI 78 Copyright ©
2024, Oracle and/or its affiliates Oracle technologies 3rd party databases Relational Vectors real-time data 3rd party vector sources 3rd party messaging, NoSQL Business Updates Docs, Events/Alerts DML & DDL Vector Changes Prompt Chat History Enhanced Prompt “What’s the policy?” “What are my corporate benefits?” Embedding Model Embedding Similarity Search Augmented Prompt LLM / GPT Retrieval Augmented Generation (RAG) Business Operations Vector Hub Real-time Data trusted answers from fresh data to_embeddings() Business Data fresh business data and reduced hallucinations in your Generative AI answers (新鮮なビジネスデータとジェネレーティブAIによる幻覚の低減)

各導入フェーズで役立つ Oracle GoldenGate Technical Tips 23ai対応版 (※一部トピックは今後Update予定) 79 Copyright ©
2024, Oracle and/or its affiliates

各導入フェーズで役立つ Oracle GoldenGate Technical Tips 23ai対応版 (※一部トピックは今後Update予定) 環境確認 •Certification Matrix
/ サポートの理解 / 多彩な構成 / 異なるテクノロジー / 応用構成サイジング •データベースに関する要素 / プロセス多重化の指針 / 補足事項設定・設計 •既存データベースへの設定変更および確認 / GoldenGate の設定初期ロード •初期データロードとは / 様々な初期データロード / Instantiation CSN を使った初期データロード / 他監視・管理について •マイクロサービス・アーキテクチャにおける監視・管理 / OCI GoldenGate に関する要素トラブルシュート •GoldenGate 共通のトラブルシュート / OCI GoldenGate におけるトラブルシュート補足情報 •高可用性要件における構成 / ユースケースに見る特殊な使い方 80 Copyright © 2024, Oracle and/or its affiliates

Our mission is to help people see data in new
ways, discover insights, unlock endless possibilities.

【Oracle GoldenGate 最新情報＆テクニカルセミナー】[Session02] O...

【Oracle GoldenGate 最新情報＆テクニカルセミナー】[Session02] Oracle GoldenGate 23ai 新機能紹介とテクニカル Tips

More Decks by oracle4engineer

Other Decks in Technology

Featured

Transcript