Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【Oracle GoldenGate 最新情報&テクニカルセミナー】[Session02] O...

【Oracle GoldenGate 最新情報&テクニカルセミナー】[Session02] Oracle GoldenGate 23ai 新機能紹介とテクニカル Tips

2024年7月2日(火)に開催された「Oracle GoldenGate 最新情報&テクニカルセミナー」の公開資料です。

■セミナー情報ページ:
https://oracle.com/goto/goldengate-0702

■テクニカルホワイトペーパー:Oracle GoldenGateの優位性
https://www.oracle.com/jp/a/ocom/docs/techpaper-goldengate-advantage-july2021-ja.pdf

■テクノロジー概要:Oracle GoldenGateプラットフォームを使用した動的なデータ・ファブリックと信頼性のあるデータ・メッシュ
https://www.oracle.com/jp/a/ocom/docs/techbrief-enterprisedatameshandgoldengate-ja.pdf

oracle4engineer

July 03, 2024
Tweet

More Decks by oracle4engineer

Other Decks in Technology

Transcript

  1. 【Session-2】 Oracle GoldenGate 23ai 新機能紹介とテクニカル Tips 2024年7月2日 日本オラクル株式会社 クラウド事業統括 クラウド・エンジニアリングCOE統括

    データベース・ソリューション部 橋本 琢爾 Copyright © 2024, Oracle and/or its affiliates 1 Oracle GoldenGate 最新情報&テクニカルセミナー
  2. Agenda - GoldenGate 23ai 新機能紹介とテクニカル Tips Copyright © 2024, Oracle

    and/or its affiliates 3 3 GoldenGate ユースケースと まとめ 社内での動作確認も 含めたユース・ケースの ご紹介 2 GoldenGate 23ai 新機能 GoldenGate 23ai の 一部の新機能について 解説 1 GoldenGate 現状について 基礎的な技術情報と オンプレミス、OCI GGの 現状について
  3. GoldenGate 機能拡張の推移 4 Copyright © 2024, Oracle and/or its affiliates

    12c 18c 19c 21c 23ai GoldenGate 18.1 • Oracle Database 18c • ADWおよびATPへの搬送 • アイデンティティ列のサポート • その他のソースとターゲット • 行内データベース・アーカイブのサポ ート GoldenGate 12.x • Oracle Database 12.2 • マイクロサービスのアーキテクチャ • パラレルReplicat、自動CDR • 証跡の自己記述型メタデータ • プロシージャ・レプリケーション • 自動ハートビート表 • その他のソースとターゲット GoldenGate 19.1 • Oracle Database 19c • マイクロサービスのセキュリティ • Oracle用のクロス・エンディアン ・リモート取得 • アップグレードが容易 • その他のソースとターゲット • パフォーマンス更新 GoldenGate 21.x • Oracle Database 21c • Oracle以外のビッグ・データ向けマイク ロサービス • 新しい自動CDRルール • Oracle DBでの自動取得 • より多くのソースとターゲット (モンゴのキャプチャ、スノーフレークなど) • 簡易インストール GoldenGate 23ai • Oracle Database 23ai • 分散型AIベクトルとベクトル統合 • データ・ストリーム、AsyncAPI、CloudEvents • 高可用性クラスタ • StatsD、 Telegraf 可観測性 • 新しいGUI /レシピ/ ZeroETL • サードパーティIdP、新しい暗号化 • その他のソースとターゲット マイクロサービス アーキテクチャ Oracle Cloud マーケットプレイス ストリーム 分析 完全管理型 Gen2クラウド GGフリー エディション AI Vector AsyncAPI
  4. GoldenGate ユースケース 5 Copyright © 2024, Oracle and/or its affiliates

    Active-Active, HA構成およびクロスリージョン Region A App Tier App Tier Region B App Tier On-prem Cloud 移行/ アップグレード OCI hosted databases 分析データ集約 App Tier Analytics SaaS Apps On- prem Apps Stream analytics App Tier <application events> <transaction events> Stream Analytics DIY Stream Analytics OCI-native, fully-managed pipeline builder Data offloading / data hub App 1 App 2 App …n <real-time read only data store> Downstream Marts and Analytics Micro/Mini Services Audit History (of Tx’s) AI基盤としての データ収集・連携
  5. ... エンタープライズ標準に最適な選択肢 6 Copyright © 2024, Oracle and/or its affiliates

    DBMS Data Lakes NoSQL Streams Oracle technologies 3rd party databases 3rd party vector sources 3rd party messaging, NoSQL Business Updates DML & DDL Vector Changes Operational Systems OCI Streaming OCI Dataflow OCI Big Data Docs, Events/Alerts real-time events stream processing OCI Stream Analytics Exadata Cloud + Autonomous DB
  6. Announcing Oracle GoldenGate 23ai – The next Long Term Support

    Release Copyright © 2024, Oracle and/or its affiliates 7
  7. GoldenGate 23.4 100’s of new features, full platform 8 Copyright

    © 2024, Oracle and/or its affiliates GG Core (platform wide) GG for Oracle GG for Non-Oracle GG DAA/Big Data AI and Streaming Data • Interoperability for database vector types (heterogeneous capture & apply) • Replication (canonical format) of vectors • Publish and subscribe interfaces, with AsyncAPI (REST) & CloudEvents (JSON) for streaming Ease of use • Embedded WebUI UX Redesign • Native cross-platform Boolean support • Colmap to @DBFunction • Bi-Directional Loop Detection (new for several non-Oracle platforms) • Support special numeric values in column functions • Simplified configuration assistant (OGGCA) Observability and Diagnosability • Trail File Management • Observability unlocked with StatsD and Telegraf (23.4) • chkptdump Utility in GoldenGate Home Security and Governance • Trail File Encryption - OKV 21.4 support • Validate OAuth/SSO integration • IDP: Support token based authentication • Encrypt user data in cache files and persisted cached data files Performance – Resilience • Clustered GoldenGate - Configuration Service • Parallel Replicat - Automatic reconnects for replication continuity • Fast failure detection for distribution and target- initiated paths Oracle Database Features • Oracle vectors support • GoldenGate support for Oracle Blockchain and Immutable Tables • Oracle Boolean Datatype • Active-active replication support for Blockchain/Immutable Tables using ACDR • Lock-free reservation columns • Add support for tables with 4K columns for Oracle Database 23ai • GoldenGate replication support for JSON diff • Support for Oracle SQL Domains • Support coexistence of GoldenGate with Transient Logical Rolling Upgrades Observability and Diagnosability • AWR Enhancements • Integrated Diagnostics for integrated extracts and replicats Security and Governance • Native Capture and Apply User Roles in Oracle Database 23ai • GoldenGate Per PDB Extract • GoldenGate support for long passphrases Performance – Resilience • Integrate with DDL notification on target tables • Automatic Reconnects w/zero data loss • Automatic CDR Enhancements MySQL • Capture from Group Replication Cluster • Parallel Replicat in Bi-Directional Configurations • Ignore Unsupported Data Types • Support lower-case-table-names=1 • New MySQL and Compliant Databases Support SQL Server • Parallel Replicat in Bi-Directional Configurations • CDC Capture job and Always On Synchronization Status Monitoring • New SQL Server and Compliant DBs Support • Package Microsoft’s ODBC Driver 18 • DSN-less connectivity PostgreSQL • Capture from Partitioned Tables • Precise instantiation using PostgreSQL snapshots • Support for ENUM (user defined data types) and ARRAYs Sybase, Teradata, and TimesTen • Teradata Vantage (2.4) and VantageCloud • Microservices Architecture builds • GoldenGate for Delivery to OCI TimesTen IBM DB2 • New Data Type Support • Usability Enhancement for iSeries and zSeries • Microservices Architecture to LUW and iSeries HP NSK • Various operational enhancements • @SIZEOF () in support of parsing T24 tokens • Enscribe File Close Operations Enhancement • RMTHOSTALT for High Availability Switching Big Data, Kafka and NoSQLFeatures • Databricks Delivery • Snowflake Streaming Handler • Stage and Merge Improvements • Support Avro formatting based on schema provided by Avro Metadata Provider. • Google Pub/Sub Delivery • Auto Table Creation • MongoDB Bi-directional replication • XAG Support for GG4DAA • Redis Delivery • GCP BigQuery Stage and Merge • MongoDB Capture • GGS Integrations • Cassandra 4x & DSE Capture MicroTX Enterprise Edition – First release 23.4 • Transaction Patterns Supported • Long Running Actions (LRA) • Try-Confirm/Cancel (TCC) • MicroTx XA • Unique Resource Manager Proxy Approach • Simplified Application Development • Interceptors to Simplify Application Development • Simplified Application Development • MicroTx Libraries for Spring Boot • XA Transaction Interoperability • WebLogic Applications as XA Participant • APEX (ORDS) Application as XA Participant • ORDS Applications as XA Participants • Databases/Resource Managers for XA Oracle, PostgreSQL, DB2/Z & MicroTX updates GA now, the rest planned for Mid-2024 ※2024年6月末時点の情報
  8. GoldenGate Certification Certification Matrix の公開 OCI GoldenGate マニュアルより 9 Copyright

    © 2024, Oracle and/or its affiliates https://www.oracle.com/integration/goldengate/certifications/ https://docs.oracle.com/en/cloud/paas/goldengate-service/wxntz/#GUID- 174CFBB6-ABF6-4199-BED4-F0F2DD7124B4
  9. GoldenGate 23ai 全体像の理解 10 Copyright © 2024, Oracle and/or its

    affiliates GoldenGate (Core) forDB GoldenGate for Oracle GoldenGate for non-Oracle forDAA for Big Data Streaming / Analytics Streaming (AsyncAPI) Microservice Tx management (ODI) Data Transforms Veridata 補完 <対象> <S/W> Oracle Database Oracle Database 以外 (MySQL,PostgreSQL,SQL Server …) Autonomous Database, OCI Object Storage databricks, snowflake … OCI Streaming (Kafka) OCI Stream Analytics … AsyncAPI MicroTx EE (分散アーキテクチャ管理との連携) ETL/ELT 連携 データ突合および修正 オンプレミス GoldenGate 製品群 OCI GoldenGate で提供予定
  10. Oracle GoldenGate 23ai GoldenGate 概要 • Data Guard / Active

    Data Guard との違い Oracle が提供するデータベースのレプリケーション製品・機能において GoldenGate と Data Guard の違いを明確化 • GoldenGate の技術概要 プロセスの構成例や内部動作を簡単に解説するとともに、論理的なレプリケー ションにおけるサポートについて理解する Copyright © 2024, Oracle and/or its affiliates 11
  11. GoldenGate 23ai Data Guard / Active Data Guard GoldenGate (for

    Database) 12 Copyright © 2024, Oracle and/or its affiliates SYNC or ASYNC Redo transport Standby Site RFS MRP Standby Database Standby Redo Logs Primary Site LG WR NSS/ TT SG A REDO BUFFER Primary Database Online Redo Logs • DBからDBの物理的なレプリケーション • ランサムウェアの保護 • 重要な情報のみが複製 • 効率的で高性能 • 暗黙的な整合性 Data Guard replication Source Site Source Database Target Site Target Database Distribution Receiver • 表から表の論理的なレプリケーション • 証跡ファイル(中間ファイル)を介した非同期連携 • 変更履歴のみの伝播 • 高い柔軟性 - 双方向も可能 • 環境差異への対応 (version, endian, OS, DB) GoldenGate replication ASYNC Trail transport mount or Read Only R/W R/W R/W
  12. Desupported “Classic Features” 13 Copyright © 2024, Oracle and/or its

    affiliates Classic Extract Desupported in 21c Classic Architecture Desupported in 23ai Microservice Integrated
  13. GoldenGate 23ai GoldenGate (for Oracle Database) 14 Copyright © 2024,

    Oracle and/or its affiliates Source Site Source Database Target Site Target Database Distribution Receiver ASYNC Trail transport R/W R/W トランザクション (PDB) Trail File Trail File トランザクション (PDB) Log Miner XStream (API) Distribution Receiver Trail File Trail File 双方向可能 Integrated
  14. GoldenGate 23ai サポート対象の理解 15 Copyright © 2024, Oracle and/or its

    affiliates https://docs.oracle.com/en/middleware/goldengate/core/23/coredoc/prepare-oracle-understanding-whats-supported.html#GUID-2F0178C5-B77F-4EF9-A47A-833E904D7691 https://www.oracle.com/integration/goldengate/certifications/ レコードの特定のためのKEYが必要なので、 表にカラムが1つしか無く、そのデータ型が LOBなどの場合はレプリケーションができない
  15. GoldenGate 23ai 様々な実装パターン (ローカル構成とHUB構成) ローカル構成 (DBと併設されるケース) HUB構成 (DBとは独立した実行環境) 16 Copyright

    © 2024, Oracle and/or its affiliates Source Site Source Database Target Site Target Database Dist Rec ASYNC Trail transport 実行環境 = GoldenGate Deployment Local Site (DC / Cloud Region) Source Database Target Database ASYNC SourceとTargetが同じTechnology typeで実装可能 異なるTechnology typeでは Deployment が分かれる
  16. Oracle GoldenGate 23ai GoldenGate Distributed Application and Analytics • 異なるTechnology

    Type との連携 Copyright © 2024, Oracle and/or its affiliates 17
  17. GoldenGate 23ai 全体像の理解 (再掲) 18 Copyright © 2024, Oracle and/or

    its affiliates GoldenGate (Core) forDB GoldenGate for Oracle GoldenGate for non-Oracle forDAA for Big Data Streaming / Analytics Streaming (AsyncAPI) Microservice Tx management (ODI) Data Transforms Veridata 補完 <対象> <製品> Oracle Database Oracle Database 以外 (MySQL,PostgreSQL,SQL Server …) Autonomous Database, OCI Object Storage databricks, snowflake … OCI Streaming (Kafka) OCI Stream Analytics … AsyncAPI MicroTx EE (分散アーキテクチャ管理との連携) ETL/ELT 連携 データ突合および修正 オンプレミス GoldenGate 製品群 OCI GoldenGate で提供予定
  18. GoldenGate 23ai 様々な実装パターン (異なるTechnology type) 異なるTechnology type 連携 (DB :

    non-Oracle) 異なるTechnology type 連携 (Distributed Application) 19 Copyright © 2024, Oracle and/or its affiliates Source Source Database Target Target Database Dist Rec DB2/z GG for DB (non-Oracle) GG for DB (Oracle) Source Source Database Target Dist Rec GG for DB (Oracle) OCI Streaming GG for DAA (Kafka ハンドラ) GG for DAA (OCI Storage ハンドラ) OCI Object Storage Extract 区切りテキスト XML JSON Avro Rec Replicat Replicat OCI 同一リジョンでもデプロイ メントは2つに分けれます
  19. GoldenGate 23ai GoldenGate (for DAA) Big Data 系と連携する根幹であるファイル・アダプタの動作を解説 20 Copyright

    © 2024, Oracle and/or its affiliates Source Site Source Database Target Site Target Data Source Distribution Receiver ASYNC Trail transport R/W トランザクション (PDB) Trail File Trail File Log miner XStream (API) Big Data用 各ハンドラ(lib) 区切りテキスト XML JSON Avro SCOTT.EMP_2022-12-08_17-12-08.020.json --- { "table":"SCOTT.EMP", "op_type":"U", "op_ts":"2022-12-08 17:32:02.000000", "current_ts":"2022-12-08 17:12:07.996000", "pos":"00000000020000002563", "before":{"EMPNO":7788,"SAL":3000.00}, "after":{"EMPNO":7788,"SAL":2000.00} } JSONのサンプル SQL>update emp set sal=2000 where ename = 'SCOTT’; SQL>commit;
  20. New GoldenGate for Distributed Applications and Analytics アプリケーション開発者、データエンジニア、データ利用者のためのシンプルな単一パッケージ 21 Copyright

    © 2024, Oracle and/or its affiliates GoldenGate for Distributed Applications and Analytics for DBMSs for NoSQL for Warehouses for Events & Messaging for Big Data & Lakehouses for Stream Processing for Application Development GG for Oracle GG for Non-Oracle GG for Mainframes capture or deliver transactions + events deliver data transactions + events microservices Tx management streaming data prep, pipelines + analytics data streams (asyncAPI) * separately priced products 主にBig DataやObject Storage など適用のみのケース Kafka や一部Capture が可能な Big Data ソリューション Oracle Stream Analytics (別製品だったものを統合)
  21. New GoldenGate for Distributed Applications and Analytics アプリケーション開発者、データエンジニア、データ利用者のためのシンプルな単一パッケージ 22 Copyright

    © 2024, Oracle and/or its affiliates GoldenGate Data Streams – JSON形式のデータ・イベントへの新 しいパブリッシュ/サブスクライブRESTインタフェース。オープンなAsyncAPI標 準を活用して、ソフトウェア・クライアントは、Apache Kafkaのような複雑で 高価なメッセージング・ソフトウェアを立てることなく、GoldenGateから変更イ ベントに直接サブスクライブできるようになりました。お客様は、GoldenGate ストリーミング・データ・チャネルから直接「ファン・アウト」スタイルのデータ配信 をサポートできるようになりました。
  22. Agenda - GoldenGate 23ai 新機能紹介とテクニカル Tips Copyright © 2024, Oracle

    and/or its affiliates 23 3 GoldenGate ユースケースと まとめ 社内での動作確認も 含めたユース・ケースの ご紹介 2 GoldenGate 23ai 新機能 GoldenGate 23ai の 一部の新機能について 解説 1 GoldenGate 現状について 基礎的な技術情報と オンプレミス、OCI GGの 現状について
  23. New Database Roles New Simplified GUI/UX StatsD Telegraph Integration OCI

    IAM Integration JSON Relational Duality Oracle GoldenGate next-generation AI with distributed vector support PDB Extract Capture DDL Notification on Target Tables Microservices Architecture Only Non-Oracle & Big Data Technology Online DDL + EBR AWR Enhancement Data Streams Pub-Sub AsyncAPI High Availability Clusters Trail Files Management 23ai Database New Features Support Integrated Diagnostics for IE/IR ACDR Enhancements @Dbfunction Mapping GG Free Recipes NEW IN 23ai Copyright © 2024, Oracle and/or its affiliates 24
  24. ベクトルレプリケーションによる分散AI処理 25 Copyright © 2024, Oracle and/or its affiliates A.ベクトルをOracleベクトル・データベースに移行

    B.ベクトル変更の複製/連結 C.マルチクラウドのマルチアクティブOracleベクター・データベース D.検索エンジンへの変更(テキスト/ベクトル)のストリーム AIアプリA AIアプリB AIアプリC アプリA AIアプリB *埋込みモデルはベクトル・ストア間で同じである必要があります *埋込みモデルはベクトル・ストア間で同じである必要があります
  25. Retrieval Augmented Generation ビジネス上の問題にGenAIを適用するための実用的なIT作業がすでに始まっており、ほとんどの組織がどのように開始され ているかは次のとおりです。 1. 最初からLLM - 自分の データから自分のモデルを作成します。

    2. 微調整されたLLM - プライベート・ドメインで トレーニング済みのLLMを精製 3. Prompt Engineering- 独自の プライベート・データを使用してプロンプトを拡張 (拡張生成の取得) 26 Copyright © 2024, Oracle and/or its affiliates
  26. Retrieval Augmented Generation 27 Copyright © 2024, Oracle and/or its

    affiliates ベクトル データベース テキスト 生成モデル チャンク ドキュメントをチャンク分割、 ベクトル化しベクトルDBへロード Top4 Prompt Completion [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] Prompt ユーザーの自然言語の質問はベクトルとしてエ ンコードされ、AIベクトル検索に送信される ユーザーの質問に一致するデータベースに格 納されているドキュメントなどのプライベート・コ ンテンツを検索 ベクトル検索結果、類似度の高いチャンクテキ ストとプロンプトテキストをLLMに入力 GenAIは、コンテンツと一般的な知識を使用 して、情報に基づいた回答を提供 どこから? PDF
  27. RAG実装の難所と施策 28 Copyright © 2024, Oracle and/or its affiliates ベクトル

    データベース テキスト 生成モデル prompt Completion [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] [1.1, 2.9, 3.14] Top4 チャンク Enhanced prompt ①Query Transformation テキスト生成モデルを使いオリジナルのプロンプト を別のテキストに変換 • Decomposition(Sub Query) • Expansion(RAG Fusion) • Hypothetical Document Embeddings • Routing • Step Back Prompt • Structuring Multi-modal モデル ⑤Multi-modalモデル テキスト生成モデルをマルチモーダルモデ ルに置き換え、画像やチャートの内容に 関するテキスト生成もできるようにする ⑥RAGのフロー設計を変える • Self RAG • Adaptive RAG • Corrective RAG ④Reranking Rerankモデルを使って類似検索結 果精度を修正し本当に必要なチャン クテキストをLLMに入力する チャンク Rerank Top2 prompt prompt Rerank モデル ③Semantic Chunking 埋め込みモデルを使ったセマンティック チャンキング 埋め込み モデル ②Hybrid Search ベクトル類似検索とキーワード 検索の併用 テキスト 生成モデル
  28. RAGの構成要素 - Generative AI Agents Service(BETA)概要 29 Copyright © 2024,

    Oracle and/or its affiliates • Generative AI Serviceと、その他のサービスのオーケストレーションをフルマネージドのPaaSとして提供 • ノーコード、Web UIウィザードでの検索拡張生成(RAG : Retrieval Augmented Generation)のプロビジョニング • チャットUI機能 • Oracle Database 23ai および MySQL Database Serviceは今後対応予定 Vector Store LLM Cache Store Application code Orchestration OCI Generative AI Service OCI OpenSearch Service OCI Redis Service OCI Generative AI Agents Service • ナレッジベースから関連 ドキュメントを検索 • ドキュメントの関連性を 再ランク付け • 文章と元のクエリを送信 し、一貫したレスポンスを 生成 プロンプトをAgentに連携す るコードのみ RAG構成のメンテナンスは Oracle任せ Rerank Model prompt prompt Completion
  29. Oracle AI Vector Search 概要 AI Vector Search Technical Architecture

    30 Copyright © 2024, Oracle and/or its affiliates ① 非構造化データからの生成 Oracle Databaseの外部または内部 で実行でき内部で実行する場合、 ONNX標準を使用してベクトル埋込 みモデルをインポートする 非構造化データは、Oracle Databaseの内部または外部に配置 できる(LOB) ②ベクトル埋め込みを生成 非構造化データおよびビジネス・リレー ショナル・データとともに保存 SQL*Loaderまたはデータ・ポンプでロー ド可能で、リアルタイムデータ連携では GoldenGate 23aiも使用可能 ③ ベクトル索引 通常のテーブル列にインデックスを作成 する方法と同様に、ベクトル埋め込み にベクトルインデックスを作成 巨大なベクトル空間に対して類似検 索を実行するのに有益 (IVF_FLAT / HNSW) ④ リレーショナルとベクトルの関連付け 非構造化データをチャンクに変換して から、各チャンクにベクトル埋込みを生 成し、従来のリレーショナル・キー検索 との類似性を組み合せる ⑤ RAG AI Vector Searchは、 LangChainなどの一般的な フレームワークと DBMS_VECTOR_CHAIN PLSQLパッケージを使用して RAGを有効化できる https://docs.oracle.com/en/database/oracle/oracle-database/23/vsiad/aivs_genarch.html 表 索引 プロシージャ パッケージ
  30. Oracle Database と AI Vector Search GoldenGate (for Oracle Database)

    - 様々なデータソースの架け橋 31 Copyright © 2024, Oracle and/or its affiliates Source Site Source Database Target Site Target Database Distribution Receiver ASYNC Trail transport R/W R/W Trail File Trail File VECTOR型 VECTOR型 表のレプリケーション 連携例 UTL_TO_EMBEDDING
  31. Oracle Database と AI Vector Search データファブリック・データメッシュ 32 Copyright ©

    2024, Oracle and/or its affiliates Oracle technologies 3rd party databases Relational Vectors real-time data 3rd party vector sources 3rd party messaging, NoSQL Business Updates Docs, Events/Alerts DML & DDL Vector Changes Prompt Chat History Enhanced Prompt “What’s the policy?” “What are my corporate benefits?” Embedding Model Embedding Similarity Search Augmented Prompt LLM / GPT Retrieval Augmented Generation (RAG) Business Operations Vector Hub Real-time Data trusted answers from fresh data to_embeddings() Business Data fresh business data and reduced hallucinations in your Generative AI answers (新鮮なビジネスデータとジェネレーティブAIによる幻覚の低減) どこから?
  32. ストリーミング・パイプラインからの実用的なAI/ML データファブリック・データメッシュ 33 Copyright © 2024, Oracle and/or its affiliates

    Business Operations イベント インサイト 類似性検索 機械学習 外部 AI/ML アラート データ製品 Oracle technologies 3rd party databases 3rd party messaging, NoSQL AI/ML サービス 統合
  33. GoldenGate 23ai for AI? 34 Copyright © 2024, Oracle and/or

    its affiliates 1 より優れたRAG (取得拡張生成) 2 AIモデルのトレーニングと微調 整のためのデータの向上
  34. New Database Roles New Simplified GUI/UX StatsD Telegraph Integration OCI

    IAM Integration JSON Relational Duality Oracle GoldenGate next-generation AI with distributed vector support PDB Extract Capture DDL Notification on Target Tables Microservices Architecture Only Non-Oracle & Big Data Technology Online DDL + EBR AWR Enhancement Data Streams Pub-Sub AsyncAPI High Availability Clusters Trail Files Management 23ai Database New Features Support Integrated Diagnostics for IE/IR ACDR Enhancements @Dbfunction Mapping GG Free Recipes NEW IN 23ai Copyright © 2024, Oracle and/or its affiliates 35
  35. GoldenGate Data Streams with AsyncAPI (イベント駆動アーキテクチャ) 36 Copyright © 2024,

    Oracle and/or its affiliates データプロデューサが AsyncAPI チャネルを介し、JSON形式の CloudEvents(※) としてトランザクション・イベントのストリー ムを公開するための新しい pub/sub API Standardized Pub/Sub APIs Real-time data events Message Data Tx’s • Inserts • Updates • Deletes • GET/PUT • Schema Changes YAML descriptor リアルタイム・データ・イベントを任意のデー タ・コンシューマに公開 クライアント・コード・ジェネレータ: データ・コンシューマ向けの複雑なKafkaクラス タのバイパス Benefits シンプルなイベント・ソーシングとトランザクション・ アウトボックス・パターン AsyncAPIはイベント駆動型アーキテクチャの 未来 Channel A Channel B Channel …n (※)イベントデータを一般的な方法で記述するための仕様
  36. GoldenGate 証跡から AsyncAPI チャネルの作成 37 Copyright © 2024, Oracle and/or

    its affiliates Distribution Service データ製品 プロデューサ
  37. Streaming Data Products 38 Copyright © 2024, Oracle and/or its

    affiliates Transaction Outbox, with 23ai Duality Views simplify creation of JSON objects and eliminate redundant storage Data Producer application microservice A single database transaction base tables base tables base tables GoldenGate Data Streams Channel A Channel B Channel …n application microservice B Data Consumer publish subscribe consume JSON msg. CDC event exact-once ordered events INSERT, UPDATE, DELETE data is physically stored once, in the base tables JSON msg. Transaction Outbox, GoldenGate Data Streams low latency GoldenGate AsyncAPI for pub/sub broker Data Producer application microservice A single database transaction base tables base tables base tables outbox INSERT, UPDATE, DELETE INSERT JSON msg. GoldenGate Data Streams Channel A Channel B Channel …n application microservice B Data Consumer publish subscribe consume JSON msg. CDC event exact-once ordered events Transaction Outbox, GoldenGate & Kafka low latency change data with Apache Kafka as the pub/sub broker Data Producer application microservice A single database transaction base tables base tables base tables outbox INSERT, UPDATE, DELETE INSERT JSON msg. WSS/TLS over WAN GoldenGate distribution microservice GoldenGate receiver microservice Apache Kafka REP consumer group 2 consumer group 1 partition 0 partition 1 partition 2 application microservice B Data Consumer topic subscribe consume JSON msg. CDC event Classic Transaction Outbox solution for atomic (ACID) commit of an outgoing message Data Producer application microservice A single database transaction base tables base tables base tables outbox INSERT, UPDATE, DELETE INSERT JSON msg. message broker message relay polling queries publish application microservice B subscribe consume JSON msg. Data Consumer GA planned for 2H-2024 ※2024年6月末時点の情報
  38. New Database Roles New Simplified GUI/UX StatsD Telegraph Integration OCI

    IAM Integration JSON Relational Duality Oracle GoldenGate next-generation AI with distributed vector support PDB Extract Capture DDL Notification on Target Tables Microservices Architecture Only Non-Oracle & Big Data Technology Online DDL + EBR AWR Enhancement Data Streams Pub-Sub AsyncAPI High Availability Clusters Trail Files Management 23ai Database New Features Support Integrated Diagnostics for IE/IR ACDR Enhancements @Dbfunction Mapping GG Free Recipes NEW IN 23ai Copyright © 2024, Oracle and/or its affiliates 39
  39. Existing High Availability Alternatives Database Hosted • GGはDBホストで実行され、アクティブ/アク ティブで稼働 •

    DBFSによる耐久性 • ローカルDR(ADGおよびバックアップ) • プライマリDBは、バージョン、パッチまたはエン ディアンが異なる場合があります。 • RAC、XAG、ADG、OGG、DBFS、GDS Hub/Mesh Style • GGは個別のハブ/クラスタで実行 • プライマリDBは、バージョン、パッチ・レベルま たはエンディアンが異なる場合があります。 • ACFSによる耐久性 • ローカルDR(ADGおよびバックアップ) • RAC、XAG、ADG、OGG、DBFS、GDS Buddy Pair • GGはどこでも実行(DB、ハブ/メッシュ) • ローカルファイルシステム • DataGuardなし、RACなし • ペアDBは同じエンディアンであること • 100% GoldenGateデータ損失ゼロ、ダウン タイムなしのソリューション • OKV地理配分で使用 • CDR/AutoCDR考慮 40 Copyright © 2024, Oracle and/or its affiliates N-way GoldenGa te Each pair shares endianness, similar patching lifecycle and they swap Standby Redo Logs (SRLs) #1 Recommended 既存のオンプレミスのお客様、既存のHAおよびMAA Platinumソリューション (DBFS、ACFSおよびXAG Clusterwareを使用)は、引き続きGoldenGate 23ai以上で正常に動作します
  40. Automatic Conflict Detection & Resolution ( Auto CDR ) Oracle

    GoldenGateは、すべての分散データ・プラットフォームに組 み込まれているCDRポリシーに対して、最も高度な機能の一部を 提供します。 41 ※ 18c,19c では競合種類に大きな仕様拡張は無し Copyright © 2024, Oracle and/or its affiliates 基本的なCDR (任意のDB) 自動CDR (Oracle DB) データ競合のタイプ ✔ ✔ 挿入、更新、削除の競合 異なるDBで影響を受ける同じ行、解決ポリシーが最早または最新のタイムスタンプが優先として構成可能、削除が常に優先 ✖ ✔ 削除- 挿入/更新の競合 行はあるサイトで削除されましたが、別のサイトで更新されました ✖ ✔ デルタ解像度 値を自動的に調整します(例: 借方+順次貸方) ✖ ✔ サイト優先度 特定のサイトが常に獲得すべきポリシー ✖ ✔ 列グループの競合 異なるサイトで更新される同じ行の異なる論理部分 ✖ ✔ ピース単位のLOB更新 LOB操作のポリシー: LOB WRITE、LOB ERASEおよびLOB TRIM ✖ ✔ 墓石の追跡 削除操作またはPK更新用に構成可能(イメージの前) 簡単な例: メアリーの口座の当初の残高は10,000ドルです。メアリーはカリフォルニアの 彼女の家の近くの支店に2000ドルを預けた。同時に、ニューヨークに旅行し ているメアリーの夫のポールは、NYC支店に1000ドルを預けました。Paulは また、同じアカウントの住所をサンタクララの新しいオフィス所在地に更新しま す。GoldenGate CDRは、最終残高を$13,000に調整するために使用 されます。また、最新の更新された住所は最終住所として取得されます。
  41. レコード競合が存在するか否か 【補足資料】 GoldenGate における双方向と疑似双方向 42 双方向同期 (CDRが必要なケース) 疑似・双方向同期 update …

    where key=‘P001’ update … where key=‘P001’ 同一データを各インスタンスで 同時に更新するケース (レコード競合解消が必須) update … where key=‘P001’ update … where key=‘P002’ 同一表で異なるレコード または 異なる表をそれぞれが更新 (レコード競合解消が不要) ※ただし、アプリケーションに依存 表A 表A 表B 表B Copyright © 2024, Oracle and/or its affiliates
  42. ルールベースの競合解決機能 【補足資料】 CDR - Conflict Detection & Resolution 43 update

    … ▲ ▲ ▲ where key=‘P001’ update … ◎ ◎ where key=‘P001’ 競合が発生 OGG 業務に沿った 処理方式を実装 CDRによる競合解決 ソース側でのキャプチャ時に、Before Image(変更前イメージ)とAfter Image(変更後イメージ)をTrailに格納し、Replicatでターゲット側に適用する 際に競合を解決 検知ルール 解決ルール 1)検知と解決のルールを定義設定 2)Trailデータの取り込み 3)ターゲットデータの状態確認 4)競合検知後のルール確認と適用 Before Image After Image ルール Insert処理時の競合(一意制約違反)を検知 Update処理時にBefore Imageとの違いを検知 Update処理時に対象が存在しないことを検知 Delete処理時にBefore Imageとの違いを検知 Delete処理時に対象が存在しないことを検知 OVERWRITE(上書き) IGNORE(スキップ) DISCARD(スキップ) USEMAX[EQ](値比較) USEMIN[EQ] (値比較) ターゲット列 Copyright © 2024, Oracle and/or its affiliates
  43. ルールベースの競合解決機能 レプリケーション中のデータ (レコード内容は同一性を維持) 【補足資料】 CDRとは - Conflict Detection & Resolution

    44 Column Before update After update ID 1 1 NAME Essentials of Oracle GoldenGate Essentials of Oracle GoldenGate AUTOHR Taro Aoyama Taro Aoyama IN_STOCK 1000 1500 LAST_UPD_TS 24-JAN-15 04.41.40.900990 PM 24-JAN-15 05.41.40.900990 PM Column Before update After update ID 1 1 NAME Essentials of Oracle GoldenGate Essentials of Oracle GoldenGate AUTOHR Taro Aoyama Dr. Taro IN_STOCK 1000 800 LAST_UPD_TS 24-JAN-15 04.41.40.900990 PM 24-JAN-15 06.41.40.900990 PM 24-JAN-15 5:41 24-JAN-15 6:41 業務上の処理として • IN_STOCK カラムは正味の値とする • IN_STOCK 以外は最新データを保持する ルール Copyright © 2024, Oracle and/or its affiliates
  44. ルールベースの競合解決機能 IN-STOCK は正味の値にする 【補足資料】 CDRとは - Conflict Detection & Resolution

    45 Column Before update After update ID 1 1 NAME Essentials of Oracle GoldenGate Essentials of Oracle GoldenGate AUTOHR Taro Aoyama Dr. Taro IN_STOCK 1000 1500-200=1300 LAST_UPD_TS 24-JAN-15 04.41.40.900990 PM 24-JAN-15 06.41.40.900990 PM Column Before update After update ID 1 1 NAME Essentials of Oracle GoldenGate Essentials of Oracle GoldenGate AUTOHR Taro Aoyama Dr. Taro IN_STOCK 1000 800+500=1300 LAST_UPD_TS 24-JAN-15 04.41.40.900990 PM 24-JAN-15 06.41.40.900990 PM 1000 1500 1000 800 +500 -200 -200 +500 ルールに従って • IN_STOCK カラムは正味の値とする • IN_STOCK 以外は最新データへ置き換える ルールに従って • IN_STOCK カラムは正味の値とする • IN_STOCK 以外は最新データなのでそのまま Copyright © 2024, Oracle and/or its affiliates
  45. New: GoldenGate 23ai High Availability Clusters 47 Copyright © 2024,

    Oracle and/or its affiliates Goal • シンプルなGoldenGate HAアーキテクチャ • OracleおよびOracle以外のDB • マルチクラウド、オンプレミスまたはOCI GoldenGate Scope • Raft consensus model • 共有ファイル・システム(DBFS、ACFS)を排除し、XAG Clusterwareの必要性を排除 • 論理的、自動競合解決と非同期 Supported patterns • フェイルオーバー、アクティブ/アクティブ、マルチアクティブ • コンピュートHA - 単一データ・センター • マルチドメインHA - 単一リージョン • マルチリージョンHA – planet scale DC2 DC3 DC1 Leader / Primary Followers / Hot Standby Observers (optional) Deployment Key: GA planned for 2H-2024 ※2024年6月末時点の情報
  46. Simple user experience for 99.999% High Availability 48 Copyright ©

    2024, Oracle and/or its affiliates 1 OCI GoldenGate Cloud Users 1. リーダー・リージョンでのデプロイメントの作成 2. HAクラスタの場合は「チェックボックス」を選択 3. フォロワーの場所を選択 • リーダーと同じAD内 • 同一リージョンで異なるAD • 異なるリージョン On Premises Environments 2 GoldenGate On-Premise Users 1. 技術情報の確認 • 90% shorter than existing HA paper 2. ホストへのGoldenGae S/W インストール • Hosts can be in same region or many 3. リーダーからのHAクラスタの設定 • Shared Config Service • Raft の導入 *OCI-GG users will not need to know details of how it works
  47. GoldenGate 23ai HA Clusters – SLAs 基本的なフェイルオーバー・ソリューション、およびより複雑なアクティブ/アクティブおよびマルチアクティブ Compute HA •

    ~99.99%, <52min downtime/yr • single Domain, multiple Computes • replicated Trails, single AD config store Multi-Domain HA • ~99.995%, <26min downtime/yr • multiple Domains & Computes • replicated Trails, regional config store Multi-Region HA • ~99.999%, <5min downtime/yr • multiple Regions, Domains & Computes • using load balancer, database RTO=0 49 RPO=0, zero data loss | RTO target ~3-5 seconds | OCI, on-prem, or any cloud | external consistency during recovery window is a function of pre-failure Tx Lag Copyright © 2024, Oracle and/or its affiliates
  48. New Database Roles New Simplified GUI/UX StatsD Telegraph Integration OCI

    IAM Integration JSON Relational Duality Oracle GoldenGate next-generation AI with distributed vector support PDB Extract Capture DDL Notification on Target Tables Microservices Architecture Only Non-Oracle & Big Data Technology Online DDL + EBR AWR Enhancement Data Streams Pub-Sub AsyncAPI High Availability Clusters Trail Files Management 23ai Database New Features Support Integrated Diagnostics for IE/IR ACDR Enhancements @Dbfunction Mapping GG Free Recipes NEW IN 23ai Copyright © 2024, Oracle and/or its affiliates 50
  49. GoldenGate 23ai microservices user interface 51 Copyright © 2024, Oracle

    and/or its affiliates GGの一般的な導入のための統合UX Service Manager • Admin Microservice • Distribution Microservice • Receiver Microservice • Performance Metrics 新しい組込みコンポーネント • Certificates config • アイデンティティ/SSO統 • Trail File 管理 • 統合診断 • Etc.
  50. New Database Roles New Simplified GUI/UX StatsD Telegraph Integration OCI

    IAM Integration JSON Relational Duality Oracle GoldenGate next-generation AI with distributed vector support PDB Extract Capture DDL Notification on Target Tables Microservices Architecture Only Non-Oracle & Big Data Technology Online DDL + EBR AWR Enhancement Data Streams Pub-Sub AsyncAPI High Availability Clusters Trail Files Management 23ai Database New Features Support Integrated Diagnostics for IE/IR ACDR Enhancements @Dbfunction Mapping GG Free Recipes NEW IN 23ai Copyright © 2024, Oracle and/or its affiliates 53
  51. Copyright © 2024, Oracle and/or its affiliates GoldenGate 23ai diagnostics

    improvements Trail File Management Integrated Diagnostics AWR Enhancements StatsD Telemetry ワークロードの問題、構成の誤り(索引の不足によるレ プリケーションSQLの低速化など)、パフォーマンス・ボト ルネックの原因(データベース側やデータベース外の GoldenGateプロセスなど)を判別しやすくなるため、レ プリケーション・パフォーマンスの問題のトラブルシューティ ングが大幅に簡素化される オプションで、GoldenGate マイクロサービス層のメトリックを、 StatsD形式のテレメトリをサポートするコレクション・フ レームワーク(InfluxDBなどの時系列データベースや Oracleデータベースに直接)に統合できるため、 トレンド分析および予測インジケータの決定のための 耐久性のあるシステム・イベントの収集が容易になる マイクロサービスGUIから直接、統合抽出、 Replicat(IE)および統合Replicat(IR)に対する UTL_RPADVサポート (オンデマンドで統計を収集することも、監視ジョブを作 成してOracle Replicationのパフォーマンスを継続的 に監視することも可能) GoldenGateユーザーは、証跡に含 まれる詳細に関するアーカイブ、パー ジ、レポートなどの新しいタスクを含め、 マイクロサービスGUI内から直接証跡 ファイルを表示および管理できる 54
  52. Copyright © 2024, Oracle and/or its affiliates GoldenGate 23ai observability

    with StatsD and Telegraf (ATP) Autonomous Transaction Processing GoldenGate Stream Analytics GG Receive GG Admin GG Metrics GG Distribute GoldenGateは現在、オプションでGGマイクロサービスからテレメトリをStatsD形式でプッシュ • パフォーマンスの向上、REST APIへの影響なし、低レイテンシに最適 Telegrafなどの任意のStatsDデーモンは、メトリックを自動的に収集および集計 • 時系列データベース/Oracle DBにGGメトリックを格納して時系列分析を行う • リアルタイム・アラートのためにメトリックをストリーム・プロセッサ(KafkaやGG Stream Analyticsなど)に送信 * GoldenGate 23aiの将来のバージョンには、Telegrafのオプションのインストールが含まれる場合があります 55
  53. New Database Roles New Simplified GUI/UX StatsD Telegraph Integration OCI

    IAM Integration JSON Relational Duality Oracle GoldenGate next-generation AI with distributed vector support PDB Extract Capture DDL Notification on Target Tables Microservices Architecture Only Non-Oracle & Big Data Technology Online DDL + EBR AWR Enhancement Data Streams Pub-Sub AsyncAPI High Availability Clusters Trail Files Management 23ai Database New Features Support Integrated Diagnostics for IE/IR ACDR Enhancements @Dbfunction Mapping GG Free Recipes Copyright © 2024, Oracle and/or its affiliates NEW IN 23ai 56
  54. Database 23aiの新機能に対する幅広いサポート Oracle Database Features • JSON Relational Duality (extract/capture)

    • Note: GA in post 23.4 bundle patch • Oracle Blockchainおよび不変表のGoldenGateサポート • Oracle Booleanデータ型 • ACDRを使用したブロックチェーン/不変表のアクティブ/アクティブ・レプ リケーションのサポート • ロックフリー予約列 • Oracle Database 23aiの4K列を含む表のサポートの追加(行サイズ が4MB未満) • JSON diffのGoldenGateレプリケーション・サポート • Oracle SQLドメインのサポート • GoldenGateと一時論理ローリング・アップグレードの共存をサポート • エディション・ベース再定義(EBR)のオンラインDDLサポート Observability and Diagnosability • AWRの拡張機能 • 統合診断- UTLRAPDVをマイクロサービスに統合 Security and Governance • 長いDBパスワードのGoldenGateサポート • Oracle DBにおけるユーザー・ロールによる Capture および Apply • PDB 単位での GoldenGate Extract Performance – Resilience • ターゲット表のDDL通知との統合 • データ損失ゼロの自動再接続 • 分散パスおよびターゲット開始パスの高速障害検出 • 自動CDRの拡張機能 • Windowsでの内部通信にネットワーク・ソケットのかわりに名前付きパ イプを使用 Copyright © 2024, Oracle and/or its affiliates 57
  55. エディション・ベース再定義(EBR)のオンラインDDL Background • Oracle DBのエディションベースの再定義(EBR)は、データベースをオンラインに保ちながらアプリケーションをアップグレードできる強力な 機能であり、ユーザーのダウンタイムを最小限に抑えることができます。これは、停止が発生しない大規模なミッション・クリティカルなシ ステムに特に重要です。 Problem • データベース23aiより前は、一部のオンラインDDL操作では、サプリメンタル・ロギングがオンのときにオブジェクト・レベルのロックが発生す

    る可能性があります。このため、特定のGoldenGate操作では、それらの操作中にオブジェクトがロックされ、DDL操作が失敗する可 能性があります。 Solution • Database 23aiおよびGoldenGate 23ai以降では、サプリメンタル・ロギングを含む表は非ロックであるため、これらのDDL操作で EGGとEBRを併用する柔軟性が向上します。 • 機能もDatabase 19cにバックポートされます。 • ソリューションにより、意図しないオブジェクト・ロックを発生させることなく、EBRを使用してデータベースでGoldenGate抽出を有効にで きます。 • GoldenGate 23aiは、オンライン・アプリケーション・アップグレードからの変更をレプリケートできるように、オンラインDDL操作を処理で きます。 58 Copyright © 2024, Oracle and/or its affiliates
  56. GoldenGate 23ai updates to security 59 Copyright © 2024, Oracle

    and/or its affiliates IAM, IDCS and Azure AD IdPs OKV 21.4を使用した証跡ファイルの暗号化 ロールベースの権限モデル Long Passwords OKV 21.4では、抽出不可能なマスター・キーの概念が 導入され、これらのマスター・キーはOKVから取得でき ません。かわりに、暗号化操作(暗号化/復号化)を コールしてOKV内で実行する必要があります。証跡の 暗号化では、2つの暗号化キーを使用します • 証跡キーごと- 単一のTFのデータを暗号化します • マスター・キー- トレイルごとのキーを暗号化 データベース・ユーザー・パスワードおよびパスワード認証 済セキュア・ロールの最大長は1024バイトです。 GGレプリケーションの権限を付与する新しいロールベース・アプローチ →DBMS_GOLDENGATE_AUTH.GRANT_ADMIN_PRIVILEGEの置換 新しいロール: OGG_CAPTURE - Extractプロセスの使用 OGG_APPLY - Replicatプロセスを使用する場合。 OGG_SHARED_CAPTURE - 共有取得サービス用 OGG_APPLY_PROCREP - プロシージャ・レプリケーション・レコードを適用す る場合。 OCI IAM/IDCSへの簡素化および更新 された統合(Azure Active Directoryと のパススルー統合の新しいサポートを含 む)。GoldenGateのユーザー・アイデン ティティは、IdPsに簡単に外部化できる ようになりました。
  57. New Database Roles New Simplified GUI/UX StatsD Telegraph Integration OCI

    IAM Integration JSON Relational Duality Oracle GoldenGate next-generation AI with distributed vector support PDB Extract Capture DDL Notification on Target Tables Microservices Architecture Only Non-Oracle & Big Data Technology Online DDL + EBR AWR Enhancement Data Streams Pub-Sub AsyncAPI High Availability Clusters Trail Files Management 23ai Database New Features Support Integrated Diagnostics for IE/IR ACDR Enhancements @Dbfunction Mapping GG Free Recipes NEW IN 23ai Copyright © 2024, Oracle and/or its affiliates 60
  58. GoldenGate 23ai for Non-Oracle databases 61 Copyright © 2024, Oracle

    and/or its affiliates GoldenGate for PostgreSQL • Capture from Partitioned Tables • Precise instantiation using PostgreSQL snapshots • Support for ENUM (user defined data types) and ARRAYs GoldenGate for DB2 Z / LUW / iSeries • Support for GRAPHIC, VARGRAPHIC, DBCLOB, and DISTINCT Data types • Improved installation experience for DB2 iSeries • Integration with WLM on DB2 Z • Allow multiple EXCLUDEUSERS GoldenGate for NSK • Add SIZEOF() function for use with @getptlftoken • Added support for delayed apply, and close file option to EVENTACTIONS. • Added support for SQLEXEC in SQL/MP to return a value New Operating System Certifications • RHEL 9 and OEL 9, all Linux platforms General OGG for Non-Oracle Enhancements • Microservices Architecture for DB2 LUW, DB2 iSeries, Sybase, TimesTen, and Teradata • Parallel Replicat support for bi-directional • Ignore unsupported data types GoldenGate for MySQL • Capture from Group Replication Cluster (21c) • Partial JSON support (21c) • Tracking schema changes (21c) • Improved support for lower case, mixed case, and upper-case table names GoldenGate for SQL Server • CDC Capture job and Always On Synchronization Status Monitoring • Improved database connectivity (no need for DSN) • Precise Instantiation using SQL Server snapshots • Package Microsoft’s ODBC Driver 18 GoldenGate for MySQL • Google Cloud SQL for MySQL 8.0 • MariaDB 10.6, 10.7, 10.8, 10.9 • MariaDB 10.11 • SingleStoreDB 7.8, 8.0 - Delivery only • SingleStoreDB Cloud 7.9 - Delivery only • Windows 2016, 2019, and 2022 support - local Capture only GoldenGate for SQL Server • Google Cloud SQL for SQL Server 2017, 2019 • Google Cloud SQL for SQL Server 2022 • Microsoft SQL Server 2022 • Windows 2022 support - local Capture only GoldenGate for PostgreSQL • PostgreSQL 16 • Google Cloud for PostgreSQL version 10 and above • Google Cloud AlloyDB for PostgreSQL version 15 and above • OCI PostgreSQL - Delivery (Capture already supported with 21c) Others • Teradata Vantage 2.4 • Teradata VantageCloud Lake editions • Certified 17.10 and 17.20 TTU drivers • OCI TimesTen - Delivery only • iSeries 7.5 Capabilities New Platform Certifications PostgreSQL & DB2/Z updates GA now, the rest planned for Mid-2024 ※2024年6月末時点の情報
  59. GoldenGate 23ai for Distributed Apps and Analytics 62 Copyright ©

    2024, Oracle and/or its affiliates GoldenGate Data Streams • Publish-subscribe REST endpoint delivery • JSON and CloudEvents formats General GG4DAA Features • Databricks Delivery • Databricks API/Driver • Delta Format data • Google Pub/Sub Delivery • Redis Delivery • MongoDB Capture • Autonomous JSON Delivery • Apache Cassandra/ Cassandra DSE Capture • Google BigQuery Stage and Merge Delivery • Target Table Instantiation • Snowflake Streaming Handler • GGDAA Docker Availability • Support Avro formatting based on an external schema • MongoDB Bi-Directional Replication • XAG Support for GG4DAA • Support Boolean Type • Data Transformation MicroTX Enterprise Edition – First release 23.4 Transaction Patterns Supported • Long Running Actions (LRA) • Try-Confirm/Cancel (TCC) • MicroTx XA • Unique Resource Manager Proxy Approach Simplified Application Development • Interceptors to Simplify Application Development • Simplified Application Development • MicroTx Libraries for Spring Boot • XA Transaction Interoperability • WebLogic Applications as XA Participant • APEX (ORDS) Application as XA Participant • ORDS Applications as XA Participants • Databases/Resource Managers for XA Capabilities Pub/Sub planned for Mid-2024 ※2024年6月末時点の情報
  60. New Database Roles New Simplified GUI/UX StatsD Telegraph Integration OCI

    IAM Integration JSON Relational Duality Oracle GoldenGate next-generation AI with distributed vector support PDB Extract Capture DDL Notification on Target Tables Microservices Architecture Only Non-Oracle & Big Data Technology Online DDL + EBR AWR Enhancement Data Streams Pub-Sub AsyncAPI High Availability Clusters Trail Files Management 23ai Database New Features Support Integrated Diagnostics for IE/IR ACDR Enhancements @Dbfunction Mapping GG Free Recipes NEW IN 23ai Cloud Native Copyright © 2024, Oracle and/or its affiliates 63
  61. OCI GoldenGate uptake for 23ai フルマネージド・プラットフォーム、1つのサービス- 統合デプロイメント single OCI service,

    many deployment types GoldenGate 23ai for Oracle DBs GoldenGate 23ai for Big Data GoldenGate 23ai for Non-Oracle GoldenGate Stream Analytics (ODI) Data Transforms GoldenGate Veridata GoldenGate Data Streams Breadth of Features for Data Fabric / Mesh New in 2023 100’s of integrations Coming in 2024 23ai updates Copyright © 2024, Oracle and/or its affiliates 64 ※2024年6月末時点の情報
  62. Microsoft Azure Data Center OCI Data Center Oracle Cloud Infrastructure

    Industry leading innovation with Oracle Database@Azure Lakehouse Bronze | Silver | Gold local data catalog Ingest Analytics Azure Data Fabric Services Oracle Real-time Data Fabric Platform 「MicrosoftとOracleは、マルチクラウドの意味を完全に再定義しました。前例のない、本当に予期せぬ動きの中で、Exadataと、OCI上で動作 するAutonomous Databasesを含むすべてのOracle Databaseクラウド・サービスが、Azureデータ・センターにコロケーションされるようになりまし た。Azureユーザーは、レイテンシやイングレス/エグレス料金を気にすることなく、Autonomous Databaseのパワーとメリットを直接体験できます。 これはゲーム・チェンジャーであり、ウォールド・ガーデンは終わりました。」 Marc Staimer氏、Wikibon、シニア・アナリスト Azure-native Applications real-time data real-time data real-time data Copyright © 2024, Oracle and/or its affiliates 65
  63. Award-winning data integration Copyright © 2024, Oracle and/or its affiliates

    Read the full Report here ! 2023 Gartner Magic Quadrant • #1 for Cloud Data Integration • #1 in Streaming Integration • Leader in Data Replication/Synch • Leadership in low latency replication • Commitment to both On-Prem and Cloud 2024 Forrester Data Fabric Wave • #1 for Real-time Data Fabric • #1 in Transactional Data Fabric • Leader in Stream Processing • Leadership in low latency replication • Commitment to both On-Prem and Cloud 66
  64. Agenda - GoldenGate 23ai 新機能紹介とテクニカル Tips Copyright © 2024, Oracle

    and/or its affiliates 67 3 GoldenGate ユースケースと まとめ 社内での動作確認も 含めたユース・ケースの ご紹介 2 GoldenGate 23ai 新機能 GoldenGate 23ai の 一部の新機能について 解説 1 GoldenGate 現状について 基礎的な技術情報と オンプレミス、OCI GGの 現状について
  65. GoldenGate 活用事例① OCI GoldenGate (for Oracle Database) ~ Planet Scale

    Replication 68 Copyright © 2024, Oracle and/or its affiliates Source Site - ASHBURN Source Database Target Site - TOKYO Target Database Distribution Receiver ASYNC Trail transport R/W R/W Trail File Trail File OCI GG Deployment OCI GG Deployment OLTP系の負荷 ツールを使用
  66. GoldenGate 活用事例② OCI GoldenGate (for Oracle Database) ~ マルチ・クラウドの1例 69

    Copyright © 2024, Oracle and/or its affiliates 他社様のクラウド環境 Source Database OCI Target Site - TOKYO Target Database ASYNC Trail File 他社様のCloud環境で稼働する Oracle Database 複数のシングル・インスタンスで稼働中のもの ※ご注意 他社様の環境においてはサポートの可否やパッチの適用状況 など詳細な確認が必要となります OCI GoldenGate の実行環境(Deployment) から リモートで変更履歴を抽出し、OCI の BaseDB 上に Multitenant を実装し集約 OCI GG Deployment
  67. GoldenGate 活用事例③ OCI GoldenGate (for Oracle Database & for Distributed

    Applications and Analytics ) 70 Copyright © 2024, Oracle and/or its affiliates Source Database OCI - TOKYO Target Data Source Distribution Receiver Trail File Trail File 区切りテキスト Streaming OCI GG Deployment OCI GG Deployment (for DAA) 1000,'Houston',20,743113 1001,'Dallas',20,822416 1002,'San Francisco',21,157574 1003,'Los Angeles',21,743878 1004,'San Diego',21,840689 1005,'Chicago',23,616472 1006,'Memphis',23,580075 1007,'New York City',22,124434 1008,'Boston',22,275581 1009,'Washington D.C.',22,688002 Big Data用 各ハンドラ(lib) Source Database に対する処理を抽出し、for DAAに転送する for DAA の Kafkaハンドラを利用し、区切りテキストフォーマットを 選択し、Kafka トピックへ連携 JSON Object Storage
  68. データ・メッシュに至る理由 データメッシュがソリューションとして登場するきっかけとなったテクノロジーのト レンドには、次のようなものがあります。 • デジタル・トランスフォーメーションの70-80%が失敗する • 業務系データの停止に伴うコストが上昇している • クラウド・ロックインが現実となり、さらにコストがかかる可能性がある •

    データレイクの成功は、やや難しく、分析にのみ焦点が当てられている ケースが見られる • 分散型データの台頭により、より効果的、効率的、かつ経済的なアー キテクチャが求められている • 組織のサイロ化により、データ共有の問題が深刻化している • データは競争力を高めるための触媒であり、それを適切に管理するこ とが重要である なぜ今データメッシュが必要なのか、詳しくはZhamak Dehghaniの2019 年の原著論文、「モノリシックなデータレイクから分散型データメッシュに移 行する方法」をお読みください。 71 Copyright © 2024, Oracle and/or its affiliates https://www.oracle.com/jp/integration/what-is-data-mesh/#what-is-data-mesh
  69. Copyright © 2024, Oracle and/or its affiliates 72 データ・メッシュ? データ・ファブリック?

    データ・ファブリック アプリ開発の統合 分析用データストア データメッシュ データ統合 メタカタログ マイクロサービス メッセージ データレイクハウス 分散型DW 人、プロセス、メソッド: データ製品重視 技術的なアーキテクチャの属性 : 分散アーキテクチャ イベント駆動型カタログ ACIDサポート ストリーム指向 分析データ重視 運用データ重視 物理・論理メッシュ https://www.oracle.com/jp/integration/what-is-data-mesh/#use-cases
  70. データ・メッシュの定義と留意点 • データ・プロダクト ビジネスにおける課題を解決に導くためにはデー タを最大限活用する必要があり、データコレク ション、データイベント、データ分析などを提供す るツール • 分散型のアーキテクチャ モノリシックなアーキテクチャからマルチクラウドやハ

    イブリッド・クラウドへの移行を選択する組織や、 グローバルに分散した運用が必要な組織を支 援する分散・非集中型データ・アーキテクチャ • リアルタイムデータ 静的かつバッチ指向のデータだけに依存するので はなく、イベント駆動型のデータ台帳やストリーミ ング中心のパイプラインに移行することをを目指 す組織のための移動中のデータ 73 Copyright © 2024, Oracle and/or its affiliates いつでも、どこからでも価値ある情報に低いコストでアクセスできること
  71. Copyright © 2024, Oracle and/or its affiliates 75 事例: HDFCによるOracleベースのリアルタイム・データ・メッシュ

    複製 検出 データ エンリッチメント 時 系列 機械 学習 ATM現金機械 データ可用性 POS データ・レプリケーション コアバンキング HAおよびレプリケーション 生データ 国全体 のデータ・メッシュ トランザクション・ログ 監視可能 電子メールマーケティング キャンペーン (マーチャントバンキング) データ・レイクハウス /ウェアハウス データ・プロデューサ: データ・コンシューマ: リアルタイム・イベント 分散型アーキテクチャ 検出可能なAPIおよびサービス 分散型マルチクラウド・アーキテクチャ インドの金融サービスは、HP NonStop(Base24)、Oracle CloudのOracle Exadata、 AzureのGoldenGate Stream Analyticsとデータレイクと分析でGoldenGateを実行 CDC
  72. Oracle Database と AI Vector Search GoldenGate (for Oracle Database)

    - 様々なデータソースの架け橋 77 Copyright © 2024, Oracle and/or its affiliates Source Site Source Database Target Site Target Database Distribution Receiver ASYNC Trail transport R/W R/W Trail File Trail File VECTOR型 VECTOR型 表のレプリケーション 連携例 UTL_TO_EMBEDDING
  73. Create a real-time vector hub for GenAI 78 Copyright ©

    2024, Oracle and/or its affiliates Oracle technologies 3rd party databases Relational Vectors real-time data 3rd party vector sources 3rd party messaging, NoSQL Business Updates Docs, Events/Alerts DML & DDL Vector Changes Prompt Chat History Enhanced Prompt “What’s the policy?” “What are my corporate benefits?” Embedding Model Embedding Similarity Search Augmented Prompt LLM / GPT Retrieval Augmented Generation (RAG) Business Operations Vector Hub Real-time Data trusted answers from fresh data to_embeddings() Business Data fresh business data and reduced hallucinations in your Generative AI answers (新鮮なビジネスデータとジェネレーティブAIによる幻覚の低減)
  74. 各導入フェーズで役立つ Oracle GoldenGate Technical Tips 23ai対応版 (※一部トピックは今後Update予定) 環境確認 •Certification Matrix

    / サポートの理解 / 多彩な構成 / 異なるテクノロジー / 応用構成 サイジング •データベースに関する要素 / プロセス多重化の指針 / 補足事項 設定・設計 •既存データベースへの設定変更および確認 / GoldenGate の設定 初期ロード •初期データロードとは / 様々な初期データロード / Instantiation CSN を使った初期データロード / 他 監視・管理について •マイクロサービス・アーキテクチャにおける監視・管理 / OCI GoldenGate に関する要素 トラブルシュート •GoldenGate 共通のトラブルシュート / OCI GoldenGate におけるトラブルシュート 補足情報 •高可用性要件における構成 / ユースケースに見る特殊な使い方 80 Copyright © 2024, Oracle and/or its affiliates
  75. Our mission is to help people see data in new

    ways, discover insights, unlock endless possibilities.