Slide 1

Slide 1 text

「拡張型CDC」「リバースETL拡張」「コネクタ大強化」など、 CData Sync Update ウェビナー 『色々』強化された CData Sync V24.3アップデートを プロダクトスペシャリストが大解説 「拡張型CDC」「リバースETL拡張」「コネクタ大強化」など、 基幹システムとデータウェアハウス・BIツールの連携をさらに密接に するアップデート。 講師:Senior Product Specialist 宮本 航太 Part 2

Slide 2

Slide 2 text

講師紹介 宮本 航太 シニアプロダクトスペシャリスト、PM for Apps - 2019 年よりCData Software にジョイン - 5年ほどApps 系を中心にサポートチームで活動 - 2024 年からプロダクトマネージメント部で Apps 系の日本側でのマネージメントに従事 2

Slide 3

Slide 3 text

アジェンダ  第1章:2024年アップデート内容振り返り  第2章: Sync V24.3 アップデート情報  第3章: CData Sync 2025:今後の予定 3

Slide 4

Slide 4 text

2024年アップデート内容振り返り 第1章 4

Slide 5

Slide 5 text

2024アップデート内容のおさらい 2024年1月:Snowflake からSalesforce へのリバースETL、カスタムコネクタ開発用のAPI Connector 追加 2024年5月:Sync Cloud リリース 2024年5月: V24 リリース:SQL Server からSalesforce へのリバースETL、dbt Cloud 連携 2024年7月: HeatWave への連携 2024年8月:V24.2 リリース:リバースETLソース拡充、D365 CDC、 PostgreSQL 連携のパフォーマンス強化、ジョブリトライ、CDC初回ス キップ 2025年1月: V24.3 リリース 5

Slide 6

Slide 6 text

Sync V24.3 アップデート情報 第2章 6

Slide 7

Slide 7 text

Sync V24.3 アップデート機能のリスト 機能追加  拡張型CDC(変更データキャプチャ)機能  リバースETL 機能対応コネクタ追加  カスタムロール機能  コメント機能  コネクタ追加  メタデータキャッシュコントロール 機能改善  Snowflake へのパフォーマンス改善  Snowflake のVariant 型対応  BigQuery のマルチバイト項目名対応  Dynamics365 CDC でのヒストリーモードをサポート  コネクタでのAPI アップデート 7

Slide 8

Slide 8 text

拡張型CDC(変更データキャプチャ)機能 8

Slide 9

Slide 9 text

拡張型CDC(変更データキャプチャ)機能 具体的な既存CDC 機能の課題点  「パフォーマンス」は PostgreSQL での問合せが多く、トランザクションログからの抽出時に関係 のないテーブルの変更データが存在するケースでの抽出で時間が掛かっていた  「リソース負荷」については、Oracle でのジョブを実行するたびにLogminer を開始させ、大量の トランザクションログを読み込む必要があり、OOM の問題が発生する可能性があった なぜ新しいCDC機能が搭載されたのか  近年、基幹システムのデータ分析のためにデータベースからクラウドデータウェアハウスへの連携 ケースが多くなり、CDC 機能の利用ケース増  リアルタイム、高頻度でレプリケーションしたいユーザーも増えた半面、「パフォーマンス」や 「リソース負荷」の問題が散見 9

Slide 10

Slide 10 text

拡張型CDC(変更データキャプチャ)機能 10 拡張型CDC とは  データベースの変更データをリアルタイムキャプチャできる機能。スケジュール機能との組合せで 1分以内のニアリアルタイム連携が実現できる  既存CDC よりもパフォーマンスよく同期先DB に連携することができる 拡張型CDC の仕組み 変更データの取得方法  トランザクションログなどの変更履歴リソースのリアルタイム監視 対応コネクタ  PostgreSQL とOracle のみ 同期先へのデータの流れ  次ページで説明

Slide 11

Slide 11 text

拡張型CDC(変更データキャプチャ)機能 拡張型CDC 構成図 ※同期先へのデータの流れ 11  Sync内部に連携データを保存する一時領域(ステージエリア)を新設し、取得した変更データ をjson ファイルでステージエリアに保存する。保存後は、スケジュール実行でステージエリア ⇒同期先DB の構成で処理する

Slide 12

Slide 12 text

拡張型CDC(変更データキャプチャ)機能 「パフォーマンス」と「リソース負荷」への対応は? PostgreSQL  パフォーマンス改善  トランザクションログを常時監視し、変更ポイントを逐次更新することで、大量トランザ クション環境でも高速同期を実現 Oracle  パフォーマンス改善  常にLogminer を起動しつづける方式となりレプリケーション時間を短縮  リソース負荷改善  トランザクションログを溜めずに常時読み込むことで、一度に大量処理する負荷を抑え、 メモリ不足や高負荷を回避 12

Slide 13

Slide 13 text

拡張型CDC(変更データキャプチャ)機能  運用中の既存CDC ジョブで特に課題が無い  PostgreSQL でUTF-8 以外の文字コードを利用  Oracle Flashback 機能でCDC を構成している  Sync 内部のステージエリアに一時的にでも保存したくない 13 既存CDC 向き 拡張型CDC 向き  パフォーマンスを改善したい  DB側のリソースを軽減させたい  PostgreSQL のパーティションテーブルも同期したい  (ニア)リアルタイム連携をしたい

Slide 14

Slide 14 text

拡張型CDC(変更データキャプチャ)機能 ユースケース 1.在庫管理と販売状況の(ニア)リアルタイムでのモニタリング  実現したいこと 各店舗や倉庫の在庫情報や売上状況を5分単位で反映させて、ほぼリアルタイムな売上・在 庫の可視化を行い、在庫・発注の最適化と販促の効果検証を実現したい  既存CDC 機能だと… 5分ごとに更新したいが、通常CDC 機能のバッチ連携だとデータ量が多いと遅延が発生する 可能性がある  拡張型CDC 機能だと… 拡張型CDC により、常に変更データを取り込み続けることで、5分ごとのレプリケーション を安定して実行できる 14

Slide 15

Slide 15 text

拡張型CDC(変更データキャプチャ)機能 PostgreSQL CDC パフォーマンス比較  拡張型CDCと既存CDCで比較  方式が違うので、ジョブスケジュールの時間を合わせ、その完了時間で比較 4 秒で同期完了 56 秒で同期完了 15

Slide 16

Slide 16 text

リバースETL 機能対応コネクタの拡充 16

Slide 17

Slide 17 text

リバースETL 機能対応コネクタの拡充 まず初めに…データ分析/活用後のネクストアクションは? 顧客/商談などの最新情報をビジネスユーザーが利用している業務アプリケーションに 反映されれば、より迅速なアクションにつなげられる 17

Slide 18

Slide 18 text

リバースETL 機能対応コネクタ追加 ユースケース: Snowflake でリードスコアリングした結果をSalesforce に連携 18

Slide 19

Slide 19 text

リバースETL 機能対応コネクタ追加 ソースと連携先アプリケーションでコネクタ追加  ソース:BigQuery 、Redshift  アプリケーション:Dynamics365 19

Slide 20

Slide 20 text

既存コネクタの機能強化 20

Slide 21

Slide 21 text

既存コネクタの機能強化 Snowflake  Snowflake への書き込みパフォーマンスおよびリソース負荷の改善  Snowflake Variant 型をサポート BigQuery  マルチバイト文字を使用したカラム名でのレプリケーションをサポート Dynamics 365  変更データキャプチャ利用時でのヒストリーモードをサポート 21

Slide 22

Slide 22 text

Snowflake:パフォーマンス/リソース負荷の改善 ①Snowflake に一時テーブルを作成 ②Snowflake に内部ステージを作成 ③全レコードを複数のファイルに分割して内部ステージにアップロード ④ステージから一次テーブルにCOPY INTO でロード ※③→④を1セッ トとし、全レコード転送するまで繰り返す ⑤一時テーブルと対象テーブルでマージ 旧方式 22

Slide 23

Slide 23 text

Snowflake  Snowflake への書き込みパフォーマンスおよびリソース負荷の改善  Snowflake Variant 型をサポート ①Snowflake に一時テーブルを作成 ②Snowflake に内部ステージを作成 ③全レコードをローカルエリアにファイル出力 ④ファイルストリームでデータ読み出しながら内部ステージに取得した 全レコードアップロード ⑤ステージから一次テーブルにCOPY INTO でロード ⑥一時テーブルと対象テーブルでマージ 新方式 Snowflake:パフォーマンス/リソース負荷の改善 23

Slide 24

Slide 24 text

Snowflake  Snowflake への書き込みパフォーマンスおよびリソース負荷の改善  Snowflake Variant 型をサポート 比較結果 ※新方式はジョブオプション(RowTransferType=CopyInto) の設定のみ Snowflake:パフォーマンス/リソース負荷の改善 「OOM が心配で転送サイズを小さくしすぎてパフォーマンスが出せない」、「そもそもSnowflake へののジョブ完了時間を短 縮させたい」といった場合は、本ジョブオプションの指定でどちらも改善できます。 24

Slide 25

Slide 25 text

Snowflake  Snowflake への書き込みパフォーマンスおよびリソース負荷の改善  Snowflake Variant 型をサポート Snowflake: Variant 型をサポート 25 さまざまフォーマット形式の半構造化データをスキーマレ スでSnowflake に格納することができ、特定のフィール ドの値が簡単に取得できるようになるデータ型  Snowflake Variant 型とは  CData Sync V24.3 以降では これまではSnowflake にVarchar 型でカラムを作成して いたが、V24.3 ではそのままのスキーマ構成で格納でき るので、JSON関数が利用したデータ利用が可能に

Slide 26

Slide 26 text

BigQuery:マルチバイト名での同期対応 日本語カラムを持つサービスで効果的  ソース側の日本語カラムをそのままBigQuery にレプリケーションしたいケースでは、これまでは 手動変換必須だったが、V24.3 からは変換不要でそのままBigQuery に連携可能 代表例:kintone から BigQuery 9月末のGA 後、即対応 26

Slide 27

Slide 27 text

Dynamics 365:CDC でのヒストリーモード Dynamics 365 CDC ジョブでのヒストリーモード  Dynamics 365 CDC でも同期先DB でレコードの履歴管理が可能に ⇒例えば、商談確度の推移なども可視化したいケースではヒストリーモード利用で実現可 27

Slide 28

Slide 28 text

管理機能の強化 28

Slide 29

Slide 29 text

カスタムロール機能  旧版ではプリセットされた4種類のロールのみ ⇒個々のジョブやコネクションへのアクセス制御までは対応して いなく、複数ユーザー/部門で利用する場合に注意が必要だった 29

Slide 30

Slide 30 text

カスタムロール機能  新版ではユーザーごとに細かいアクセス制御を掛けることができ、他部署からの参照や実行を防ぐ ことができるようになりました 新版 30

Slide 31

Slide 31 text

コメント機能  コネクションやレプリケートタスク、変 換ジョブにコメント可能に  複数ユーザー利用の環境でコメントを入 れたいとの声が多かったため実現 31

Slide 32

Slide 32 text

その他アップデート 32

Slide 33

Slide 33 text

その他 メタデータキャッシュコントロール  ソース側メタデータの更新タイミングを柔軟に指定可能に コネクタでのAPI アップデート コネクタ追加  データソース:SAP Ariba(Procurement、Source) Microsoft OneLake、Connect Cloud  同期先: Microsoft OneLake、Couchbase 33

Slide 34

Slide 34 text

CData Sync 2025:今後の予定 第3章 34

Slide 35

Slide 35 text

大規模利用向け機能、CDC、リバースETL 大規模利用に向けた機能追加/改善  ワークスペース機能  クラウドデータウェアハウスへの大量データ転送のパフォーマンス改善 変更データキャプチャ機能強化  DB2 CDC (AS400, LUW) リバースETL  Kintone、Hubspot、Salesforce Marketing Cloud Account Engagement(Pardot) へのレプリケーション これらは現時点での予定であり、変更される可能性はございます 35

Slide 36

Slide 36 text

Thank you!