CData Sync V22 Release Webinar

© 2022 CData Software Japan, LLC | www.cdata.com/jp
Connect, integrate, and automate
your enterprise data.
2022/10/19
CData Sync V22 リリースセミナー

View Slide

1. データ分析の需要増加と課題
2. CData Sync とは
1. CData Sync の特徴
2. V22 概要
3. 変更データキャプチャ（CDC）
4. dbt Transformations
5. Google BigQuery：ALTER TABLE 文対応
6. ヒストリーモード
目次

View Slide

企業のデータ分析
出典：ミック経済研究所プレスリリースビジネス・アナリティクス市場展望 2020年版
https://mic-r.co.jp/mr/01900/
企業成長のためにデータ分析のニーズは増加しており
今後もBI 市場は拡大していく予測がある

View Slide

企業のデータ分析の課題
業種(Vertical)・業務(Horizontal)特化型SaaS の登場
（種類：多, 導入社数：少）
公開されているWeb API 数の増加
1企業あたりのSaaS アプリ利用数が急増

View Slide

複雑なAPI 仕様
Protocols
SOAP
REST
OData
TCP
Data Model
Relational
Document
Key-Value
Hierarchy
Row Stores
Metadata
Static
Dynamic
Hybrid
Row-scan
Authentication
BASIC/ NTLM
Kerberos
API Tokens
OAuth / JWT
Client Cert
SSO
Capabilities
Aggregation
JOIN
Filtering
Sort
Paging

View Slide

© 2022 CData Software Inc. | www.cdata.com
CData Sync
SaaS データのDB・DWH への連携・データパイプライン構築
• ３ステップ、ノーコードでデータパイプライ
ン処理を作成、データ統合基盤を構築
• 高度な差分更新メカニズム(CDCなど)を搭載
• オンプレ・クラウドどちらにもデプロイ可能
なアプリケーション製品
• 400を超えるデータソース
• 20を超える主要なデータレイク・データベー
ス・データウェアハウスへのデータ複製

View Slide

CData Sync
SaaS を中心とする400（API Profile
含む）を超えるデータソース
主要なデータレイク・データベース・
データウェアハウス
シンプルな設定 ETL / ELT 方式高度な差分更新柔軟なジョブ管理
ノーコード、3ステップで
データ統合基盤を構築
標準SQL によるデータ抽出
時での変換、もしくは、デー
タウェアハウスへの取り込み
後の変換どちらにも対応
CDC（ChangeDataCapture）
などの高度な差分更新メカニ
ズムを搭載
処理負荷を軽減し、日々の
ジョブ実行時間の短縮を実現
オブジェクト（テーブルや項目）、処理方式
（洗い替えor差分など）や条件（一部のレコー
ドのみ）を指定したジョブ作成が可能
作成したジョブはスケジュール、および、Web
API やコマンドラインで実行可能

View Slide

シナリオ例

View Slide

Sync の特徴
（ここが違う！）

View Slide

ELT 処理に最適
データソース
Extract
（抽出）
Load
（格納）
Transform
（変換）
ユーザー
ELT：データの変換処理を格納後に実施。
全データにアクセスでき、ローディングまでの短縮が可能。

View Slide

EAI との違い
EAI
データ連携のフローを構築できるツール
プロセスを組むことが得意
メンテナンスが大変
差分更新が大変
Sync
データレプリケーションに特化したツール
400+ のデータソースに対応
シンプルな操作
差分更新にも対応

View Slide

400＋の圧倒的データソース数
CRMおよびマーケティング自動化
会計システム
コラボレーションおよびERP
オンプレミスおよびクラウドDB
ドキュメントおよびファイル形式
ソーシャルネットワーキング
ネットワーキングおよび認証
電子商取引
その他
https://www.cdata.com/jp/drivers/

View Slide

セキュアなインスタンス管理
AMI 提供。
オンプレミスやクラウドへのセルフインストール
による利用が可能。
オンプレでデータを管理している場合でもオンプレにCData
Sync をインストールすればOK

View Slide

差分更新の対応
CData Sync は、Salesforce やMarketo など多くのデー
タソースで差分更新をサポート。
大容量のデータでもAPI 制限にヒットしない更新分だけを
収集可能。
https://www.cdata.com/jp/sync/connections/#sources

View Slide

課金体系
https://www.cdata.com/jp/sync/pricing/
レコード数やクエリによる
従量課金ではありません。

View Slide

V22 について

View Slide

CData Sync V22 リリース
https://www.cdata.com/jp/news/20220928-sync-v22/

View Slide

V22 リリース機能
• 変更データキャプチャ（CDC）
• dbt Transformations
• Google BigQuery：ALTER TABLE 文対応
• ヒストリーモード

View Slide

• 基幹ユーザーはRDB を使うことが多く、RDB →クラウドDWH のシナリオが好まれるため
RDB のレプリケーション向けのCDC を強化
• ELT なので、「T」をやるのはDWH 側だけど、T もジョブでSync で管理したい。従来は
SQL での変換で対応していたが、「T」で人気のツールdbt に対応
• 元データのスキーマも変わるのでALTER TABLE は必須。人気のBigQuery でもできるよ
うに。
• 顧客データに使われることが結構多い。案件とかで必要なデータは、スナップショット系のデー
タで、ヒストリーモードで一層便利に。

View Slide


View Slide

新しくMySQL、Oracle DB に対応
https://www.cdata.com/jp/blog/mysql-cdc-sync

View Slide

CDC：クエリベース
クエリベースでは対象テーブルにタイムスタンプで検索する
→ SQLのWhere 句に更新日付の条件を入れることで、差分データを抽出できるようになる
例） Select * from Account Where updated_at> ‘yyyy-MM-dd(最終更新日時)’
ポジ要素：
- DB 側の設定不要ですぐ実行可
ネガ要素：
- データ量によってデータベース全体に負荷が掛かる
- 更新日時項目を持つ必要がある
- 削除レコードは検知できない

View Slide

CDC：トリガー
トリガーによるCDC では、変更が行われたタイミングで別テーブルに変更情報を連携
→ 対象テーブルに変更が行われたタイミングで、別テーブルに「Insert、Update、Delete」の
内容を連携できる
ポジ要素：
- 削除も含めて全変更情報を取得可
ネガ要素：
- 別テーブルの管理で運用が複雑化
- トリガー処理がプラスされる＝元のステートメントの実行時間が増える
- テーブルのスキーマ変更時は手動対応する必要がある

View Slide

CDC：ログベース
トランザクションログを利用した差分データ抽出の方式
→ すべての変更イベントをリアルタイムで検知
ポジ要素：
- ログを直接参照でDB へのパフォーマンスに影響与えない
- スキーマ変更も気にせず、管理が容易
ネガ要素：
- 古いバージョンのDB では未対応であることが多い

View Slide

CDC とは
種類リアルタイム削除レコード対応パフォーマンス対応Ver(DB)
クエリベース △ × △ 〇
トリガー〇〇 △ PostgreSQL：Ver9.1～
ログベース〇〇〇
PostgreSQL：Ver9.4～
MySQL：Ver8.0～(default利用)
SQL Server：Enterprise
など
DB 向けの差分抽出の方式：Change Data Capture（CDC）

View Slide

CData Sync のCDC 機能
処理方法
SQL Server トリガーベース
PostgreSQL ログベース
MySQL ログベース
Oracle ログベース
2022/10 時点

View Slide

CDC 機能利用方法
MySQL 8.0 以降の場合
ジョブ作成時に選択するだけ
※バイナリログを有効化する必要があるが
8.0 以降はデフォルトで有効

View Slide

CDC 機能利用イメージ
オンプレDB（基幹）データを分析用にクラウドDWH などにレプリケートする
オンプレ基幹データ分析基盤

View Slide


View Slide

dbt とは
https://www.getdbt.com/
dbt（Data Build Tool）：SQL でDWH / データレイク内のデータを
変換するコマンドラインツール

View Slide

これまでのデータ変換
CData Sync 内でSQL を使った変換が可能

View Slide

ELT 処理における製品の役割
Extract
（抽出）
Load
（格納）
Transform
（変換）
CData Sync

View Slide

dbt 機能利用方法
https://www.cdata.com/jp/blog/sync-dbt
事前に作成した変換プロジェクトを
CData Sync 上から設定可能

View Slide


View Slide

ALTER TABLE 機能
カラムが変更されるとエラーが発生したり、スキーマ変更がスキップされていた
→処理の作り直しが必要だった

View Slide

ALTER TABLE 機能
• SQL Server
• Oracle
• PostgreSQL
• MySQL など
新しくGoogle BigQuery が対応

View Slide

ALTER TABLE 利用方法
ジョブ作成時にオプション内の
スキーマの変更にチェックを入れる

View Slide

ALTER TABLE利用イメージ
Salesforce のOpportunity テーブルに、顧客分類のためのフラグを追加。
フラグ情報を営業・マーケティング活動に利用。
フラグ追加
（サービス利用状況など）
変更されたテーブル構造ごと
レプリケート
データを利用

View Slide


View Slide

ヒストリーモードとは
https://www.cdata.com/jp/blog/sync-v22-historymode
データの変更履歴を保持する機能。
1つのテーブル内にレコードがいつ変更
されたかがわかる形でデータを保存。
テーブル内の変更がないレコードについ
ては１レコードとして保存され続ける。
→スナップショット機能と比べて保存さ
れるデータの容量を抑えることが可能

View Slide

追加カラム説明
・cdatasync_active：そのレコードが
Active （ジョブ実行時点で存在している）で
あるか。
・cdatasync_start：そのレコードがSync
された日付。※差分更新の最初の日付。
・cdatasync_end：そのレコードがActive
ではなくなった日付＝レコードが更新されて、
別のActive なレコードが同期された日付。
ヒストリーモードを利用したPostgreSQL テーブル（赤枠：追加カラム）

View Slide

ヒストリーモードの使い方
ジョブ作成時にオプション内の
ヒストリーモードを有効化に
チェックを入れる

View Slide

ヒストリーモード利用イメージ
案件データ内で受注確度の変更を記録
案件データの確度を変更変更履歴を保持確度変更時期を
含んだデータで分析

View Slide

おわりに

View Slide

• Google BigQuery：
ALTER TABLE 文対応

View Slide

1 Chome-6-27 Chuo, Aoba Ward,
Sendai, Miyagi Prefecture
980-0021, Japan
Tel: 050-5578-7390
CData Japan
600 Market St. #300
Chapel Hill, NC 27516 USA
Tel: (919) 885-0202
Fax: (919) 928-5455
US Headquarters
- United Kingdom
- Central & Eastern Europe
- Central China
Additional Offices
Contact Us
Worldwide Offices for Global Sales and Support
www.cdata.com

View Slide

CData Sync V22 Release Webinar

CData Sync V22 Release Webinar

CData Software Japan

More Decks by CData Software Japan

Other Decks in Technology

Featured

Transcript