CData Sync V22 Release Webinar

データレプリケーション処理をノーコードで構築するツール「CData Sync」のオンラインセミナーです。

リリースされたCData Sync V22 では、Salesforce、kintone などの主要コネクタにおける機能強化に加え多くの新機能を追加しています。今回のセミナーでは、CData Sync の新機能をわかりやすく解説します。
・変更データキャプチャ（CDC）強化
・dbt Transformations
・Google BigQuery：ALTER TABLE 構文対応
・ヒストリーモード

Transcript

1. © 2022 CData Software Japan, LLC | www.cdata.com/jp Connect, integrate, and automate your enterprise data. 2022/10/19 CData Sync V22 リリースセミナー
2. © 2022 CData Software Japan, LLC | www.cdata.com/jp 1. データ分析の需要増加と課題 2. CData Sync とは 1. CData Sync の特徴 2. V22 概要 3. 変更データキャプチャ（CDC） 4. dbt Transformations 5. Google BigQuery：ALTER TABLE 文対応 6. ヒストリーモード 目次
3. © 2022 CData Software Japan, LLC | www.cdata.com/jp 企業のデータ分析 出典：ミック経済研究所プレスリリース ビジネス・アナリティクス市場展望 2020年版 https://mic-r.co.jp/mr/01900/ 企業成長のためにデータ分析のニーズは増加しており 今後もBI 市場は拡大していく予測がある
4. © 2022 CData Software Japan, LLC | www.cdata.com/jp 企業のデータ分析の課題 業種(Vertical)・業務(Horizontal)特化型SaaS の登場 （種類：多, 導入社数：少） 公開されているWeb API 数の増加 1企業あたりのSaaS アプリ利用数が急増
5. © 2022 CData Software Japan, LLC | www.cdata.com/jp 複雑なAPI 仕様 Protocols SOAP REST OData TCP Data Model Relational Document Key-Value Hierarchy Row Stores Metadata Static Dynamic Hybrid Row-scan Authentication BASIC/ NTLM Kerberos API Tokens OAuth / JWT Client Cert SSO Capabilities Aggregation JOIN Filtering Sort Paging
6. © 2022 CData Software Inc. | www.cdata.com CData Sync SaaS データのDB・DWH への連携 ・データパイプライン構築 • ３ステップ、ノーコードでデータパイプライ ン処理を作成、データ統合基盤を構築 • 高度な差分更新メカニズム(CDCなど)を搭載 • オンプレ・クラウドどちらにもデプロイ可能 なアプリケーション製品 • 400を超えるデータソース • 20を超える主要なデータレイク・データベー ス・データウェアハウスへのデータ複製
7. © 2022 CData Software Japan, LLC | www.cdata.com/jp CData Sync SaaS を中心とする400（API Profile 含む）を超えるデータソース 主要なデータレイク・データベース・ データウェアハウス シンプルな設定 ETL / ELT 方式 高度な差分更新 柔軟なジョブ管理 ノーコード、3ステップで データ統合基盤を構築 標準SQL によるデータ抽出 時での変換、もしくは、デー タウェアハウスへの取り込み 後の変換どちらにも対応 CDC（ChangeDataCapture） などの高度な差分更新メカニ ズムを搭載 処理負荷を軽減し、日々の ジョブ実行時間の短縮を実現 オブジェクト（テーブルや項目）、処理方式 （洗い替えor差分など）や条件（一部のレコー ドのみ）を指定したジョブ作成が可能 作成したジョブはスケジュール、および、Web API やコマンドラインで実行可能
8. © 2022 CData Software Japan, LLC | www.cdata.com/jp シナリオ例
9. © 2022 CData Software Japan, LLC | www.cdata.com/jp Sync の特徴 （ここが違う！）
10. © 2022 CData Software Japan, LLC | www.cdata.com/jp ELT 処理に最適 データソース Extract （抽出） Load （格納） Transform （変換） ユーザー ELT：データの変換処理を格納後に実施。 全データにアクセスでき、ローディングまでの短縮が可能。
11. © 2022 CData Software Japan, LLC | www.cdata.com/jp EAI との違い EAI データ連携のフローを構築できるツール プロセスを組むことが得意 メンテナンスが大変 差分更新が大変 Sync データレプリケーションに特化したツール 400+ のデータソースに対応 シンプルな操作 差分更新にも対応
12. © 2022 CData Software Japan, LLC | www.cdata.com/jp 400＋の圧倒的データソース数 CRMおよびマーケティング自動化 会計システム コラボレーションおよびERP オンプレミスおよびクラウドDB ドキュメントおよびファイル形式 ソーシャルネットワーキング ネットワーキングおよび認証 電子商取引 その他 https://www.cdata.com/jp/drivers/
13. © 2022 CData Software Japan, LLC | www.cdata.com/jp セキュアなインスタンス管理 AMI 提供。 オンプレミスやクラウドへのセルフインストール による利用が可能。 オンプレでデータを管理している場合でもオンプレにCData Sync をインストールすればOK
14. © 2022 CData Software Japan, LLC | www.cdata.com/jp 差分更新の対応 CData Sync は、Salesforce やMarketo など多くのデー タソースで差分更新をサポート。 大容量のデータでもAPI 制限にヒットしない更新分だけを 収集可能。 https://www.cdata.com/jp/sync/connections/#sources
15. © 2022 CData Software Japan, LLC | www.cdata.com/jp 課金体系 https://www.cdata.com/jp/sync/pricing/ レコード数やクエリによる 従量課金ではありません。
16. © 2022 CData Software Japan, LLC | www.cdata.com/jp V22 について
17. © 2022 CData Software Japan, LLC | www.cdata.com/jp CData Sync V22 リリース https://www.cdata.com/jp/news/20220928-sync-v22/
18. © 2022 CData Software Japan, LLC | www.cdata.com/jp V22 リリース機能 • 変更データキャプチャ（CDC） • dbt Transformations • Google BigQuery：ALTER TABLE 文対応 • ヒストリーモード
19. © 2022 CData Software Japan, LLC | www.cdata.com/jp V22 リリース機能 • 変更データキャプチャ（CDC） • 基幹ユーザーはRDB を使うことが多く、RDB →クラウドDWH のシナリオが好まれるため RDB のレプリケーション向けのCDC を強化 • dbt Transformations • ELT なので、「T」をやるのはDWH 側だけど、T もジョブでSync で管理したい。従来は SQL での変換で対応していたが、「T」で人気のツールdbt に対応 • Google BigQuery：ALTER TABLE 文対応 • 元データのスキーマも変わるのでALTER TABLE は必須。人気のBigQuery でもできるよ うに。 • ヒストリーモード • 顧客データに使われることが結構多い。案件とかで必要なデータは、スナップショット系のデー タで、ヒストリーモードで一層便利に。
20. © 2022 CData Software Japan, LLC | www.cdata.com/jp V22 リリース機能 • 変更データキャプチャ（CDC） • dbt Transformations • Google BigQuery：ALTER TABLE 文対応 • ヒストリーモード
21. © 2022 CData Software Japan, LLC | www.cdata.com/jp 新しくMySQL、Oracle DB に対応 https://www.cdata.com/jp/blog/mysql-cdc-sync
22. © 2022 CData Software Japan, LLC | www.cdata.com/jp CDC：クエリベース クエリベースでは対象テーブルにタイムスタンプで検索する → SQLのWhere 句に更新日付の条件を入れることで、差分データを抽出できるようになる 例） Select * from Account Where updated_at> ‘yyyy-MM-dd(最終更新日時)’ ポジ要素： - DB 側の設定不要ですぐ実行可 ネガ要素： - データ量によってデータベース全体に負荷が掛かる - 更新日時項目を持つ必要がある - 削除レコードは検知できない
23. © 2022 CData Software Japan, LLC | www.cdata.com/jp CDC：トリガー トリガーによるCDC では、変更が行われたタイミングで別テーブルに変更情報を連携 → 対象テーブルに変更が行われたタイミングで、別テーブルに「Insert、Update、Delete」の 内容を連携できる ポジ要素： - 削除も含めて全変更情報を取得可 ネガ要素： - 別テーブルの管理で運用が複雑化 - トリガー処理がプラスされる＝元のステートメントの実行時間が増える - テーブルのスキーマ変更時は手動対応する必要がある
24. © 2022 CData Software Japan, LLC | www.cdata.com/jp CDC：ログベース トランザクションログを利用した差分データ抽出の方式 → すべての変更イベントをリアルタイムで検知 ポジ要素： - ログを直接参照でDB へのパフォーマンスに影響与えない - スキーマ変更も気にせず、管理が容易 ネガ要素： - 古いバージョンのDB では未対応であることが多い
25. © 2022 CData Software Japan, LLC | www.cdata.com/jp CDC とは 種類 リアルタイム 削除レコード対応 パフォーマンス 対応Ver(DB) クエリベース △ × △ 〇 トリガー 〇 〇 △ PostgreSQL：Ver9.1～ ログベース 〇 〇 〇 PostgreSQL：Ver9.4～ MySQL：Ver8.0～(default利用) SQL Server：Enterprise など DB 向けの差分抽出の方式：Change Data Capture（CDC）
26. © 2022 CData Software Japan, LLC | www.cdata.com/jp CData Sync のCDC 機能 処理方法 SQL Server トリガーベース PostgreSQL ログベース MySQL ログベース Oracle ログベース 2022/10 時点
27. © 2022 CData Software Japan, LLC | www.cdata.com/jp CDC 機能利用方法 MySQL 8.0 以降の場合 ジョブ作成時に選択するだけ ※バイナリログを有効化する必要があるが 8.0 以降はデフォルトで有効
28. © 2022 CData Software Japan, LLC | www.cdata.com/jp CDC 機能利用イメージ オンプレDB（基幹）データを分析用にクラウドDWH などにレプリケートする オンプレ基幹 データ分析基盤
29. © 2022 CData Software Japan, LLC | www.cdata.com/jp V22 リリース機能 • 変更データキャプチャ（CDC） • dbt Transformations • Google BigQuery：ALTER TABLE 文対応 • ヒストリーモード
30. © 2022 CData Software Japan, LLC | www.cdata.com/jp dbt とは https://www.getdbt.com/ dbt（Data Build Tool）：SQL でDWH / データレイク内のデータを 変換するコマンドラインツール
31. © 2022 CData Software Japan, LLC | www.cdata.com/jp これまでのデータ変換 CData Sync 内でSQL を使った変換が可能
32. © 2022 CData Software Japan, LLC | www.cdata.com/jp ELT 処理における製品の役割 Extract （抽出） Load （格納） Transform （変換） CData Sync
33. © 2022 CData Software Japan, LLC | www.cdata.com/jp dbt 機能利用方法 https://www.cdata.com/jp/blog/sync-dbt 事前に作成した変換プロジェクトを CData Sync 上から設定可能
34. © 2022 CData Software Japan, LLC | www.cdata.com/jp V22 リリース機能 • 変更データキャプチャ（CDC） • dbt Transformations • Google BigQuery：ALTER TABLE 文対応 • ヒストリーモード
35. © 2022 CData Software Japan, LLC | www.cdata.com/jp ALTER TABLE 機能 カラムが変更されるとエラーが発生したり、スキーマ変更がスキップされていた →処理の作り直しが必要だった
36. © 2022 CData Software Japan, LLC | www.cdata.com/jp ALTER TABLE 機能 • SQL Server • Oracle • PostgreSQL • MySQL など 新しくGoogle BigQuery が対応
37. © 2022 CData Software Japan, LLC | www.cdata.com/jp ALTER TABLE 利用方法 ジョブ作成時にオプション内の スキーマの変更にチェックを入れる
38. © 2022 CData Software Japan, LLC | www.cdata.com/jp ALTER TABLE利用イメージ Salesforce のOpportunity テーブルに、顧客分類のためのフラグを追加。 フラグ情報を営業・マーケティング活動に利用。 フラグ追加 （サービス利用状況など） 変更されたテーブル構造ごと レプリケート データを利用
39. © 2022 CData Software Japan, LLC | www.cdata.com/jp V22 リリース機能 • 変更データキャプチャ（CDC） • dbt Transformations • Google BigQuery：ALTER TABLE 文対応 • ヒストリーモード
40. © 2022 CData Software Japan, LLC | www.cdata.com/jp ヒストリーモードとは https://www.cdata.com/jp/blog/sync-v22-historymode データの変更履歴を保持する機能。 1つのテーブル内にレコードがいつ変更 されたかがわかる形でデータを保存。 テーブル内の変更がないレコードについ ては１レコードとして保存され続ける。 →スナップショット機能と比べて保存さ れるデータの容量を抑えることが可能
41. © 2022 CData Software Japan, LLC | www.cdata.com/jp 追加カラム説明 ・cdatasync_active：そのレコードが Active （ジョブ実行時点で存在している）で あるか。 ・cdatasync_start：そのレコードがSync された日付。※差分更新の最初の日付。 ・cdatasync_end：そのレコードがActive ではなくなった日付＝レコードが更新されて、 別のActive なレコードが同期された日付。 ヒストリーモードを利用したPostgreSQL テーブル（赤枠：追加カラム）
42. © 2022 CData Software Japan, LLC | www.cdata.com/jp ヒストリーモードの使い方 ジョブ作成時にオプション内の ヒストリーモードを有効化に チェックを入れる
43. © 2022 CData Software Japan, LLC | www.cdata.com/jp ヒストリーモード利用イメージ 案件データ内で受注確度の変更を記録 案件データの確度を変更 変更履歴を保持 確度変更時期を 含んだデータで分析
44. © 2022 CData Software Japan, LLC | www.cdata.com/jp おわりに
45. © 2022 CData Software Japan, LLC | www.cdata.com/jp V22 リリース機能 • 変更データキャプチャ（CDC） • dbt Transformations • Google BigQuery： ALTER TABLE 文対応 • ヒストリーモード
46. © 2022 CData Software Japan, LLC | www.cdata.com/jp 1 Chome-6-27 Chuo, Aoba Ward, Sendai, Miyagi Prefecture 980-0021, Japan Tel: 050-5578-7390 CData Japan 600 Market St. #300 Chapel Hill, NC 27516 USA Tel: (919) 885-0202 Fax: (919) 928-5455 US Headquarters - United Kingdom - Central & Eastern Europe - Central China Additional Offices Contact Us Worldwide Offices for Global Sales and Support www.cdata.com