便利機能が続々追加！Windowsビルド対応も！RDBMS/NoSQL間のデータ連携ソリューション「Gluesync 2.1」新機能紹介

Gluesyncは様々なRDBMSやNoSQL間でのデータ連携、同期、統合が簡単に実施できるコンテナベースのアプリケーションであり、最新版となるGluesync 2.1ではRDBMSやNoSQL対応、UIやエンジン改善だけでなく以下の新機能が追加されました。

・Windowsネイティブビルドのサポート
・グループ機能による親子テーブルレプリケーションサポート
・スケジューラ機能によるレプリケーション処理の停止/開始自動化
・構成ファイル編集なしに、Web UIからのDB接続エージェントを自由に追加
・Javaコードによるレコード値操作
・Truncate対応追加
・CDC対象とするDML指定
・ターゲットDBへのテーブル作成
・Parquetファイルとしてのレプリケーション

本セミナーでは2.1における新機能に加えて、Gluesyncの基本的な特徴やアーキテクチャもデモを交えてご紹介します。
https://www.climb.co.jp/soft/webseminar/2025/1203/

Transcript

2. アジェンダ • Gluesyncとは？ • Gluesync 2.1 新機能、改善 • 製品デモ • プレゼントクイズ
3. Gluesyncとは？
4. Gluesync とは • システム間でのデータ同期ツール • RDBMS • NoSQL/ドキュメントストア • ビッグデータ/データレイク/クラウドストレージ • イベントストリーミング/メッセージキュー • クラウド（コンテナ）ネイティブ • リアルタイム変更追跡：CDC • Web UIとAPI
5. システム間でのデータ同期 RDBMS RDBMS RDBMS NoSQL NoSQL RDBMS NoSQL NoSQL
6. NoSQL RDBMS DW / Analytics Streaming Obj store T = ターゲットのみ T ] T ] T ] T ] T ] for (Supported file formats) T ] T ] T ] T ] T ] T ] T ] T ] T ] T ] サポート対応サービス T ]
7. 基本アーキテクチャ Core Hub：Web UI/API・データ処理・監視・認証コンテナ Agent：データシステムとの接続・変更追跡・同期処理コンテナ コンテナランタイム上にデプロイ
8. 転送モード • スナップショット • CDC (Change Data Capture) スナップショット CDC
9. スナップショット • テーブルの全レコードを転送 • Upsert(Insert + Update) or Insertモードの指定 • 主に初期同期にて利用 全件転送
10. CDC (Change Data Capture) • 差分レプリケーション • 差分のためデータ量小、負荷小 • DB/サービスごとに最適なCDC方式を用意 差分転送
11. リアルタイム変更追跡 CDC：DBネイティブ IBM i シリーズ ジャーナル Informix 変更データキャプチャCDC API Oracle Database Open Log Replicator XStream API SQL Server 変更追跡機能 (Change Tracking) 変更データキャプチャCDC API (Transaction Log) MySQL/MariaDB バイナリログ PostgreSQL WALログ API
12. リアルタイム変更追跡 CDC：トリガー方式 IBM DB2 for LUW Sybase ASE Oracle Database Select
13. リアルタイム変更追跡 CDC：ネイティブ Amazon DynamoDB DynamoDB ストリーム Azure Cosmos DB 変更フィード プロセッサ Aerospike ESPとXDR Couchbase Eventing サービス MongoDB 変更ストリーム ScyllaDB CDC Apache HBase scan機能 API
14. デプロイメント：コンテナベース オンプレ、クラウド、ハイブリッド、環境問わず導入可能
15. デプロイメント：コンテナベース 事前構成済みのDocker Compose、Helmチャートを評価用に提供
16. インストール例 Docker Composeの場合 cd <評価キットのフォルダ> docker compose up -d Kubernetes環境の場合 helm repo add gluesync https://helm.molo17.com helm install gluesync-trial gluesync/gluesync --values values.yaml ブラウザでアクセス https://localhost
17. 日本語UI
18. Gluesync 2.1 新機能、改善 • プラットフォーム対応 • Windowsネイティブビルドのサポート • DB接続エージェントのデプロイ簡易化 • レプリケーション • Truncate対応追加 • CDC対象操作の指定 • Parquetファイルとしてのレプリケーション • 補助機能 • ターゲットDBへのテーブル作成機能 • グループ化機能 • スケジューラ機能 • Javaコードによるレコード値操作
19. プラットフォーム対応
20. これまでのGluesyncでは… • コンテナランタイム(Dockerなど)にデプロイ • Linux OSやMac OSへのデプロイが主流 • Windows OSはWSL(Windows Subsystem Linux)構成が前提 Windows Windows Subsystem Linux Linux (Ubuntuなど) コンテナランタイム(Dockerなど) Linux コンテナランタイム(Dockerなど)
21. Windowsネイティブビルドサポート • Windows Dockerへ直接Gluesyncコンテナをデプロイ • Linux OSに依存しない構成 Windows コンテナランタイム(Dockerなど) Windows Windows Subsystem Linux Linux (Ubuntuなど) コンテナランタイム(Dockerなど)
22. DB接続エージェントデプロイの簡易化 • .ymlファイルを手動で編集 • コンテナ技術に関する知識 • 記述ミスのリスク • 連携対象DBが増えた際に手間
23. DB接続エージェントデプロイの簡易化 • Web UIより任意のDBエージェントをデプロイ • .ymlファイル操作不要 (自動追記) • リソース割り当ても明示指定可能 ※Linux版のみ Windows版は今後リリース予定 デプロイ
24. レプリケーション機能
25. Truncate対応追加 • データクリアの取り扱い強化 • スナップショット • Insert前にTruncate実行 • CDC • Insert/Update/Delete に加えてTruncateも検知 DML検知 CDC Truncate実行 Truncate実行 ① Truncate ② 全件Insert スナップショット
26. CDC対象となるDML指定 • CDC対象DML：Insert/Update/Delete/Truncate (デフォルト) • エンティティごとに指定 ユースケース例 許可するDML ニーズ 監査/履歴/ アーカイブ Insert 上書きと削除を無効化、過去履歴を 保持しておきたい 読み取り 分析用 Insert/Update 最新データだけでなく、過去データも 保持し分析対象としたい フルミラー/ 本番同期 ALL ソーステーブルの状態を完全に同期
27. Parquetファイルとしてのレプリケーション • Amazon s3、Google Cloud Storageなどのオブジェクトストア向け • JSON形式に加えてParquetファイル¹としての出力サポート • ¹列指向型の圧縮されたバイナリデータ形式 • JSON/Parquet切り替え可 [ { "id": 1, "name": "Asahi", "age": 32, }, { "id": 2, "name": “Suzuki", "age": 33, } ] id : 1,2 name : Asahi,Suzuki age : 32,33 ※イメージ図 実際にはバイナリ形式
28. 補助機能
29. テーブル作成機能 • ソーステーブル構成から自動的にCreateクエリを生成、発行 • 適切なデータ型を自動選定 • サイズ、PK、NOT NULL等を引継ぎ • 手動修正も可能
30. グループ機能 • 複数エンティティ(ジョブ)をまとめる • 親子テーブルを意識したレプリケーションのサポート CDCの場合 トランザクション順に処理 1 2 3 スナップショットの場合 親テーブルから処理
31. スケジュール設定 • CDC停止/開始/スナップショット実行をスケジュール化 • エンティティ/グループ単位 • CRONモードでより細かく制御可
32. Javaコードによるレコード値操作(UDF) • Insert/Update/Deleteイベントと連携 • 関数/スクリプトでレコード値操作 • Insertされたレコードの個人情報カラムをマスキング • Deleteを検知、レコード削除は行わず削除フラグカラムへ値を追加 • Javaコーディング (Python/JavaScriptは今後予定)