Tweet
Tweet

Slide 1

Slide 1 text

ClickHouse の Postgres CDC をテストしてみた 松本 幹 - シニアサポートエンジニア 2025年3月27日

Slide 2

Slide 2 text

About me ● ClickHouseの日本人社員第１号 ● 最近は、大規模データを扱うシステム導入支援や技術サポート （ClickHouse, Elastic, Domo） ● 現在は、サポート業務を中心に、SAやトレーニングなど 幅広い業務を担当

Slide 3

Slide 3 text

Postgres 運用で、こんな悩みはありませんか？ 3 - 異なるリージョンやクラウド間でDBのデータ連携が管理コストが高い - データ分析用に別環境にデータを複製したいけど、 データ同期が遅い・複雑 - AI Agentから接続したいが、レスポンスが遅く、使い勝手が悪い

Slide 4

Slide 4 text

これらの課題を ˮPostgres+ClickHouseの CDC連携で解決できる ˮ と聞いたのでテストしてみた

Slide 5

Slide 5 text

CDCとは？ 5 CDC（Change Data Capture） = 変更データキャプチャ - DB内の変更（ INSERT / UPDATE / DELETE） をほぼリアルタイムで検知 - 変更データのみを検知して、他の DBやNoSQLに同期 - データ同期、分析基盤更新、マイクロサービス連携に最適 PeerDB ClickHouse

Slide 6

Slide 6 text

2023 6月 ClickHouse Cloudが GCP上で一般提供開始 2022 12月 ClickHouse Cloudが AWS上で一般提供開始 2021 8月 ClickHouse, Inc. をアメリカで設立 2009 ClickHouseの プロトタイプを開発 2016 6月 ClickHouseを Apache 2.0ライセンスの 下で公開 100 リリース ClickHouse の歴史 2024 6月 ClickHouse Cloudが AWS上で一般提供開始 2025 2月 Postgres CDC Connectorが Public Beta 2024 7月 PeerDBを買収

Slide 7

Slide 7 text

PostgreSQL とClickHouse は理想的な組み合わせ 7 Postgres ClickHouse 得意分野 トランザクション処理 / 柔軟なデータ構造 高速な集計 / 大規模データ分析 データの更新 高頻度のINSERT / UPDATE / DELETEが得意 基本は追加専用 / バッチで最適 クエリの性質 オンライン分析処理 (OLTP) オンライン分析処理 (OLAP)

Slide 8

Slide 8 text

CDCの組み合わせ 8 ClickHouse Cloudにデータを同期するにあたり、複数の実現方法がある。 今回はClickHouse CloudのPostgres CDC Connectorを使用してテストを実施

Slide 9

Slide 9 text

9 デモ

Slide 10

Slide 10 text

まとめ 10 - ClickHouseのPostgres CDCを動かすことで、簡単にデータの同期が 実現できることを確認できた - 連携したデータをClickHouseで解析するためには、 若干のClickHouseの知識が必要