なぜオブザーバビリティに ClickHouse なか？

オブザーバビリティにおけるClickHouseの優位性について解説したプレゼンテーション資料です。また、実際の運用データとコスト比較を交えて説明しています。

主な内容：
- オブザーバビリティの歴史と主要製品（Splunk、Elastic Stack、Datadog等）の特徴比較
- ClickHouseの圧倒的な性能（世界最速の分析データベース、1日2.5兆イベント処理）
- 実運用での成果（データ圧縮率18倍、180日間のログ保持、サンプリングなし）
- 他社製品と比較して200倍以上のコスト効率を実現

大量のログデータをリアルタイムで処理し、長期保存しながらコストを抑えたい企業にとって、ClickHouseがいかに有効なソリューションであるかを具体的な数値とともに示しています。

Transcript

1. なぜオブザーバビリティに ClickHouse なのか？ 松本 幹 Senior Support Engineer 2025年6月18日
2. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 2 About me • ClickHouseの日本人社員第１号 • 現在はシステム導入支援や技術サポートをメインに担当 • これまでは、主に大規模で分散システムの SREやプロフェッショナルサービスを中心に活動
3. ClickHouse の紹介
4. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 4 ClickHouse 世界で最も人気のある分析データベース 2009 プロトタイプ 2016 オープンソース 2021 ClickHouse Inc. 2022 ClickHouse Cloud 2024 Open AWS Tokyo Region in Japan DBEngines における 分析データベースランキング #1 GitHubスター数 40,000 　　　　　　　以上 Cloudを利用している企業数 2,000 　　　　　　　　　　　以上
5. 5 ClickHouse の勢い ClickHouse オープンソース ➔ 40万以上のスター ➔ 1,600以上の コントリビュータ ➔ 7,000以上のフォーク 世界で最も人気のある分析データベース 8年経ったけれど、 まだ始まったばかり ➔ 1万人以上のSlackメンバー ➔ 25万人以上のコミュニティメンバー ➔ 約500名のアクティブな コントリビュータ
6. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 6 ClickHouse Cloud の利用状況の推移 わずか３年で2,000超の企業が利用
7. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 7 データ取込みが 数十倍も高速 クエリが 数十倍も高速 オープンな手法 - 自社のベンチマークツール ClickBenchを利用してを検証 • 実際のウェブサイト分析データから抽出した標準化データセッ トを使用し、分析 DBのパフォーマンスを評価 • 43のSQLクエリを使用 - フルスキャン、フィルター スキャン、インデックスルックアップといった様々な操作 • 結果は公開 - benchmark.clickhouse.com - https://jsonbench.com/ DBEnginesでNo.1の分析データベース ClickHouse は、 世界最速の分析用データベース JSONデータの 分析も最適化
8. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 8 ユースケース リアルタイム分析 • 社内使用のためのビジネスデータ • 多くのBIツールに対応 Tableau, Power BI, Superset, Metabase) • ClickHouse は Iceberg, Parquet, Delta Lake などとクエリやデータ移動が可能 データレイク＆データウェアハウス • ログ、メトリックス、トレース • OpenTelemetryとの統合 • UIはHyper DX自社) or Grafana(3rd party) • クエリ言語としてSQLに統一 オブザーバビリティ 機械学習 & 生成AI • フィーチャーストア • ベクトル検索 • LLM オブザーバビリティ • MCP サーバ • アプリケーション、ダッシュボード、 API • 顧客向け • インタラクティブ • ClickHouseに直接クエリ
9. オブザーバビリィ
10. どのオブザーバビリティの製品を選べば良いのか？
11. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 11 オブザーバビリティの進化 システム エンジニアリング 集中ログ管理 リソース別 o11y 統合SaaS型 o11y SaaS型 o11y 〜1990年代 2000年代 2010年代前半 2010年代中盤 現在 syslog Syslog-ng rsyslog Splunk → Log 解析 ELK Stack → Log 可視化 OSSベース o11y 2010年代後半 Datadog → メトリック NewRelic → APM分析 Open Telemetry ClickHouse ClickStack) Splunk Elastic Stack Datadog NewRelic One
12. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 12 どんな企業に、 どの製品がフィットするのか？
13. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 13 基本的なアーキテクチャ ストレージ UI,アラート レポート データ ストア ファイル サーバ デバイス アプリ ケーション データソース 基本的なアーキテクチャ データ転送 ツール Otel Collection
14. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 14 基本的なアーキテクチャ ストレージ UI,アラート レポート データ ストア ファイル サーバ デバイス アプリ ケーション データソース 基本的なアーキテクチャ データ転送 ツール Otel Collection Kafka 大規模ユースケースの場合
15. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 15 基本的なアーキテクチャ データ ストア ファイル サーバ デバイス アプリ ケーション データソース Splunk Cloud データ転送 ツール Otel Collection データソース Universal Forwarder Heavy Forwarder - ファイルを圧縮して保持 + index - SPL検索処理言語）ただし、Splunk Platformのみ - 統合型オブザーバビリティだけではなく、セキュリティインシデントの 監視・対応まで含めた全体最適を求める企業 https://www.splunk.com/en_us/products/observability.html
16. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 16 基本的なアーキテクチャ ストレージ UI,アラート レポート データ ストア ファイル サーバ デバイス アプリ ケーション データソース Elastic Cloud Otel Collection - インデックスの構成 - 転置Index - Doc Values - 元データ Elasticsearch Kibana Beats - xxx - 柔軟な可視化 - 一元管理 - 横断的にログやメトリクスを分析し、迅速な対応を重視する企業 - 拡張性ある検索基盤で、成長するオブザーバビリティデータを扱いたい企業 - 独自のQuery DSL - データ管理の方法 - データティア - サーバレス
17. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 17 基本的なアーキテクチャ ストレージ / UI,アラート ,レポート データ ストア ファイル サーバ デバイス アプリ ケーション データソース Datadog Otel Collection - 豊富なIntegration - クラウドネイティブ環境への最適化 Datadog Agent Datadog Agent - クラウドネイティブ環境で、すぐに使える統合監視を求める企業 - 動的なクラウドをAIで効率よく可視化・運用したい企業
18. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 18 基本的なアーキテクチャ データ ストア ファイル サーバ デバイス アプリ ケーション データソース ClickHouse Cloud Otel gateway ClickHouse
 UI,アラート レポート - Database OLAP - SQL - データ管理 - オブジェクトストレージ - 分散 Cache - 高速な分析基盤で、オブザーバビリティを柔軟に構築したい企業 - 大量データのリアルタイム可視化とコスト効率を重視する企業
19. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 19 ユースケース オブザーバビリティのドッグフーディング
20. - ログ保持期間：7日間 - ログのサンプリング率：1% - トレースのサンプリング率：1% - カスタムメトリクスは制限あり - 独自技術に基づいて構築 ＋ ログ保持期間：180日間 ＋ ログのサンプリングなし ＋ トレースのサンプリングなし ＋ カスタムメトリクスは無制限 ＋ ClickHouse、OpenTelemetry、OSSを 利用して構築 Datadog
21. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 21 アーキテクチャ EC2 Instance / Kubernetes node OTel gateway LogHouse ClickHouse Node
22. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 22 1日あたりの取り込みデータサイズ 圧縮前のデータ 560 TB 圧縮後のデータ 32 TB イベント / 日 2.5 兆
23. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 23 トータルデータサイズ 圧縮前のデータ 100 PB 圧縮後のデータ 5.6 PB イベント 435 兆 6か月のデータ保持期間
24. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 24 Datadog を使った場合のコストはどれくらい？ 1GBあたり $0.10 • 1.68M/month (約2億4400万円/月) Ingestion Standard: $2.50 / 100万イベント • $187M / 月 (約271億1500万円/月) Flex Starter: $0.60 / 100万イベント • $45M / 月 (約65億2500万円/月) Indexing Ingestion + Indexing ※1ドル145円計算
25. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 25 ClickHouse を利用することで 200倍以上 のコスト効率
26. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 26 まとめ - Click - オブザーバビリティの歴史と各製品の特徴を説明 - ClickHouseのオブザーバビリティにおける特徴と強み - 大量のログやメトリクスを高速に取り込める - 長期間にわたってデータを保存できる - ログやトレースを高い精度で（サンプリングせずに）保持できる
27. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 27 Thanks