SQLによるオブザーバビリティの進化とClickHouseの実力

Transcript

1. SQLによるオブザーバビリティの進化と ClickHouse の実力 Sept 26, 2024 松本 幹 Senior Support Engineer
2. About me • ClickHouseの日本人社員第１号 • 大規模データシステムの導入支援や技術サポートを中心 に活動（ClickHouse, Elastic, Domo）
3. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 3 目次 01 02 03 04 歴史的背景 ClickHouseとは ユースケース 共通の考慮事項
4. 歴史的背景
5. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 5 SQLは50年以上前に開発されが、依然として人気 https://survey.stackoverflow.co/2024/technology#most-popular-technologies-language-prof 2024年のStackOverflowの 開発者向け調査結果によると、 SQLが2番目に人気のあるプログ ラミング言語にランクイン。 調査対象となった67,000人 以上のプロの開発者のうち、 半数以上が使用していると回答
6. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 6 リアルタイム解析用データベースの進化
7. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 7 同時に、DevOps におけるオブザーバビリティも進化
8. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 8 SQLとオブザーバビリティの統合
9. “オブザーバビリティは、単なる 大量データの問題 であるˮ
10. ClickHouse とは
11. 2023 6月 ClickHouse Cloudが GCP上で一般提供開始 2022 12月 ClickHouse Cloudが AWS上で一般提供開始 2021 10月 シリーズB資金調達 ラウンドで、 250Mドルを 調達 2021 9月 シリーズA資金調達ラウンドで、 50Mドルを調達 正式にサービスを公開 2021 8月 ClickHouse, Inc. をアメリカで設立 2009 ClickHouseの プロトタイプを開発 2016 6月 ClickHouseを Apache 2.0ライセンスの 下で公開 100 リリース 2024 4月 ClickHouse Cloudが AWSの東京リージョンを サポート開始 2024 6月 ClickHouse Cloudが Azure上で一般提供開 始 ClickHouse の歴史
12. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 12 ClickHouse とは？ オープンソース 2009年から開発開始 2016年にオープンソース化 36K以上のGitHubスター 1,000人以上のコントリビューター 300回以上のリリース カラム指向 分散 OLAP データベース 集計に最適 カラムごとのファイル管理 ソートとインデックス化 バックグラウンドマージ レプリケーション シャーディング マルチマスター 分析ユースケース 集計処理 データの可視化 ほぼイミュータブルなデータ
13. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 13 ClickHouse の特徴 1 2 3 高速なOLAPクエリ 大量のデータに対する 集計などの分析クエリ リソース効率が高い 革新的なデータ圧縮 - 10倍から100倍のストレージ効率 使いやすい アナリストに優しいSQL構文、 簡単に始められる、大規模な統合エコシステム https://benchmark.clickhouse.com
14. ユースケース
15. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 15 ログ分析プラットフォーム アーキテクチャ 　Log shippers → Kafka → ClickHouse → Kibana 　LuceneクエリをSQLクエリに変換するQueryBridgeを 　開発し、Kibanaを使用 メリット 　高速なデータ取り込み 　コスト管理 トレードオフ 　スタックの管理、UIの開発 https://www.uber.com/blog/logging/ https://presentations.clickhouse.com/meetup40/uber.pdf
16. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 16 アーキテクチャの概要
17. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 17 オブザーバビリティの自社ユースケース アーキテクチャ 　OpenTelemetry → ClickHouse → Grafana メリット 　ログデータを詳細に、長期間にわたって保持可能 　Datadog のコスト削減 トレードオフ 　構築、保守に1.5人分の労力 https://clickhouse.com/blog/building-a-logging-platform-with-clickhouse-and-saving-millions-ov er-datadog
18. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 18 オブザーバビリティの自社ユースケース
19. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 19 約200倍の価格比 : ClickHouse vs Datadog
20. 共通の考慮事項 オブザーバビリティを構築するに向けて
21. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 21 クエリ言語の考慮 “SQLは、ドメイン固有のクエリ言語に比べてコンパクトではない?ˮ
22. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 22 シンプルなクエリ ? source=events level=”warning” | STATS avg(duration) BY level | FIELDS level, avg(duration) AS avg_dur | sort - avg_dur | head 10
23. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 23 昔ながらの SQLでは...
24. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 24 スキーマの考慮 「メトリクス」「ログ」「トレース」を別々に考えるのではなく、それらを「ワイドイベント」と して一体的に捉えることが役立ちます。 https://isburmistrov.substack.com/p/all-you-need-is-wide-events-not-metrics https://news.ycombinator.com/item?id=39529775
25. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 25 スキーマの考慮事項 - Uberのケース map や object などの複雑なデータ構造に 対応し、特定のスキーマに依存しない プラットフォーム向けに、データ取り込み時に柔軟に データを解析する仕組み
26. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 26 可視化の考慮 Grafana Apache Superset Perses Metabase 独自で実装
27. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 27 SQL OLAP データベースの考慮 - リアルタイム - 高速なデータ取り込み（必要に応じてデータの取り込み後に変換可能） - 大量のデータに対して、一般的なクエリが数秒以内に完了する - データ圧縮 - 一般的なオブザーバビリティデータセットに対して、 10〜100倍の圧縮率 - ストレージとコンピュータリソースの分離 - オブジェクトストレージに大規模データセットを保存し、コンピュータのリソースをスケール可能 - 相互運用性 - 一般的なオブザーバビリティデータ収集ツール（ OTel）やUI（Grafana）をサポート - SQL準拠 - ANSI SQLにどの程度準拠しているか？ - 総所有コスト（TCO） - スイッチングコストを考慮
28. Thanks