Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SQLによるオブザーバビリティの進化とClickHouseの実力

Miki Matsumoto
September 27, 2024

 SQLによるオブザーバビリティの進化とClickHouseの実力

Miki Matsumoto

September 27, 2024
Tweet

Other Decks in Technology

Transcript

  1. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 3 目次 01 02

    03 04 歴史的背景 ClickHouseとは ユースケース 共通の考慮事項
  2. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 5 SQLは50年以上前に開発されが、依然として人気 https://survey.stackoverflow.co/2024/technology#most-popular-technologies-language-prof 2024年のStackOverflowの

    開発者向け調査結果によると、 SQLが2番目に人気のあるプログ ラミング言語にランクイン。 調査対象となった67,000人 以上のプロの開発者のうち、 半数以上が使用していると回答
  3. 2023 6月 ClickHouse Cloudが GCP上で一般提供開始 2022 12月 ClickHouse Cloudが AWS上で一般提供開始

    2021 10月 シリーズB資金調達 ラウンドで、 250Mドルを 調達 2021 9月 シリーズA資金調達ラウンドで、 50Mドルを調達 正式にサービスを公開 2021 8月 ClickHouse, Inc. をアメリカで設立 2009 ClickHouseの プロトタイプを開発 2016 6月 ClickHouseを Apache 2.0ライセンスの 下で公開 100 リリース 2024 4月 ClickHouse Cloudが AWSの東京リージョンを サポート開始 2024 6月 ClickHouse Cloudが Azure上で一般提供開 始 ClickHouse の歴史
  4. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 12 ClickHouse とは? オープンソース

    2009年から開発開始 2016年にオープンソース化 36K以上のGitHubスター 1,000人以上のコントリビューター 300回以上のリリース カラム指向 分散 OLAP データベース 集計に最適 カラムごとのファイル管理 ソートとインデックス化 バックグラウンドマージ レプリケーション シャーディング マルチマスター 分析ユースケース 集計処理 データの可視化 ほぼイミュータブルなデータ
  5. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 13 ClickHouse の特徴 1

    2 3 高速なOLAPクエリ 大量のデータに対する 集計などの分析クエリ リソース効率が高い 革新的なデータ圧縮 - 10倍から100倍のストレージ効率 使いやすい アナリストに優しいSQL構文、 簡単に始められる、大規模な統合エコシステム https://benchmark.clickhouse.com
  6. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 15 ログ分析プラットフォーム アーキテクチャ  Log

    shippers → Kafka → ClickHouse → Kibana  LuceneクエリをSQLクエリに変換するQueryBridgeを  開発し、Kibanaを使用 メリット  高速なデータ取り込み  コスト管理 トレードオフ  スタックの管理、UIの開発 https://www.uber.com/blog/logging/ https://presentations.clickhouse.com/meetup40/uber.pdf
  7. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 17 オブザーバビリティの自社ユースケース アーキテクチャ  OpenTelemetry

    → ClickHouse → Grafana メリット  ログデータを詳細に、長期間にわたって保持可能  Datadog のコスト削減 トレードオフ  構築、保守に1.5人分の労力 https://clickhouse.com/blog/building-a-logging-platform-with-clickhouse-and-saving-millions-ov er-datadog
  8. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 22 シンプルなクエリ ? source=events

    level=”warning” | STATS avg(duration) BY level | FIELDS level, avg(duration) AS avg_dur | sort - avg_dur | head 10
  9. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 25 スキーマの考慮事項 - Uberのケース

    map や object などの複雑なデータ構造に 対応し、特定のスキーマに依存しない プラットフォーム向けに、データ取り込み時に柔軟に データを解析する仕組み
  10. ©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 27 SQL OLAP データベースの考慮

    - リアルタイム - 高速なデータ取り込み(必要に応じてデータの取り込み後に変換可能) - 大量のデータに対して、一般的なクエリが数秒以内に完了する - データ圧縮 - 一般的なオブザーバビリティデータセットに対して、 10〜100倍の圧縮率 - ストレージとコンピュータリソースの分離 - オブジェクトストレージに大規模データセットを保存し、コンピュータのリソースをスケール可能 - 相互運用性 - 一般的なオブザーバビリティデータ収集ツール( OTel)やUI(Grafana)をサポート - SQL準拠 - ANSI SQLにどの程度準拠しているか? - 総所有コスト(TCO) - スイッチングコストを考慮