リアルタイム分析データベースで実現する SQLベースのオブザーバビリティ

by Miki Matsumoto

Slide 1

Slide 1 text

リアルタイム分析データベースで実現する SQLベースのオブザーバビリティ Feb 13, 2025 松本幹 Senior Support Engineer

Slide 2

Slide 2 text

About me ● ClickHouseの日本人社員第１号 ● SREやプロフェッショナルサービスを中心に活動 ● 大規模データを扱うシステム導入支援や技術サポート（ClickHouse, Elastic, Domo）

Slide 3

Slide 3 text

アジェンダ歴史的な背景 01 ClickHouseとは 02 ユースケース 03 3 柔軟なスキーマへの対応 04

Slide 4

Slide 4 text

01. 歴史的な背景

Slide 5

Slide 5 text

©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 5 SQLは50年以上前に開発されたが、依然として人気 https://survey.stackoverflow.co/2024/technology#most-popular-technologies-language-prof 2024年のStackOverflowの開発者向け調査結果によると、 SQLが2番目に人気のあるプログラミング言語にランクイン。調査対象となった67,000人以上のプロの開発者のうち、半数以上が使用していると回答

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

“オブザーバビリティは、単なる大量データの問題であるˮ

Slide 10

Slide 10 text

Slide 11

Slide 11 text

02. ClickHouse とは

Slide 12

Slide 12 text

ClickHouse とは？オープンソース列指向分散 OLAPデータベースレプリケーションシャーディングマルチマスタークロスリージョン 2009年から開発開始 2016年にオープンソース化 38,000 GitHubスター 1,300 コントリビューター 500 リリース集計に最適カラムごとのファイル管理ソートとインデックスバックグラウンドマージ分析ユースケース集計処理データの可視化ほぼイミュータブルなデータ

Slide 13

Slide 13 text

2023 6月 ClickHouse Cloudが GCP上で一般提供開始 2022 12月 ClickHouse Cloudが AWS上で一般提供開始 2021 10月シリーズB資金調達ラウンドで、 250Mドルを調達 2021 9月シリーズA資金調達ラウンドで、 50Mドルを調達正式にサービスを公開 2021 8月 ClickHouse, Inc. をアメリカで設立 2009 ClickHouseのプロトタイプを開発 2016 6月 ClickHouseを Apache 2.0ライセンスの下で公開 100 リリース 2024 4月 ClickHouse Cloudが AWSの東京リージョンをサポート開始 2024 6月 ClickHouse Cloudが Azure上で一般提供開始 ClickHouse の歴史

Slide 14

Slide 14 text

✓ 38k以上のGitHubスター ✓ 6.4k以上のフォーク ✓ 1.3k以上のコントリビュータ ✓ 100k以上のコミット ✓ 114k のアクティブなコミュニティメンバー Cloud ✓ 高速、スケーラブル、そして信頼性が高い ✓ 柔軟で機能が豊富、かつ使いやすい ✓ 毎日数十億のクエリを処理 ClickHouse オープンソース ClickHouse Cloud

Slide 15

Slide 15 text

Cloud セルフマネージドセルフマネージドにおけるアーキテクチャのサンプル ClickHouse Cloud architecture ✓ オープンソース ✓ 柔軟なアーキテクチャ ✓ 効率的で堅牢 ✓ サポート契約が利用可能 ✓ 使いやすい ✓ 機能が豊富 ✓ 高速 ✓ スケーラブル ✓ 信頼性が高い ✓ PAYG マネージド型サービスクラウドファースト機能とツールを提供自動的にパフォーマンスと効率を最適化シームレスなスケーリング高い信頼性を保証利用量と容量に応じた料金設定

Slide 16

Slide 16 text

リアルタイム分析大規模データのリアルタイム分析・集計が可能なインタラクティブなアプリケーションとダッシュボードを実現。社内の複雑な分析処理も、分や時間単位ではなく、ミリ秒単位での実行を実現。ビジネスインテリジェンスデータを自在に分析し、分析レポートや社内アプリケーションの構築に活用。ユーザー行動分析、広告・メディア効果測定、市場動向分析など、幅広い用途に対応。機械学習と生成 AI 高速かつ効率的なベクトル検索を実現。様々なプロバイダーの生成 AIモデルをすぐに利用可能。ペタバイト規模のモデルトレーニングも、超高速な集計処理で実現。ログ、イベント、トレースログ、イベント、トレースの確実な監視を実現。異常検知や不正検知、ネットワーク・インフラの問題など、様々な課題を検出可能。ユースケース

Slide 17

Slide 17 text

03. ユースケース

Slide 18

Slide 18 text

©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 18 ログ分析プラットフォームアーキテクチャ　Log shippers → Kafka → ClickHouse → Kibana 　LuceneクエリをSQLクエリに変換するQueryBridgeを　開発し、Kibanaを使用メリット　高速なデータ取り込み　コスト管理トレードオフ　スタックの管理、UIの開発 https://www.uber.com/blog/logging/ https://presentations.clickhouse.com/meetup40/uber.pdf

Slide 19

Slide 19 text

Slide 20

Slide 20 text

©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 20 オブザーバビリティのドッグフーディングアーキテクチャ　OpenTelemetry → ClickHouse → Grafana メリット　ログデータを詳細に、長期間にわたって保持可能　Datadog のコスト削減トレードオフ　構築、保守に1.5人分の労力 https://clickhouse.com/blog/building-a-logging-platform-with-clickhouse-and-saving-millions-ov er-datadog

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

No content

Slide 24

Slide 24 text

04. 柔軟なスキーマへの対応

Slide 25

Slide 25 text

©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 25 柔軟なスキーマの必要性多くのシステム、特にマイクロサービスアーキテクチャでは、はじめからデータが可変であることが前提にになっている。 ● 多様なマイクロサービス → 出力フォーマットが統一されない ● 新機能リリース → ログ項目の追加・削除がたびたび発生 ● 環境やバージョン違い → 出力形式が異なりやすい引用: https://github.com/aelkz/microservices-observability

Slide 26

Slide 26 text

“JSON タイプをネイティブでサポート ˮ

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

©2024 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 29 10億ドキュメント JSONチャレンジ半構造化された JSON ドキュメントの大規模なデータセットをどれだけ効率的に保存し、集計できるかを測定する。 # TABLE DDL CREATE TABLE bluesky ( `data` JSON kind LowCardinality(String), commit.operation LowCardinality(String), commit.collection LowCardinality(String), did String, time_us UInt64 ) ) ORDER BY ( data.kind, data.commit.operation, data.commit.collection, data.did, fromUnixTimestamp64Micro(data.time_us) ); # データセットのサンプル { "account": { "active": true, "did": "did:plc:kjealuouxn3l6v4byxh2fhff", "seq": "706717212", "time": "20241127T180002.429Z" }, "did": "did:plc:kjealuouxn3l6v4byxh2fhff", "kind": "account", "time_us": "1732730402720719" }