ClickHouseアーキテクチャと活用事例

Slide 1

Slide 1 text

ClickHouseのアーキテクチャと活用事例 1 2025

Slide 2

Slide 2 text

アジェンダ ClickHouseとは 01 アーキテクチャ 02 活用事例 03 2

Slide 3

Slide 3 text

01. ClickHouse とは

Slide 4

Slide 4 text

ClickHouse とは？オープンソース列指向分散 OLAPデータベースレプリケーションシャーディングマルチマスタークロスリージョン 2009年から開発開始 2016年にオープンソース化 36,000 GitHubスター 1,300 コントリビューター 500 リリース集計に最適カラムごとのファイル管理ソートとインデックスバックグラウンドマージ分析ユースケース集計処理データの可視化ほぼイミュータブルなデータ

Slide 5

Slide 5 text

2023 6月 ClickHouse Cloudが GCP上で一般提供開始 2022 12月 ClickHouse Cloudが AWS上で一般提供開始 2021 10月シリーズB資金調達ラウンドで、 250Mドルを調達 2021 9月シリーズA資金調達ラウンドで、 50Mドルを調達正式にサービスを公開 2021 8月 ClickHouse, Inc. をアメリカで設立 2009 ClickHouseのプロトタイプを開発 2016 6月 ClickHouseを Apache 2.0ライセンスの下で公開 100 リリース 2024 4月 ClickHouse Cloudが AWSの東京リージョンをサポート開始 2024 6月 ClickHouse Cloudが Azure上で一般提供開始 ClickHouse の歴史

Slide 6

Slide 6 text

✓ 36k以上のGitHubスター ✓ 6.4k以上のフォーク ✓ 1.3k以上のコントリビュータ ✓ 100k以上のコミット ✓ 114k のアクティブなコミュニティメンバー Cloud ✓ 高速、スケーラブル、そして信頼性が高い ✓ 柔軟で機能が豊富、かつ使いやすい ✓ 毎日数十億のクエリを処理 ClickHouse オープンソース ClickHouse Cloud

Slide 7

Slide 7 text

Cloud セルフマネージドセルフマネージドにおけるアーキテクチャのサンプル ClickHouse Cloud architecture ✓ オープンソース ✓ 柔軟なアーキテクチャ ✓ 効率的で堅牢 ✓ サポート契約が利用可能 ✓ 使いやすい ✓ 機能が豊富 ✓ 高速 ✓ スケーラブル ✓ 信頼性が高い ✓ PAYG マネージド型サービスクラウドファースト機能とツールを提供自動的にパフォーマンスと効率を最適化シームレスなスケーリング高い信頼性を保証利用量と容量に応じた料金設定

Slide 8

Slide 8 text

02. アーキテクチャ

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

より高速な分析を実現するためのポイント ● ほぼ ANSI SQL と同様の構文 ○ SQLシンタックスはほぼ一緒 ○ 追加でデータ型や特殊関数をサポート ● 列指向ストレージの活用 ○ 必要なカラムだけを SELECT して I/O を最小化 ○ 大量データを扱う分析クエリで真価を発揮 ● 従来のRDBMSOLTP とは設計思想が異なる ○ 既存のクエリにおいても、列指向の恩恵で分析クエリは高速 ○ さらに高速化するにはテーブル設計やクエリの最適化が重要 ○ トランザクションについては、部分的にサポート（完全にサポートしていない）

Slide 12

Slide 12 text

12 行指向と列指向の違い

Slide 13

Slide 13 text

行指向と列指向の理解 id date user product price 1 20250101 やまだリンゴ 200 2 20250101 さとうバナナ 80 3 20250102 すずきオレンジ 120 4 20250102 たかはしメロン 450 一般的な行指向のテーブル

Slide 14

Slide 14 text

行指向と列指向の理解一般的な行指向のテーブル一般的な RDBMS クエリ SELECT price FROM sales WHERE user=すずき id date user product price 1 20250101 やまだリンゴ 200 2 20250101 さとうバナナ 80 3 20250102 すずきオレンジ 120 4 20250102 たかはしメロン 450

Slide 15

Slide 15 text

行指向と列指向の理解列指向のテーブルの場合 product user date id 1 2 3 4 やまださとうすずきたかはしリンゴバナナオレンジメロン 20250101 20250101 20250102 20250102 price 200 80 120 450

Slide 16

Slide 16 text

行指向と列指向の理解列指向のテーブルの場合 product user date id 1 2 3 4 やまださとうすずきたかはしリンゴバナナオレンジメロン 20250101 20250101 20250102 20250102 price 200 80 120 450 一般的な分析クエリ SELECT avg(price) FROM sale

Slide 17

Slide 17 text

17 テーブルへの書き込みフロー

Slide 18

Slide 18 text

sales テーブル ID date user product price date user product price ID 2 1 3 4 20250101 20250101 20250102 20250102 さとうやまだすずきたかはしバナナリンゴオレンジメロン 80 200 120 450 part インサート ① Sort Keyで並べ替える (date, user) 書き込みディスク ② 列単位に分割する date user product price ID 1　20250101 やまだリンゴ　 200 2　20250101 さとうバナナ 80 3　20250102 すずきオレンジ 120 4　20250102 たかはしメロン 450 ③ 列ごとに圧縮する date user product price ID 1　20250101 やまだリンゴ　 200 2　20250101 さとうバナナ 80 3　20250102 すずきオレンジ 120 4　20250102 たかはしメロン 450

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

23 PRIMARY KEY による高速なデータ READ

Slide 24

Slide 24 text

Slide 25

Slide 25 text

PRIMARY KEY のアーキテクチャあべあべさとうすずきすずきたぐちいしいまつもとリンゴバナナオレンジオレンジメロンモモブドウスイカ 100 80 120 120 450 250 1500 2000 20250101 20250101 20250101 20250102 20250102 20250104 20250109 20250110 date user product price … … … … … … … … … … … … 0 1 2 8,191 8,192 16,383 81,920 90,111 行数グラニュール０ 8,192レコード) グラニュール1 8,192レコード) グラニュール1０ 8,192レコード)

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

各グラニュールはスレッドによって処理 ● Primry Keyを利用して、処理対象となるグラニュールを見つけ出し、各スレッドで処理 ○ 各グラニュールは並行処理されます ○ 処理が速いスレッドが、遅れているスレッドのタスクを引き受けて処理する仕組みがあり、その結果、全体の負荷を均等にして処理を高速化される ● 並行処理が ClickHouse の高速性を支える理由の1つとなっています https://www.youtube.com/watch?v=7QXKBKDOkJE

Slide 29

Slide 29 text

03. 活用事例

Slide 30

Slide 30 text

リアルタイム分析大規模データのリアルタイム分析・集計が可能なインタラクティブなアプリケーションとダッシュボードを実現。社内の複雑な分析処理も、分や時間単位ではなく、ミリ秒単位での実行を実現。ビジネスインテリジェンスデータを自在に分析し、分析レポートや社内アプリケーションの構築に活用。ユーザー行動分析、広告・メディア効果測定、市場動向分析など、幅広い用途に対応。機械学習と生成 AI 高速かつ効率的なベクトル検索を実現。様々なプロバイダーの生成 AIモデルをすぐに利用可能。ペタバイト規模のモデルトレーニングも、超高速な集計処理で実現。ログ、イベント、トレースログ、イベント、トレースの確実な監視を実現。異常検知や不正検知、ネットワーク・インフラの問題など、様々な課題を検出可能。ユースケース

Slide 31

Slide 31 text

“ リアルタイム分析用データストア Lyftでは、毎日で数千万行のデータを ClickHouseに取り込み、数百万回のクエリを実行しています。その処理量は増加傾向にあります。月単位では、25TB以上のデータ読み書きを実現しています。

Slide 32

Slide 32 text

“ ClickHouseを活用することで、何兆件規模のインターネットリクエストログを効率的かつ確実に分析し、悪意のあるトラフィックの検出と、顧客への詳細な分析データの提供を実現しています。オブザーバビリティプラットフォームのバックエンド

Slide 33

Slide 33 text

ありがとうございます Thank you 33 Keep in touch! clickhouse.com/slack #clickhouseDB @clickhouseinc clickhouse