私のお気に入りの ClickHouse 最新機能

2025年9月30日に開催された ClickHouse Meetup でのスライドです。
本セッションでは、サポートエンジニアとして日々お客様を支援する立場から「サポート観点でのお気に入りの新機能」と、開発者として触れて面白いと感じた「エンジニア観点でのお気に入りの新機能」を紹介しました。

特に注目したのは Lightweight Update 機能です。
従来はデータ更新にコストがかかるケースが多かった ClickHouse において、効率的かつ直感的にデータ更新を行えるようになったこの機能は、多くの利用シーンで実用的であり、理解しやすいように丁寧に仕組みと活用例を解説しました。

Transcript

1. 私のお気に入りの ClickHouse の最新機能 Sep 2025 松本 幹 Senior Support Engineer
2. ClickHouse とは？
3. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 3 ClickHouse 世界で最も人気のある分析データベース 2009 プロトタイプ 2016 オープン ソース 2021 ClickHouse Inc. 2022 ClickHouse Cloud 2024 AWS Tokyo Region DBEngines における 分析データベースランキング #1 GitHubスター数 40,000 　　　　　　　以上 Cloudを利用している企業数 2,000 　　　　　　　　　　　以上 2025 GCP Tokyo Region
4. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 4 ClickHouse とは? ClickHouseは、 オープンソース の カラム型 OLAP データベース です。 膨大なデータを 超高速 で分析 できるように設計されています。 簡単にスケール可能 データを超高速で処理できる 高効率なストレージ SQLを流暢に扱える
5. 5 ClickHouse の勢い ClickHouse オープンソース ➔ 41万以上のスター ➔ 1,600以上の コントリビュータ ➔ 7,000以上のフォーク 世界で最も人気のある分析データベース 8年経ったけれど、 まだ始まったばかり ➔ 1万人以上のSlackメンバー ➔ 25万人以上のコミュニティメンバー ➔ 約500名のアクティブな コントリビュータ
6. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 6 ClickHouse Cloud の利用状況の推移 わずか３年で2,000超の企業が利用
7. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 7 ユースケース リアルタイム分析 • 社内使用のためのビジネスデータ • 多くのBIツールに対応 Tableau, Power BI, Superset, Metabase) • ClickHouse は Iceberg, Parquet, Delta Lake などとクエリやデータ移動が可能 データウェアハウス • ログ、メトリックス、トレース • OpenTelemetryとの統合 • UIはHyper DX • クエリ言語としてSQLに統一 オブザーバビリティ AI & 機械学習 • フィーチャーストア • ベクトル検索 • LLM オブザーバビリティ • MCP サーバ • アプリケーション、ダッシュボード、 API • 顧客向け • インタラクティブ • ClickHouseに直接クエリ
8. お気に入りの ClickHouse の最新機能
9. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 2025年のフォーカスエリア JOINのサポートを拡張 • パフォーマンスに注力 • 自動最適化 • 標準ベンチマークへの対 応強化 クラウドワークロード 向けに設計されたクエリの 分散処理 • 複数レプリカの活用 • より強固なガードレール Iceberg と Delta Lake の サポートに注力 • カタログ統合の改善 • Iceberg V2 のサポート • データレイクにおける運 用ワークロードの拡張 更新可能データの操作 体験を改善 • 軽量な操作の実現 • 内部ミューテーション処 理の改善 • RMTの改良 オブザーバビリティワーク ロードにおける体験を改善 • 新しいインデックスタイプ の導入 • フルテキスト検索に対応 した設計 • スキップインデックスを基 盤とした構築 JOIN 分散クエリ データレイク 更新可能データ （Mutable Data） Inverted Index
10. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 10 Core Database ロードマップ ✓ JSON GA ✓ ベクターインデックス GA ✓ カタログサポート Beta ✓ 分散キャッシュ Private preview) ✓ 新しい Parquet リーダー GA ✓ 軽量アップデートBeta 最近リリースされた機能 GA, Beta, Preview • オープンテーブル向け • ステートレスワーカー • Inverted index • 並列レプリカ GA • トランザクションサポート 直近でリリース予定 半年以内で提供予定 開発予定 半年以降 Horizon View Note: All timelines are tentative and subject to change. • PromQL サポート • Iceberg / Delta への書き込み • バックグラウンド処理用 ステートレスワーカー • ユニークキー制約
11. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 11 Cloud プラットフォーム ✓ スケールイベント、アップグレードなど に関する通知改善 ✓ データベース運用のための Terraform 対応 ✓ Dashboards GA ✓ Query シンタックスの バリデーション ✓ Saved queryのバージョニング ✓ BYOC での UDF 対応 ✓ BYOCでのバックアップ対応 最近リリースされた機能 GA, Beta, Preview • クロスクラウドバックアップ、スナップ ショットによる RPO 改善 • 分散キャッシュ • カスタム RBAC • クエリプラン可視化 • クエリエンドポイント向け SDK • クエリエンドポイント用の詳細 RBAC • UDF サポート • ステートレスワーカー • 水平オートスケーリング 直近でリリース予定 半年以内で提供予定 開発予定 半年以降 Horizon View Note: All timelines are tentative and subject to change. • 統合認証 • 双方向セキュア接続 （アウトバウンド接続用 Private Link） • 共有課金方式と利用制御 • マルチリージョンレプリケーション • マテリアライズドビュー依存関係の可 視化
12. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 12 サポートの観点からの お気に入り新機能
13. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 13 ClickHouse で困った時 どうしますか？
14. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 困った時の対処法 !! 公式ドキュメントのAskAI
15. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 困った時の対処法 !! 公式ドキュメントのAskAI サポートケース作成時に Check for solution で問題解 決
16. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 困った時の対処法 !! 公式ドキュメントのAskAI サポートケース作成時に Check for solution で問題解 決
17. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 自分でトラブルシュートする場合 chdigというツールを利用して、ClickHouse の 監視や診断が可能 DEMO
18. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 18 ClickHouse の お気に入り新機能
19. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 更新可能データ Mutable Data) 更新可能データの操作 体験を改善 • 軽量な操作の実現 • 内部ミューテーション 処理の改善 • RMTの改良 • “Patch part” を用いた軽量操作の サポート追加 ◦ 更新（Updates） ◦ 削除（Deletes） • ミューテーションに対するより強固なガー ドレール • RMT のパフォーマンス改善 ◦ 追加のインデックスサポート ◦ Final を伴う Prewhere の対応 更新可能データ （Mutable Data）
20. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 20 書き込みフロー
21. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY どのようにデータを保持しているのか？
22. date user location amount id 2 1 3 4 20250101 20250101 20250102 20250102 SATO YAMADA SUZUKI TANAKA Osaka Tokyo Nagoya Fukuoka 80 200 120 450 ① ORDER BY でソート (date, user) ② 列単位に分割 date user location amount id ③ 列ごとに圧縮 1　20250101 YAMADA Tokyo 200 2　20250101 SATO Osaka 80 3　20250102 SUZUKI Nagoya 120 4　20250102 TANAKA Fukuoka 450 order TABLE part Write ディスク date user location amount id id.bin date.bin user.bin location.bin amount.bin Insert
23. インサートごとにパーツが作成される Time Bulk insert Bulk insert Bulk insert Bulk insert Bulk insert Bulk insert part part part part part part ©2025 ClickHouse, Inc. All Rights Reserved
24. 時間の経過とともに、パーツがバックグラウンドでマージ part part part part part part merged part merged part Time ©2025 ClickHouse, Inc. All Rights Reserved
25. マージされた Parts は、引き続きマージされる part part part part merged part merged part merged part merged part part part part ©2025 ClickHouse, Inc. All Rights Reserved
26. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 26 従来はどのように更新するのか？
27. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY データ更新
28. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 従来のアップデート 2 1 3 4 20250101 20250101 20250102 20250102 SATO YAMADA SUZUKI TANAKA Osaka Tokyo Nagoya Fukuoka 80 200 120 450 date user location amount id 1. 書き換えが必要なPartsのレコード特定 → Partsは直接変更してはいけない
29. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 従来のアップデート 2 1 3 4 20250101 20250101 20250102 20250102 SATO YAMADA SUZUKI TANAKA Osaka Tokyo Nagoya Fukuoka 80 200 120 450 date user location amount id 1. 書き換えが必要なPartsのレコード特定 → Partsは直接変更してはいけない 2. 新しいPartsの作成
30. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 従来のアップデート 2 1 3 4 20250101 20250101 20250102 20250102 SATO YAMADA SUZUKI TANAKA Osaka Tokyo Nagoya Fukuoka 80 200 120 450 date user location amount id 1. 書き換えが必要なPartsのレコード特定 → Partsは直接変更してはいけない 2. 新しいPartsの作成 3. 更新されるカラム：再作成 80 400 120 450 amount 再作成
31. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 従来のアップデート 2 1 3 4 20250101 20250101 20250102 20250102 SATO YAMADA SUZUKI TANAKA Osaka Tokyo Nagoya Fukuoka 80 200 120 450 date user location amount id 1. 書き換えが必要なPartsのレコード特定 → Partsは直接変更してはいけない 2. 新しいPartsの作成 3. 更新されるカラム：再作成 4. 変更しないカラム：ハードリンク 2 1 3 4 20250101 20250101 20250102 20250102 SATO YAMADA SUZUKI TANAKA Osaka Tokyo Nagoya Fukuoka 80 400 120 450 date user location amount id ハード リンク ハード リンク ハード リンク ハード リンク 再作成
32. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 32 すべてのParts に実施するため、 変更によるコストが高い !!
33. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 33 軽量アップデート Lightweight Update)
34. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 軽量アップデート
35. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY part_1_1 軽量アップデート 2 1 3 4 20250101 20250101 20250102 20250102 SATO YAMADA SUZUKI TANAKA Osaka Tokyo Nagoya Fukuoka 80 200 120 450 date user location amount id 1. 書き換えが必要なPartsのレコード特定 → Partsは直接変更してはいけない
36. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY part_1_1 軽量アップデート 2 1 3 4 20250101 20250101 20250102 20250102 SATO YAMADA SUZUKI TANAKA Osaka Tokyo Nagoya Fukuoka 80 200 120 450 date user location amount id patch-part_1_1 amount _part part_1_1 2 _part_offset 400 1. 書き換えが必要なPartsのレコード特定 → Partsは直接変更してはいけない 2. 変更内容を保持した Partを作成
37. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 37 変更部分のデータを 作成するためだけなので早い
38. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY パフォーマンスの比較結果 参照：https://clickhouse.com/blog/updates-in-clickhouse-3-benchmarks
39. ©2025 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 39 Try ClickHouse for your use case • ClickHouse Cloud • Download open source Learn • Academy / certifications • Blogs / YouTube Engage with our community • Community Slack • Monthly Community calls • Meetups / events Connect with ClickHouse Join our Perth Meetup Group ClickHouse Academy Migration to ClickHouse virtual workshop July 9