データプラットフォームは 「サービングレイヤー」の時代へ 〜 ClickHouse が実現する、 AI時代のデータプラットフォーム 〜

Transcript

1. The Leading Database for AI データプラットフォームは 「サービングレイヤー」の時代へ 〜 ClickHouse が実現する、 AI時代のデータプラットフォーム 〜 ClickHouse 株式会社 北迫 清訓 2026.10.22 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY
2. 自己紹介 北迫 清訓 (きたさこ きよのり) 外資系ITコンサルを経て、2012年よりパブリッククラウドベンダーにて日本における クラウドの立ち上げを初期メンバーとして牽引。 デジタル領域のクラウド普及や音声AIサービスの立ち上げ、戦略的企業のDX支援を 歴任した後、現在はClickHouseの技術統括として、AI時代に求められる次世代デー タ基盤の普及とデータ戦略の高度化を推進。 2 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY
3. AI Era データは 貯める時代 から 活用する時代 へ • • 従来、人が用途に応じてデータを整理し蓄積してきた 人では処理しきれない量のデータをAIを介すことで使いこなす データプラットフォームに AIが組み合わさることで 真のデータ利活用が始まる 3 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY
4. 企業はデータを貯めることには成功した 価値として届けることには、まだ成功していない 68% 利用可能な企業データで 十分に活用されていない比率 参照: IDC / Seagate “Rethink Data” 4 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 貯める 使う
5. AIはデータ量の壁を超える 人の数十倍〜数百倍のデータを簡単に扱い、新たな価値を生み出す 処理データ量 = 量 鮮度 質 多様性 データ 人 5 VS ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY AI AI AIが新たな 価値を生み出す
6. データドリブンから ワークフロードリブンへ AI エージェントが新たに加わることで、 データプラットフォームの要求が変化 データドリブン アプリケーション USER USER RDB ワークフロードリブン SRE データアナリスト USER USER DWH USER USER エージェント アプリケーション AGENT USER 全従業員 USER AGENT AI SRE USER AGENT Observability MCP MCP サイロ化かつ個別最適化 6 クエリ パターン レスポンス クエリ パターン レスポンス 数十件 / 日 計画的・逐次的 数秒 数千件 / 日 検索的・並列 ミリ秒 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY
7. AIによるデータプラットフォームニーズのシフト アプリ・分析・オブザーバビリティ横断したデータ活用 エージェント型アプリ 7 会話型分析インターフェース • 大量のユーザー行動ログ (コンテ キスト) の収集と活用 → 大規模インサートと 即時クエリー • Text-to-SQLにより、1つの問い合わせ が数十のクエリを生成 → 「誰が・いつ・どのデータに」 が予測不能に • AIエージェントが内部で数十〜数 百のクエリを並列実行 → アクセスパターンが動的・ 予測不能に • 大規模分析用DBにも大量の並列クエリ を送信 → 通常のDWHでは、捌き切れない ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY AI駆動オブザーバビリティ • AIが能動的に異常を検知・収集・ 要約するAI SREへ → AIが自律的にデータを検索 • AIが人の数百倍のログを解析し、 原因を究明 → ダッシュボードを前提とし ないリアルタイムログ解析
8. AIワークフローとサイロの壁 用途ごとに最適化された専用データストアの乱立 データの断絶 8 クエリの滞留 誤情報の誘発 分断されたデータパイプライン の遅延に伴い、最新の情報へ のアクセスが困難 高QPSで並列アクセスしてく るAIに、用途ごとに最適化さ れた専用データベースは対 応できない 分散したデータを統合するた めに大量のJoinが発生しハ ルシネーションを 誘発する AIの判断が遅れる AIの思考が止まる AI知能の精度が低下する ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY
9. データサービングレイヤー 多様なデータを、あらゆる用途で 新鮮に、速く、安定して 提供する 9 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY
10. データ基盤のデータだけでは足りない データ統合基盤を構築してもすべてのデータは揃わない APP データ 業務 データ 一部のデータ AIモデル学習 APP APPからの 直接参照はNG APP ログ 業務 ログ セキュリティ ログ 部分活用 サンプリング データ データパイプライン 大量のRAW データ 取込の遅 延 BIツール データ基盤 ログ基盤 分断 しかしデータ統合は一筋縄ではいかない 10 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 監視ツール
11. データサービングレイヤー 多様なデータを、すべての利用へ 新鮮に、速く、安定して Personalize Agent モデリング Agent 業務支援 Agent APP データ 業務 データ AIモデル学習 APP 一部のデータ データ パイプライン セキュリティ Agent モニタリング Agent APP ログ 業務 ログ セキュリティ ログ SRE Agent CS Agent 部分活用 サンプリング データ データサービングレイヤー 大量のRAW データ 取込の遅 延 BIツール データ基盤 ログ基盤 分断 11 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 監視ツール
12. データサービングレイヤーの役割 あらゆるデータを取り込み、新鮮・高速・安定的にサービング COLLECT PROCESS • 既存データパイプライン +ア プリケーションデータ / ログ のリアルタイム取得 • 取り込みながら、鮮度の高いク エリ、結合、集計、変換 Streaming Pipeline リアルタイム 集計 DB CDC Data/Log Ingest ベクトル化 MANAGE SERVE • 多様かつ標準インターフェースと 高速な並列クエリー の実行 HTAP SQL アクセス管理 + MCP セマンティック サイロ環境でのトレードオフを すべてANDに変える 12 スケール VS スピード スケール AND スピード ボリューム VS コスト ボリューム AND コスト シンプル VS 柔軟性 シンプル AND 柔軟性 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 並列処理
13. 13 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY
14. ClickHouse が All in を実現する トレードオフ をANDに変える All in 14 スケール AND スピード PBスケール のデータでもミリ秒で 応答 ボリューム AND コスト 数十倍のデータ圧縮率と軽量なク エリエンジンでコストを激減 シンプル AND 柔軟性 SQLが扱え、あらゆるワークロード に対応可能 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY
15. The Leading Database for AI 世界で最も人気のある分析データベース 2009 プロトタイプ 2016 オープン ソース 2021 ClickHouse Inc. 2022 ClickHouse Cloud 2024 AWS Tokyo Regionオープン わずか4年で4,000社以上の企業が利用 Tesla 15 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY 2025 GCP Tokyo Regionオープン
16. なぜClickHouse は速いのか ˮ データを読まないことが最速 ˮ の哲学 カラム型ストレージ 分離されたコンテナコンピュート SQL Multi-Core CPU Cache INSERT SQL Multi-Core CPU Cache SQL Multi-Core CPU 列単位でデータを保持することで、超効率的なデータ圧縮を実現 クエリに必要な列だけの読み込みにより劇的な I/O削減 オブジェクトストレージ利用による圧倒的なコストメリット Cache 事前集計する MergeTreeエンジン 小さいファイル単位 Partsでの並列書き込み クエリ用の参照ファイルの分離と結合による最適化 ファイル結合時の事前ソートと集計によるデータスキャンの最小化 SELECT マルチスレッド x 分散並列スキャン Parts Parts Parts クエリをCPUコアに分散し、全コアが同時にデータを処理 共通オブジェクトストレージによる、全ノードが並列で同一データを参照 MergeTree S3互換 共有オブジェクトストレージ ※ClickHouse Cloudのアーキテクチャ 16 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY SIMD ベクトル化クエリと JITコンパイル １クロックで複数のデータを同時処理することで CPUを最大限に活用 CPU専用のネイティブコードへのコンパイルによる処理の高速化
17. 次世代データスタック 17 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY
18. Agentic Data Stack ClickHouseが実現する次世代データスタック アプリ ユーザー Agents API Coming Soon UI ClickHouse Agent ClickStack Agentic AI 分析 オブザーバビリティ SQL DB MCP ClickHouse CDC リアルタイム 同期 18 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY Postgres 基幹データ・トランザクション ClickPipes 外部ソースを 直接参照 オープンテーブル フォーマット RunReveal セキュリティ / SEIM HTAP Hybrid Transactional/Analytical Processing) Otel 高速分析処理 データ 連携 Langfuse LLMオブザーバビリティ 外部データ取り込み データレイク その他ソース LLM 直接連携
19. Agentic Data Stack AIシフトの全てに答えることが可能なデータプラットフォーム Managed Postgres ClickPipes ClickHouse Agent エージェント アプリケーション USER 19 AGENT ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY ClickStack 全従業員 BI USER AGENT SQL SQL Langfuse AI SRE USER MCP RunReveal Security AGENT Otel 1s PB 1000 クエリ速度 スケール ノード並行性 USER AGENT
20. データサービングプラットフォームとしての ClickHouse USER USER 高速 クエリ Agent Tracing 業務 USER AI/ML OPS ランダム クエリ モデルチューニング モニタリング Streaming CDC Agent管理 AGENTS / AGENTS PLATFORM APPLICATIONS DB 業務 USER BI / 対話分析 自然言語クエリ 高速クエリ MCP SQL CS SRE MCP 行動 DATA Context DATA マスタ DATA ベクトル DATA 業務 DATA 推論 LOG SYSTEM LOG APP LOG Security LOG Otel ログ解析 自然言語クエリ Coming Soon データ共有 ログ格納 Security インシデント対応 AI解析支援 業務 / 外部 データ連携 20 STORAGE / Data Lake 構造化 非構造化 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY Open Table Format Data Catalog DWH LOG 共通データ基盤 バッチクエリ ログ基盤 ログ監視 アプリ / システムセ キュリティ / ログ収集
21. ユースケース 21 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY
22. ユーザ事例 : Tesla テスラのギガファクトリーから車両アプリまであらゆるデータを管理 ギガファクトリー Tesla "There's nothing out there that competes with ClickHouse." — Alon Tal, Senior Staff Software Engineer, Tesla 工場センサーをリアルタイム処理。品質異常を即時検知し生産 ラインを止めずに対応 コネクテッドビークル 全世界数百万台の車両テレメトリデータをリアルタイムで取得。 Teslaアプリの車両ステータス・充電状況などのダッシュボード にも利用 エネルギーシステム 充電ステーション・Tesla Energy製品のリアルタイム監視 800万+ 全世界のテスラ車 数千万行 /秒 常時処理データ量 1京行 データインジェストの実績 22 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY
23. ユーザ事例 : Lyft 全米主要都市で展開するライドシェアサービス、需給管理をリアルタイムで最適化 需給リアルタイム分析 都市・地域ごとの乗車需要とドライバー稼働をリアルタイムに把 握。需給の偏りを即時検知し、インセンティブ配信を自動判断 450TB/ 日 乗車データ処理用 バッチ + リアルタイム統合 "This journey [to ClickHouse] has been really revolutionary." 従来バッチ処理とリアルタイム処理で別々に運用していた分析 基盤をClickHouseの一つの環境に統合 数千 QPS ピーク時のクエリ処理量 — Ritesh Varyani, Staff Software Engineer, Lyft キャンペーンターゲティング リアルタイムのユーザー行動ログを元にプロモーションを動的 調整 基盤統合 バッチとリアルタイムを統合 23 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY
24. ユーザ事例 : Visa オブザーバビリティのモダン化と会話型 BIの統合基盤 オブザーバビリティ基盤のモダン化 Splunkからの移行。100TB/日のログを低コスト・高速に処理 するリアルタイムモニタリング基盤を構築 会話型BIの導入 ClickHouse Agentにより、自然言語での加盟店の収益・取引 データをリアルタイムで分析・可視化 加盟店リスクの検知 分散した加盟店データを統合し、収益損失リスクの高い加盟店 を事前検知・早期介入を実現 50倍 クエリの高速化 40PB 分析対象データ量 3日→即 時 レポート作成ラグの解消 24 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY
25. データは貯める時代から、活用する時代へ データ サービング レイヤーでデータを届ける基盤を整備 データの使われ方が変わる 人を中心としたデータ活用からAIがワークロードを実現する ための基盤へ データ基盤の役割が変わる 分散したデータを、新鮮で、高速に、安定して提供 できる基盤へ ClickHouseがその中核を支える Collect → Process → Serveをつなぐ、Agentic Data Stack 25 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY
26. ClickHouse を 体験してみてください アカウント作成のみで始められる、 30日間の無料トライアルを実施中 26 ©2026 CLICKHOUSE INC., CONFIDENTIAL & PROPRIETARY