StarRocks × AI高速データエンジンで実現する「SSOT × AI Native」データ基盤

Transcript

1. 5/14 みん強'26前期-前夜祭 StarRocks × AI 高速データエンジンで実現する 「SSOT × AI Native」データ基盤 2026年5月14日 CelerData / StarRocks
2. アジェンダ 01 データ基盤の現状課題 SSOT崩壊・AI活用のボトルネック 02 StarRocks × CelerData とは 高速エンジンのアーキテクチャと強み 03 事例 ゲームプラットフォーム企業（本日公開） 04 AI Native ロードマップ Semantic / Evolution / Observability の3本柱
3. データ基盤の現状課題 ― SSOTの崩壊とAI活用の壁 課題① ― SSOT（信頼できる唯一の情報源）の崩壊 • パフォーマンス不足を補うため、複数のDWHにデータをコ ピーしてしまう • コピーが増えるほどデータ整合性・鮮度が低下し信頼性 が揺らぐ • 複雑なETLパイプラインが運用負荷とコストを増大させる • ベンダーロックインにより脱却が困難なスタックが乱立 課題② ― AI活用のボトルネック • 多様なデータソースが分散しており、AI活用に必要な データ統合・リアルタイム連携が複雑化している • 大規模JOINや複雑クエリのレイテンシが高く、AIエー ジェントの応答速度・ユーザー体験を制限している • DatabaseネイティブなAI Agent／SQL Agentの整 備が不十分で、業務データを活用した自律的な分析が 難しい • LLMが生成するSQLや分析結果の精度が、メタデータ 品質・データモデリング・クエリ性能に大きく依存している
4. 4 StarRocks と CelerData エンタープライズ向け StarRocks BYOC クラウドサービス • SOC 2 および GDPR 認証取得済み • セキュリティ：SSO 認証、LDAP 同期、行・列アクセスマスキング • 運用：監視・アラート、クラスタ管理用 GUI およびAPI、クエリプロファイ リング • 24 時間 365 日 SLA サポート 本社： カリフォルニ ア州 メンロパーク オープンソース OLAP+Lakehouse • 2020 年 5 月設立 • 2023 年 2 月に Linux Foundation へ寄贈 • 400 社以上の時価総額 10 億ドル超企業で本番利用中
5. 5 シームレスなエコシステ ム 統合 プラグアンドプレイ対応の 接続性 スムーズな モニタリング＆ チューニング 即時利用可能な 相互運用性 本番環境で実証された 信頼性 StarRocks ソリューション ペタバイト規模データにおけるリアルタイムインテリジェンスの実現
6. レイクハウスに極限のパフォーマンスをもたらす • クエリパフォーマンスを向上させる独自のテーブルフォーマット • オープンテーブルフォーマットからの自動変換 • ハイブリッド検索のサポート 最適化されたテーブルフォーマット 完全ベクトル化実行エンジン MPPエンジン StarRocks SQLエンジン データレイク • CPUパワーを最大限に引き出す完全ベクトル化実行エンジン • ARMチップをネイティブサポート プランナー+モデル 最適化されたキャッシュ データアプリケーション MPPエンジン MPPエンジン
7. StarRocks - Lakehouse上でDWH級の速度 • ベンチマーク（TPC-DS 1TB ）において Trino 比で約6.9 倍の高速化を実現。 • さらにユーザーさんの実環境 データへの最適化により、その 性能差は最大10倍に達します。 ローカルディスク S3 Iceberg 独占 StarRocks Warehouse 共用 マルチエンジン共用
8. 事例 ― Tokyo-based ゲームプラットフォーム 200+ サービス対象 国・地域 25+ 提携IP ホルダー数 数千万 アクティブ ユーザー規模 数百本 日次稼働 ETLジョブ数 1 HTML5 ブラウザゲーム グローバルプラットフォームを展開。人気アニメ・漫画IPと提携した無料プレイ型ゲームを多数配信。 2 データ駆動型 広告運用 Google / Facebook / TikTok などの広告基盤へリアルタイムオーディエンスを連携。 3 パートナー向け BI 数十社のゲームパブリッシャー向けに分析ダッシュボードを提供。 4 対話型 AI 分析エージェント ビジネス担当者がデータに自然言語で質問できる社内AIエージェントを運用中。
9. 3つのワークロードに立ちはだかった壁 ADターゲティング 数時間 ← セグメント更新の遅延 • 数千万ユーザーのセグメント更新に 数時間を要し、広告最適化が追い つかない • TiDB上の削除＋再書込型の更新 サイクルがワークロードと嚙み合わな い BIダッシュボード 数十秒 ← ページ表示のタイムラグ • Databricks直接アクセスでピーク時 にクエリが滞留しタイムアウト頻発 • 同時接続増加に伴いBI専用 computeを積み増す必要があり非 効率 AIエージェント 使用体験 ← 対話型分析の精度不足 • Join精度・クエリ性能が不十分だと AIが生成するSQLが実用に耐えな い • 幅広い非正規化テーブルへの依存 でメタデータ管理コストが増大
10. 中核とした3層アーキテクチャ ― 既存レイクハウス資産を活かす データソース Kafka / Flink (ストリーミング) DataLake (Iceberg/Databricks) 業務系 DB StarRocksベース 統合分析サービング層 PrimaryKey Table Upsertベースでセグメントを高速更新 高速な Point Query CDC連携が簡単 マテリアライズドビュー BIクエリを事前集計し瞬時に応答 高速Join実行 非正規化を減らし正確な分析を可能に 利用シーン 広告ターゲティング Google/TTD 外部広告基盤へ連携 BIダッシュボード 社内・パートナー向け Tableau連携 AI分析エージェント 自然言語で全社データに 対話的アクセス
11. 導入効果 ― 定量的な成果と今後の展望 オーディエンス更新 主キーテーブル + Upsert化によりデータ鮮度 を大幅改善 BEFORE 数時間 → AFTER 10秒以下 BIダッシュボード応答 マテリアライズドビューで約3倍高速化、高同時 実行も安定 BEFORE 数十秒 → AFTER 数秒 インフラコスト BI用Databricks computeを削減しTCOを 改善 BEFORE BI compute 増設肥大 → AFTER 過剰プロビジョン 解消 NEXT STEPS ｜ Flink→CelerData直接連携 ／ AIエージェントの一桁秒台応答 ／ 対象ワークロードの拡大
12. 12 StarRocks AI ロードマップ StarRocks AI エージェント基盤 AI・データ連携のトレーサビリティ AIパフォーマンスと品質メトリクス コスト & リソースガバナンス 統合メトリクスストア インテリジェント・マテリアライズドビュー AI ネイティブ分析基盤 クエリ自己最適化 自律データモデリング 自律データ信頼性保証 Revolution Semantic Observability
13. まとめ StarRocks × AI で実現する SSOT × AI Native データ基盤 SSOT データコピーをなくし、Lakehouse上でDWH級の速度を実現することがAI活用の前提条件 高速サービング StarRocksの主キーテーブル・MV・高速Joinがリアルタイム広告・BI・AIエージェントを同時に支える AI精度 エンジンの性能がAIエージェントの回答精度（90%超）を直接左右する。モデルだけでは解決しない ロードマップ Semantic / Evolution / Observability の3本柱でAI Nativeデータ基盤へ進化 お問い合わせ：celerdata.com ／ starrocks.io ／ StarRocks Slack コミュニティ参加歓迎