リアルタイムデータ分析基盤を Kafka(Strimzi) & Druidで構築した @kentakozuka

@kentakozuka @CyberAgent - Backend - Go, Python - 今やっていること →

In-House Feature Flag & A/B Testing Platform 「Bucketeer」という名前です 社内プロダクト用フィーチャーフラグ & ABテストプラットフォーム 複数のプロダクトで導入 今回はGKE上に構築しているデータ分 析パイプラインの話

コスト高 データ量: 5TB/week BigQuery Druid & Kafka コスト削減 GKEのノード分のコスト

Druid 大規模データ分析 - 列指向 - 大量のインサート - リアルタイム分析 - 並列処理 - 統計量 スケーラブル インテグレーション - 分散型DB - Self-healing - Self-balancing - Kafka - Kenesis - S3 - GCS - HDFS Airbnb, Alibaba, Expedia, Lyft, Netflix, Optimizely, Twitter, Yahoo などで導入実績 https://druid.apache.org/druid-powered - 公式Operatorあり - GitOps - ちょっと使いづらい On Kubernetes

But, Pub/Sub未対応… - PRあるけど進んでない

Strimzi Kafka Operator - Kafka is now Kubernetes-Native - GitOps - シンプルで使いやすい - Zookeeper, Exporterも全部やってくれる - ヘルスチェック、ログ、メトリクス

After

所感 & まとめ 導入はそれなりに大変だけど、メリットはある Druid - 分析基盤として性能・機能共にフィットするプロダクトは多そう - チューニングが難しい - Pub/Sub対応してほしい - 開発が活発なGo SDKがほしい Strimzi - シンプルで使いやすい Kubernetes上に構築するときOperatorがあると安心する

Thank you!