リアルタイムデータ分析基盤をKafka(Strimzi) & Druidで構築し

Transcript

1. リアルタイムデータ分析基盤を Kafka(Strimzi) & Druidで構築した @kentakozuka
2. @kentakozuka @CyberAgent - Backend - Go, Python - 今やっていること →
3. In-House Feature Flag & A/B Testing Platform 「Bucketeer」という名前です 社内プロダクト用フィーチャーフラグ & ABテストプラットフォーム 複数のプロダクトで導入 今回はGKE上に構築しているデータ分 析パイプラインの話
4. コスト高 データ量: 5TB/week BigQuery Druid & Kafka コスト削減 GKEのノード分のコスト
5. Druid 大規模データ分析 - 列指向 - 大量のインサート - リアルタイム分析 - 並列処理 - 統計量 スケーラブル インテグレーション - 分散型DB - Self-healing - Self-balancing - Kafka - Kenesis - S3 - GCS - HDFS Airbnb, Alibaba, Expedia, Lyft, Netflix, Optimizely, Twitter, Yahoo などで導入実績 https://druid.apache.org/druid-powered - 公式Operatorあり - GitOps - ちょっと使いづらい On Kubernetes
6. But, Pub/Sub未対応… - PRあるけど進んでない
7. Strimzi Kafka Operator - Kafka is now Kubernetes-Native - GitOps - シンプルで使いやすい - Zookeeper, Exporterも全部やってくれる - ヘルスチェック、ログ、メトリクス
8. After
9. 所感 & まとめ 導入はそれなりに大変だけど、メリットはある Druid - 分析基盤として性能・機能共にフィットするプロダクトは多そう - チューニングが難しい - Pub/Sub対応してほしい - 開発が活発なGo SDKがほしい Strimzi - シンプルで使いやすい Kubernetes上に構築するときOperatorがあると安心する
10. Thank you!