ç Prometheus Kafka Consumer Group Exporter 使ってみました!! Apache Kafka Meetup Japan #5 @LINE @yosshi_

⾃⼰紹介 n 吉村 翔太(@yosshi_) n NTTコミュニケーションズ所属 n データサイエンスチーム n インフラエンジニア/データエンジニアリング n Kurbernetes、Kafka etc n コミュニティ活動 “Cloud Native Developers JP”

Kafkaの使い⽅ Input ストリーミング処理 バッチ処理 Kafka クラスタ pmacct fluentd logstash よくあるデータ分析の基盤

監視の世界 監視項⽬ 監視⽅法 ログ監視 該当ファイルへの”error”等の⽂字列の有無 プロセス監視 プロセスの有無、プロセスの数 リソース監視 CPU/メモリ使⽤率 etc 死活監視 Pingの応答結果 監視項⽬ 監視⽅法 アプリケーションの監視 処理の遅れ etc n バッチ処理の世界 nストリーミング処理の世界 処理が⽌まって たらだめ! 処理が動いてても ダメかも？

What is Prometheus? 参考< https://prometheus.io/docs/introduction/overview/ > 使ってみた所感：メトリクスを収集して扱うのが得意なツール

Architecture 参考< https://prometheus.io/docs/introduction/overview/ > ：使ったのはこれ

Prometheus Kafka Consumer Group Exporter 参考< https://github.com/braedon/prometheus-kafka-consumer-group-exporter > 項番 Metrics 1 kafka_consumer_group_offset{group, topic, partition} 2 kafka_consumer_group_lag{group, topic, partition} 3 kafka_consumer_group_lead{group, topic, partition} 4 kafka_consumer_group_commits{group, topic, partition} 5 kafka_consumer_group_exporter_offset{partition} 6 kafka_consumer_group_exporter_lag{partition} 7 kafka_consumer_group_exporter_lead{partition} 8 kafka_topic_highwater{topic, partition} 9 kafka_topic_lowwater{topic, partition} n 取れるMetrics

Grafanaで可視化してみた

Kafkaの監視に使える他のExporter達 参考< https://github.com/prometheus/node_exporter > n Node-Exporter n Jmx-Exporter 参考< https://github.com/prometheus/jmx_exporter >