Prometheus_Kafka_Consumer_Group_Exporter使ってみました__.pdf

Transcript

1. ç
   Prometheus Kafka Consumer Group Exporter
   使ってみました!!
   Apache Kafka Meetup Japan #5 @LINE
   @yosshi_
   

   View Slide

2. ⾃⼰紹介
   n 吉村 翔太(@yosshi_)
   n NTTコミュニケーションズ所属
   n データサイエンスチーム
   n インフラエンジニア/データエンジニアリング
   n Kurbernetes、Kafka etc
   n コミュニティ活動 “Cloud Native Developers JP”
   

   View Slide

3. Kafkaの使い⽅
   Input
   ストリーミング処理
   バッチ処理
   Kafka クラスタ
   pmacct
   fluentd
   logstash
   よくあるデータ分析の基盤
   

   View Slide

4. 監視の世界
   監視項⽬ 監視⽅法
   ログ監視 該当ファイルへの”error”等の⽂字列の有無
   プロセス監視 プロセスの有無、プロセスの数
   リソース監視 CPU/メモリ使⽤率 etc
   死活監視 Pingの応答結果
   監視項⽬ 監視⽅法
   アプリケーションの監視 処理の遅れ etc
   n バッチ処理の世界
   nストリーミング処理の世界
   処理が⽌まって
   たらだめ!
   処理が動いてても
   ダメかも？
   

   View Slide

5. What is Prometheus?
   参考< https://prometheus.io/docs/introduction/overview/ >
   使ってみた所感：メトリクスを収集して扱うのが得意なツール
   

   View Slide

6. Architecture
   参考< https://prometheus.io/docs/introduction/overview/ >
   ：使ったのはこれ
   

   View Slide

7. Prometheus Kafka Consumer Group Exporter
   参考< https://github.com/braedon/prometheus-kafka-consumer-group-exporter >
   項番 Metrics
   1 kafka_consumer_group_offset{group, topic, partition}
   2 kafka_consumer_group_lag{group, topic, partition}
   3 kafka_consumer_group_lead{group, topic, partition}
   4 kafka_consumer_group_commits{group, topic, partition}
   5 kafka_consumer_group_exporter_offset{partition}
   6 kafka_consumer_group_exporter_lag{partition}
   7 kafka_consumer_group_exporter_lead{partition}
   8 kafka_topic_highwater{topic, partition}
   9 kafka_topic_lowwater{topic, partition}
   n 取れるMetrics
   

   View Slide

8. Grafanaで可視化してみた
   

   View Slide

9. Kafkaの監視に使える他のExporter達
   参考< https://github.com/prometheus/node_exporter >
   n Node-Exporter
   n Jmx-Exporter
   参考< https://github.com/prometheus/jmx_exporter >
   

   View Slide