Save 37% off PRO during our Black Friday Sale! »

Prometheus_Kafka_Consumer_Group_Exporter使ってみました__.pdf

24606216ae4bbee28494552cb71cc220?s=47 yosshi_
December 18, 2018
700

 Prometheus_Kafka_Consumer_Group_Exporter使ってみました__.pdf

24606216ae4bbee28494552cb71cc220?s=128

yosshi_

December 18, 2018
Tweet

Transcript

  1. ç Prometheus Kafka Consumer Group Exporter 使ってみました!! Apache Kafka Meetup

    Japan #5 @LINE @yosshi_
  2. ⾃⼰紹介 n 吉村 翔太(@yosshi_) n NTTコミュニケーションズ所属 n データサイエンスチーム n インフラエンジニア/データエンジニアリング

    n Kurbernetes、Kafka etc n コミュニティ活動 “Cloud Native Developers JP”
  3. Kafkaの使い⽅ Input ストリーミング処理 バッチ処理 Kafka クラスタ pmacct fluentd logstash よくあるデータ分析の基盤

  4. 監視の世界 監視項⽬ 監視⽅法 ログ監視 該当ファイルへの”error”等の⽂字列の有無 プロセス監視 プロセスの有無、プロセスの数 リソース監視 CPU/メモリ使⽤率 etc

    死活監視 Pingの応答結果 監視項⽬ 監視⽅法 アプリケーションの監視 処理の遅れ etc n バッチ処理の世界 nストリーミング処理の世界 処理が⽌まって たらだめ! 処理が動いてても ダメかも?
  5. What is Prometheus? 参考< https://prometheus.io/docs/introduction/overview/ > 使ってみた所感:メトリクスを収集して扱うのが得意なツール

  6. Architecture 参考< https://prometheus.io/docs/introduction/overview/ > :使ったのはこれ

  7. Prometheus Kafka Consumer Group Exporter 参考< https://github.com/braedon/prometheus-kafka-consumer-group-exporter > 項番 Metrics

    1 kafka_consumer_group_offset{group, topic, partition} 2 kafka_consumer_group_lag{group, topic, partition} 3 kafka_consumer_group_lead{group, topic, partition} 4 kafka_consumer_group_commits{group, topic, partition} 5 kafka_consumer_group_exporter_offset{partition} 6 kafka_consumer_group_exporter_lag{partition} 7 kafka_consumer_group_exporter_lead{partition} 8 kafka_topic_highwater{topic, partition} 9 kafka_topic_lowwater{topic, partition} n 取れるMetrics
  8. Grafanaで可視化してみた

  9. Kafkaの監視に使える他のExporter達 参考< https://github.com/prometheus/node_exporter > n Node-Exporter n Jmx-Exporter 参考< https://github.com/prometheus/jmx_exporter

    >