$30 off During Our Annual Pro Sale. View Details »

Prometheus_Kafka_Consumer_Group_Exporter使ってみました__.pdf

yosshi_
December 18, 2018
930

 Prometheus_Kafka_Consumer_Group_Exporter使ってみました__.pdf

yosshi_

December 18, 2018
Tweet

Transcript

  1. ç
    Prometheus Kafka Consumer Group Exporter
    使ってみました!!
    Apache Kafka Meetup Japan #5 @LINE
    @yosshi_

    View Slide

  2. ⾃⼰紹介
    n 吉村 翔太(@yosshi_)
    n NTTコミュニケーションズ所属
    n データサイエンスチーム
    n インフラエンジニア/データエンジニアリング
    n Kurbernetes、Kafka etc
    n コミュニティ活動 “Cloud Native Developers JP”

    View Slide

  3. Kafkaの使い⽅
    Input
    ストリーミング処理
    バッチ処理
    Kafka クラスタ
    pmacct
    fluentd
    logstash
    よくあるデータ分析の基盤

    View Slide

  4. 監視の世界
    監視項⽬ 監視⽅法
    ログ監視 該当ファイルへの”error”等の⽂字列の有無
    プロセス監視 プロセスの有無、プロセスの数
    リソース監視 CPU/メモリ使⽤率 etc
    死活監視 Pingの応答結果
    監視項⽬ 監視⽅法
    アプリケーションの監視 処理の遅れ etc
    n バッチ処理の世界
    nストリーミング処理の世界
    処理が⽌まって
    たらだめ!
    処理が動いてても
    ダメかも?

    View Slide

  5. What is Prometheus?
    参考< https://prometheus.io/docs/introduction/overview/ >
    使ってみた所感:メトリクスを収集して扱うのが得意なツール

    View Slide

  6. Architecture
    参考< https://prometheus.io/docs/introduction/overview/ >
    :使ったのはこれ

    View Slide

  7. Prometheus Kafka Consumer Group Exporter
    参考< https://github.com/braedon/prometheus-kafka-consumer-group-exporter >
    項番 Metrics
    1 kafka_consumer_group_offset{group, topic, partition}
    2 kafka_consumer_group_lag{group, topic, partition}
    3 kafka_consumer_group_lead{group, topic, partition}
    4 kafka_consumer_group_commits{group, topic, partition}
    5 kafka_consumer_group_exporter_offset{partition}
    6 kafka_consumer_group_exporter_lag{partition}
    7 kafka_consumer_group_exporter_lead{partition}
    8 kafka_topic_highwater{topic, partition}
    9 kafka_topic_lowwater{topic, partition}
    n 取れるMetrics

    View Slide

  8. Grafanaで可視化してみた

    View Slide

  9. Kafkaの監視に使える他のExporter達
    参考< https://github.com/prometheus/node_exporter >
    n Node-Exporter
    n Jmx-Exporter
    参考< https://github.com/prometheus/jmx_exporter >

    View Slide