Grafana Lokiでイベントネットワーク監視をやって見た話

by gen16k

Slide 1

Slide 1 text

grafana lokiでイベントネットワーク監視をやってみた話

Slide 2

Slide 2 text

自己紹介 - 木村源一朗(gen16k) - NTTコミュニケーションズ所属 - データ分析基盤の開発・運用 - hadoop, kubernetes 基盤 - 入社1年目 - インフラ初心者 - ネットワーク初心者未満 - 趣味：自作PC

Slide 3

Slide 3 text

イベントについて - ICPC - 国際大学対抗プログラミングコンテスト - 66チーム(300名)が参加 - アジア地区予選 - 中国、台湾、韓国、シンガポールからも

Slide 4

Slide 4 text

監視したかったこと - スイッチとのping - スイッチのsnmp - インターフェース状態 - サーバーのリソース - スイッチからのsyslog

Slide 5

Slide 5 text

監視ツールはどれにする？ - zabbixがbest practice - 一通りのことができる。 - snmp - syslog - 自分がprometheus + grafanaでの監視しか知らない - しかしsyslog監視どうしよう ⇨　lokiならできそう（イベントネットワークでは）

Slide 6

Slide 6 text

監視したかったこと - スイッチとのping - スイッチのsnmp - インターフェース状態 - サーバーのリソース - スイッチからのsyslog

Slide 7

Slide 7 text

lokiでのsyslog監視 - rsyslogでsyslogを受信 - logパネルで表示 - logのmetrics化 - 今回はv0.40を使用 - （イベント直後にv1.0リリース…)

Slide 8

Slide 8 text

logパネル - 以下のlogqlで/var/log/syslog.logをダッシュボード表示 - {ﬁlename="/var/log/syslog.log"}

Slide 9

Slide 9 text

logパネルでgrep - 以下の様なlogqlでログをgrepできる - {ﬁlename="/var/log/syslog.log"} |= "fail"

Slide 10

Slide 10 text

logのmetrics化機能 - lokiをprometheusとしてdatasourceに追加 - rate(({job="mon-varlog"}) |= "fail"[1h]) - `fail`の文字列検知した回数をグラフ化

Slide 11

Slide 11 text

lokiでsyslog監視 - rsyslogでsyslog受信 - logパネルで表示 - logのmetrics化機能 - 今回はv0.40を使用 - （イベント直後にv1.0リリース…) - prometheus + grafana + loki≒ zabbix？？？？

Slide 12

Slide 12 text

監視フロー(妄想) Promtail syslog metrics exporter Prometheus Grafana /var/log

Slide 13

Slide 13 text

挫折その1 - logをmetrics化できるのならalertingもできるのでは？ - alertの設定はできる！！

Slide 14

Slide 14 text

挫折その1 - しかし何をやってもエラー - そもそも実装されていない？

Slide 15

Slide 15 text

mtailの導入 - googleがhostingしているパーサー - mtail languageというスクリプトでいろいろできる。 - 今回はファイル内の文字列をカウントしてmetrics化 mtailのスクリプト metricsに定義した変数値が表示される！

Slide 16

Slide 16 text

監視フロー(現実) Promtail mtail syslog metrics exporter Prometheus Grafana /var/log

Slide 17

Slide 17 text

挫折その2 - 指定した文字列を検知してアラートは出せる！ - しかし対応するlogが表示できない - どのインターフェースがdown？？？？？ - どのホスト？

Slide 18

Slide 18 text

挫折その2 - 大会開始後だったため監視フローの修正は不可能 - 同じく監視担当の1年目社員が受信したsyslogをパース、ホスト名とインターフェース名を添えてslack通知するプログラムを1.5時間で作成

Slide 19

Slide 19 text

監視フロー(最終形) Promtail mtail syslog metrics exporter Prometheus Grafana /var/log 自作通知プログラム

Slide 20

Slide 20 text

問題点 - snmp-trapを受信できない。 - 監視用プロダクトの数が多くなりがち - 公式ドキュメント未整備 - 監視業務中は何の画面見ればいい？？

Slide 21

Slide 21 text

よかった点 - (zabbixより)画面が見やすい - (zabbixより)画面がかっこいい！ - 完全にコンテナ化したので構築簡単 - lokiを実運用で検証できた！

Slide 22

Slide 22 text

まとめ - ZABBIXでよさそう - （イベントネットワークなら） - loki + grafanaではalerting不可能 - alert-managerとpromtailを駆使すれば何とかなる？？ - (promtail.ymlのpipelineは挫折しました・・・) - 持つべきは優秀な同僚