PagerDutyを導入して変わったシステム運用とこれから / NIFTY Tech Talk #21

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Copyright © NIFTY Corporation All Rights Reserved. 導入前の監視体制 5 見直したかったところ • アラート内容の変更を監視チームに依頼する必要がある • アラート閾値、オンコール担当を簡単に変更できない • メンテナンス等でアラートしてほしくないタイミングを簡単に設定できない • 架電によるアラートは、監視チームが担当者に電話している • アラート先／アラート方法がバラバラ

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Copyright © NIFTY Corporation All Rights Reserved. 導入後の監視体制 8 改善したところ • 監視チーム(人)→担当者でなく、PagerDuty(システム)→担当者にアラート • 人が介入しなくなったことで運用コストが下がった • オンコールシフトにより、アラートを受けやすい体制を作れた • アラートをPagerDutyに集約できた • 担当者はPagerDutyだけでアラートを確認できるようになった

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyright © NIFTY Corporation All Rights Reserved. PagerDuty導入までに実施したこと 12 監視ツールの導入＆アラートの連携 https://samber.github.io/awesome-prometheus-alerts/ • Prometheus ＋ Alertmanagerを導入した • アラートに関する知識が浅かったので、awesome-prometheus-alertsのルールセットを導入して、すべてPagerDutyに連携した

Slide 14

Slide 14 text

Copyright © NIFTY Corporation All Rights Reserved. PagerDuty導入までに実施したこと 13 アラートの見直し／トリアージ機能の設定 • イベントを連携し始めて1か月程度はアラート閾値の見直しと、トリアージ機能の設定を繰り返した • アラートを整理出来たところでチームメンバーをオンコールシフトに入れて、 PagerDutyを使ったインシデント管理に切り替えた

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Copyright © NIFTY Corporation All Rights Reserved. 導入して1年経過した現在 15 • アラートを集約できたことで確認しやすくなった • 繰り返し連絡されるので、誰かがACKできている状態になった • アラート設定のハードルが下がったまずPagerDutyに連携してからチューニングしようという考えを持てるようになった • 障害ポイントが切り分けやすくなった Service Graphで影響箇所が視覚的に確認できるようになった

Slide 17

Slide 17 text

Copyright © NIFTY Corporation All Rights Reserved. 今後のPagerDutyの活用について 16 • Analytics Dashboard、Insightsを活用する • MTTA、MTTR、応答工数を再発防止の優先度設定などに活用したい • インシデント発生時のアクションを見直す • 自動解決を設定する • Incident Workflowを設定する実際は10分程度で復旧

Slide 18

Slide 18 text