アラートの過不足をなくす

2023-02-10
ENECHANGE Tech Talk (社内勉強会)

Transcript

1. アラートの過不足をなくす 2023-02-10 ENECHANGE Tech Talk (社内勉強会) CTO室 岩本隆史 (@iwamot)
2. 現状の問題点 不必要なアラートが多い 必要なアラートが足りない
3. 不必要なアラートが多い
4. 不必要なアラートの例 CPU使用率が高い 不正なリクエストによって例外が発生している
5. アラートの定義 深夜であっても即対応すべき事象を知らせるもの 後日対応でよいならチケットで知らせればよい
6. 不必要なアラートの問題点 即対応すべき事象が埋もれてしまう 無視が習慣化してしまう
7. 不必要なアラートをなくす CPU使用率が高い → 削除する 不正なリクエストによって例外が発生している → アプリ側でハンド リングして4xxエラーを返す
8. 必要なアラートが足りない
9. 必要なアラートの例 サービスレベル (SLI) の悪化 お客様に迷惑がかかる 収益に悪影響がある ディスク空き容量の急激な低下 突然サービス不能になりかねない
10. 必要なアラートを仕掛ける サービスレベル (SLI) の悪化 → 手段を検討中 ディスク空き容量の急激な低下 → 一部実施済みだが改善する
11. おわりに
12. ご協力のお願い 即対応が必要なアラートのみにしていきましょう サービスレベル目標 (SLO) を定義していきましょう
13. 参考記事 Google - Site Reliability Engineering 訳書『SRE サイトリライアビリティエンジニアリング』 クラウド環境でのアラートを考えてみよう 監視疲れを起こさない工夫