Grafana OnCallによる通知

Transcript

1. 2024/11/15 製造ビジネステクノロジー部 佐伯恭平 (Kyo) Grafana OnCallによる通知
2. 佐伯恭平 / Kyo 6 • 2019年8月入社 ◦ 今年4月から福岡オフィス所属 ▪ 資さんうどんにハマってます • 製造ビジネステクノロジー部 ◦ サーバーサイドエンジニア ▪ 時々スクラムマスター • 異業種からの転職組 ◦ 前は🧬のエンジニアリングをやって ました ◦ マウスの扱いぼちぼちできます🐀
3. Grafana OnCallによる通知のイメージを掴む 「こんなことできそうだな」を考えられるようになる 今⽇のゴール 7
4. Grafana Incident Response & Management (IRM) > 問題が発⽣したとき、Grafana ダッシュボードはメトリクス、ログ、トレース で答えを⾒つけるためにチームが最初に向かう場所であり、事後報告をまとめ るために最後に⾒る場所 Grafanaにはインシデント管理の機能群がある 8 https://grafana.com/ja/products/cloud/irm/
5. ことば 9 on callの意味・使い方 > オンコールとは、決められた時間内に対応可能であること、そしてその時間 内に適切な緊急性をもって本番インシデントに対応する準備ができていること を意味する (Google - Site Reliability Engineering) On-Call Rotations: A Comprehensive Guide
6. > Grafana OnCallは、開発者向けにカスタマイズされたよりシンプルなワークフローとイン ターフェースを備えたオープンソースのオンコール管理システムです。 Grafana OnCall 10 Grafana OnCall OSS | On-call management system 実は⼊⼒にWebhookも使える
7. 公式のモバイルアプリ(iOS / Android) 11 最近名前が変わった模様。 元々はOnCallという名前でした。
8. ハンズオン1: サクッと通知を試す
9. モバイルアプリを準備 13 iOS Android
10. ログイン⽤QRコードを取得 14
11. ログイン⽤QRコードを取得 15
12. モバイルアプリの設定 16 Notify byを上記のように設定
13. テスト通知を実⾏ 17
14. マナーモードを貫通しましたよね？ 18
15. • よくある通知: Slackやメール ◦ 意外と気づかないことも多い ▪ 特に外出時など ◦ Grafanaはユースケースが広い ▪ 現実世界が絡むIoT系のシステムでは特にうれしい • ⼯場とか • この機能の実現にはモバイルアプリが必要 ◦ Override DND（おやすみモードの上書き） [うれしさ] マナーモードを貫通する 19
16. もう⼀歩実践へ 20
17. > Grafana OnCallは、開発者向けにカスタマイズされたよりシンプルなワークフロー と インターフェースを備えたオープンソースのオンコール管理システムです。 改めてGrafana OnCall 21 https://grafana.com/oss/oncall/
18. ハンズオン2: オニ電
19. ことば 23 「オニ電(オニでん)」の意味や使い方 わかりやすく解説 Weblio辞書
20. Escalation chainsの設定1 24
21. Escalation chainsの設定2 25 以下の様に設定 通知先は⾃分を指定
22. Integrationsの設定 26
23. Integrationsの設定2 27
24. Integrationsの設定3 28 先ほど作ったchainを指定
25. デモアラートの送信 29 任意のメッセージでOK。 上では「オニ電です❤」に設定。
26. オニ電されましたか？ 30
27. 成果物イメージ 31 マナーモード 貫通❤
28. 通知状態の変更 32 Unresolveで発⽕状態に戻せます
29. もう少し⾒てみる 33 結構⾊々なことができる • 状態の変更 ◦ 解決済み、既読、再発 • タイムライン ◦ いつ、だれが何をしたか ◦ メモは⽇本語で書ける タイムライン表⽰ 詳細表⽰
30. Webからも確認してみる 34
31. Webからも確認してみる2 35
32. • 電話は強⼒な通知⼿段だが、受電できなかったらほとんど情報が残ら ない ◦ 基本的には「何かあった」ということだけ分かる ▪ インシデント時に留守電もらっても... • モバイルアプリ / Webから⾮同期で情報を追いかけたり、操作できる [うれしさ] ⾮同期で情報を⾒ることができ、状態も変更できる 36
33. もっとワークフロー
34. チーム全員に通知するEscalation chain 38 Escalation chains and routes
35. 条件分岐: 深刻なときにはチーム全員に通知する 39 { "message": "チーム通知テスト", "severity": "critical" }
36. • 基本的に画⾯ポチポチでワークフローが組める ◦ 条件分岐も可能 ◦ 使えるアクションも多彩 (例) ▪ Slackユーザーグループ通知 ▪ チームメンバーにラウンドロビンで通知 ▪ 時間ベース: 特定の時間範囲(就業時間中のみなど)で通知 ▪ しきい値ベース: ⼀定数のアラートが発⽣した場合のみ通知 ▪ Webhook起動 [うれしさ] 柔軟なワークフローで様々なユースケースに対応可能 40
37. まとめ
38. • マナーモードを貫通 • ⾮同期で情報を⾒られる/状態を変更できる • ワークフローで様々なユースケースに対応可能 Grafana OnCallによる通知のうれしさ 42 使い道はアイデア次第！
39. Enjoy Grafana ! 43