datadog-incident-management-intro

Japan Datadog User Group Meetup#13@東京
Datadog ではじめるインシデント対応
https://datadog-jp.connpass.com/event/368663/

Transcript

1. Datadog ではじめるインシデント対応 @_tetsuya28
2. ⾃⼰紹介 ⼭ 本 哲 也 @_tetsuya28 株式会社 AbemaTV - SRE 【趣味】旅⾏‧ゴルフ 【 Datadog 歴】 1 年 【好きな Datadog の機能】 APM Investigator / Incident management
3. [Datadog]On-Callが卍解されたので使ってみた - Speaker Deck Datadog On-Calを本番導⼊しました / Datadog On-Cal now in production - Speaker Deck Japan Datadog User Group Meetup#8@札幌 - connpass Datadog Incident Management 周りの登壇
4. アジェンダ ❏ Datadog Incident Management とは ❏ Datadog Incident Management の周辺ソリューション ❏ Datadog Incident Management での障害対応
5. Datadog Incident Management とは Datadog が提供している障害管理のソリューション ❏ Datadog の様々な情報をトリガーにインシデントを管理 ❏ Monitor / On-Call / Case / Notebook などと連携 ❏ Slack などのインテグレーション https://docs.datadoghq.com/ja/service_management/incident_management/
6. Datadog Incident Management の周辺ソリューション ❏ Monitor ❏ Datadog におけるアラート管理 ❏ On-Call ❏ Page ( 呼び出し ) や Routing や Schedule などの機能を統合 ❏ Case ❏ 様々なデータソースから調査内容などを⼀元管理 ❏ Notebook ❏ 調査内容や Runbook などの情報の管理
7. Datadog Incident Management の周辺ソリューション ⼀連のフローを Datadog で完結できる Monitor Case Notebook Incident On-Call ① アラートを発⽕する ② 調査する ③ 障害を定義する ④ 担当者を呼び出す Runbook から情報を得る
8. Incident Management での障害対応 ❏ 様々な Incident の作成⽅法 ❏ Incident Management によるインシデント対応 ❏ Slack 連携 / Test Incident などの Tips ❏ Incident Analytics での分析
9. Incident の作成 グラフ‧クリップボード‧モニター‧セキュリティシグナル‧ Incidents ページ‧ Slack ‧ Page ‧ Case などから作成できます
10. Incident の作成 グラフ‧クリップボード‧モニター‧セキュリティシグナル‧ Incidents ページ‧ Slack ‧ Page ‧ Case などから作成できます
11. Incident の作成 グラフ‧クリップボード‧モニター‧セキュリティシグナル‧ Incidents ページ‧ Slack ‧ Page ‧ Case などから作成できます
12. Incident の作成 グラフ‧クリップボード‧モニター‧セキュリティシグナル‧ Incidents ページ‧ Slack ‧ Page ‧ Case などから作成できます
13. Incident の作成 Incident 作成 🎉
14. Incident Tips - Dock 固定 作成すると Datadog UI 上で通知が⾶んできます Dock に固定すると常に右側に固定されます
15. Incident Tips - グラフ追加 任意のグラフの Add to Incident を選択することで Incident に直接グラフをリンクできます
16. Incident Tips - Slack 連携 Incidents > Settings の Integrations から Slack 連携を設定できます
17. Incident Tips - Slack 連携 Incidents > Settings の Integrations から Slack 連携を設定できます Incident ごとに個別チャンネルを設定
18. Incident Tips - Slack 連携 Slack 連携しておくと Incident ごとに Slack チャンネルを作成できます
19. Incident Tips - Slack 連携 Incidents > Settings の Integrations から Slack 連携を設定できます Slack とメッセージを相互同期
20. スレッドも含めて Datadog / Slack のどちらで、投稿してもシームレスに会話を続けられる Incident Tips - Slack 連携 Slack からの投稿 Datadog からの投稿
21. Incident Management でできること 障害管理に必要な情報をまとめて管理 ❏ IC などの対応者管理 ❏ Severity / 影響範囲 ❏ 原因対応タスク管理 ❏ ポストモーテムの⾃動⽣成 ❏ 他チームへのお知らせ などなど
22. Incident Tips - Test Incident Incident のデータを汚さずに Test Incident で障害対応訓練などができます
23. Incident Analytics での振り返り 障害対応に関する統計データを可視化 以下のような情報をデータ化することができます • 誰が？ • どのサービスが？ • どれくらい？ https://docs.datadoghq.com/service_management/incident_management/analytics/
24. まとめ • Datadog Incident Management ではインシデント管理だけではなく周辺のエコシステムとシー ムレスに連携されています ◦ Datadog だけではなく外部の仕組みとも上⼿く連携することができます • Datadog 独⾃の思想を把握する必要がある ◦ Incident ≠ On-Call ではなく、必要に応じて Page ( = On-Call ) する
25. おまけ iPhone アプリ⼊れると widget あるからいつでも対応出来るね ❤