Datadog ではじめるインシデント対応

by tetsuya28

Embed

Start on current slide

Slide 1

Slide 1 text

Datadog ではじめるインシデント対応 @_tetsuya28

Slide 2

Slide 2 text

⾃⼰紹介⼭本哲也 @_tetsuya28 株式会社 AbemaTV - SRE 【趣味】旅⾏‧ゴルフ【 Datadog 歴】 1 年【好きな Datadog の機能】 APM Investigator / Incident management

Slide 3

Slide 3 text

[Datadog]On-Callが卍解されたので使ってみた - Speaker Deck Datadog On-Calを本番導⼊しました / Datadog On-Cal now in production - Speaker Deck Japan Datadog User Group Meetup#8@札幌 - connpass Datadog Incident Management 周りの登壇

Slide 4

Slide 4 text

アジェンダ ❏ Datadog Incident Management とは ❏ Datadog Incident Management の周辺ソリューション ❏ Datadog Incident Management での障害対応

Slide 5

Slide 5 text

Datadog Incident Management とは Datadog が提供している障害管理のソリューション ❏ Datadog の様々な情報をトリガーにインシデントを管理 ❏ Monitor / On-Call / Case / Notebook などと連携 ❏ Slack などのインテグレーション https://docs.datadoghq.com/ja/service_management/incident_management/

Slide 6

Slide 6 text

Datadog Incident Management の周辺ソリューション ❏ Monitor ❏ Datadog におけるアラート管理 ❏ On-Call ❏ Page ( 呼び出し ) や Routing や Schedule などの機能を統合 ❏ Case ❏ 様々なデータソースから調査内容などを⼀元管理 ❏ Notebook ❏ 調査内容や Runbook などの情報の管理

Slide 7

Slide 7 text

Datadog Incident Management の周辺ソリューション⼀連のフローを Datadog で完結できる Monitor Case Notebook Incident On-Call ① アラートを発⽕する ② 調査する ③ 障害を定義する ④ 担当者を呼び出す Runbook から情報を得る

Slide 8

Slide 8 text

Incident Management での障害対応 ❏ 様々な Incident の作成⽅法 ❏ Incident Management によるインシデント対応 ❏ Slack 連携 / Test Incident などの Tips ❏ Incident Analytics での分析

Slide 9

Slide 9 text

Incident の作成グラフ‧クリップボード‧モニター‧セキュリティシグナル‧ Incidents ページ‧ Slack ‧ Page ‧ Case などから作成できます

Slide 10

Slide 10 text

Incident の作成グラフ‧クリップボード‧モニター‧セキュリティシグナル‧ Incidents ページ‧ Slack ‧ Page ‧ Case などから作成できます

Slide 11

Slide 11 text

Incident の作成グラフ‧クリップボード‧モニター‧セキュリティシグナル‧ Incidents ページ‧ Slack ‧ Page ‧ Case などから作成できます

Slide 12

Slide 12 text

Incident の作成グラフ‧クリップボード‧モニター‧セキュリティシグナル‧ Incidents ページ‧ Slack ‧ Page ‧ Case などから作成できます

Slide 13

Slide 13 text

Incident の作成 Incident 作成 🎉

Slide 14

Slide 14 text

Incident Tips - Dock 固定作成すると Datadog UI 上で通知が⾶んできます Dock に固定すると常に右側に固定されます

Slide 15

Slide 15 text

Incident Tips - グラフ追加任意のグラフの Add to Incident を選択することで Incident に直接グラフをリンクできます

Slide 16

Slide 16 text

Incident Tips - Slack 連携 Incidents > Settings の Integrations から Slack 連携を設定できます

Slide 17

Slide 17 text

Incident Tips - Slack 連携 Incidents > Settings の Integrations から Slack 連携を設定できます Incident ごとに個別チャンネルを設定

Slide 18

Slide 18 text

Incident Tips - Slack 連携 Slack 連携しておくと Incident ごとに Slack チャンネルを作成できます

Slide 19

Slide 19 text

Incident Tips - Slack 連携 Incidents > Settings の Integrations から Slack 連携を設定できます Slack とメッセージを相互同期

Slide 20

Slide 20 text

スレッドも含めて Datadog / Slack のどちらで、投稿してもシームレスに会話を続けられる Incident Tips - Slack 連携 Slack からの投稿 Datadog からの投稿

Slide 21

Slide 21 text

Incident Management でできること障害管理に必要な情報をまとめて管理 ❏ IC などの対応者管理 ❏ Severity / 影響範囲 ❏ 原因対応タスク管理 ❏ ポストモーテムの⾃動⽣成 ❏ 他チームへのお知らせなどなど

Slide 22

Slide 22 text

Incident Tips - Test Incident Incident のデータを汚さずに Test Incident で障害対応訓練などができます

Slide 23

Slide 23 text

Incident Analytics での振り返り障害対応に関する統計データを可視化以下のような情報をデータ化することができます ● 誰が？ ● どのサービスが？ ● どれくらい？ https://docs.datadoghq.com/service_management/incident_management/analytics/

Slide 24

Slide 24 text

まとめ ● Datadog Incident Management ではインシデント管理だけではなく周辺のエコシステムとシームレスに連携されています ○ Datadog だけではなく外部の仕組みとも上⼿く連携することができます ● Datadog 独⾃の思想を把握する必要がある ○ Incident ≠ On-Call ではなく、必要に応じて Page ( = On-Call ) する

Slide 25

Slide 25 text

おまけ iPhone アプリ⼊れると widget あるからいつでも対応出来るね ❤