Share
Embed
Slide 1
Slide 1 text
Confidential
Datadog On-Call
を本番導入しました
Slide 2
Slide 2 text
Copyright Hacobu, Inc. 2
自己紹介
栗山 聖 (@sheepland)
所属
株式会社Hacobu プラットフォームチーム
仕事
プラットフォームエンジニアリング&SRE
趣味
漫画、SF小説、映画
Slide 3
Slide 3 text
Copyright Hacobu, Inc. 3
はじめに
Datadog On-Callが 2025年1月に GA になりました 🎉
Slide 4
Slide 4 text
Copyright Hacobu, Inc. 4
アジェンダ
1. Datadog On-Callを選んだ理由
2. Datadog On-Callの機能紹介
3. 導入に向けてやったこと
4. 運用Tips
Slide 5
Slide 5 text
Copyright Hacobu, Inc. 5
1. Datadog On-Callを選んだ理由
● 必要な機能が揃っている
○ スケジュール機能やエスカレーションポリシー機能など
● コストパフォーマンスの良さ
○ 1ユーザあたり$25
● ツールの統一性
○ オブザーバビリティツールのDatadogに一元化
Slide 6
Slide 6 text
Copyright Hacobu, Inc. 6
2. Datadog On-Callの機能紹介
Slide 7
Slide 7 text
Copyright Hacobu, Inc. 7
通知先設定
電話、SMS、メールを通知先として設定可能
2. 機能紹介
Slide 8
Slide 8 text
Copyright Hacobu, Inc. 8
Monitorの通知先にOn-Callを指定
@oncall-{team名} で指定
2. 機能紹介
Slide 9
Slide 9 text
Copyright Hacobu, Inc. 9
スケジュール
チーム内のメンバーがOn-Callを受ける日や時間を設定することができる
例えば週や日ごとにOn-Call担当をローテーションすることが可能。またオー
バーライド機能によって一時的にOn-Call担当者を変更も可能
On-Callスケジュールをカレンダーアプリ(GoogleカレンダーやOutlook等)に
連携できる
2. 機能紹介
Slide 10
Slide 10 text
Copyright Hacobu, Inc. 10
スケジュール
一週間ごとの
ローテーション設定
をしたときのUI
2. 機能紹介
Slide 11
Slide 11 text
Copyright Hacobu, Inc. 11
エスカレーションポリシー
On-Callを受けた人が指定時間内に電話に出なかった場合、他のエンジニア
にOn-Callをエスカレーションする機能
エスカレーションポリシーでは通知先にTeam、スケジュール、ユーザ(複
数人可)を指定することができる
2. 機能紹介
Slide 12
Slide 12 text
Copyright Hacobu, Inc. 12
エスカレーションポリシー
Product-A TeamにPageがトリガーされると、
1. Product-Aのスケジュールが指定されているのでその
日のOn-Call担当者の電話が鳴る
2. 電話に出なければ3分後にPlatform Team全員に電話
を鳴らす
3. それでも誰も電話に出なければ電話に出るまで1,2の
フローを5回繰り返す
2. 機能紹介
Slide 13
Slide 13 text
Copyright Hacobu, Inc. 13
Datadog Incident Managerとの連携
Incident作成(Declare Incident)時の通知先にOn-Callを指定することがで
きる
またDatadog On-CallのPageの画面からIncident作成(Declare Incident)を
することもできる
2. 機能紹介
Slide 14
Slide 14 text
Copyright Hacobu, Inc. 14
Analytics
On-Callに関する様々なメトリクスを見るこ
とができる
たとえば、特定期間中の
・Total On-Call数
・Mean Time To Acknowledge (MTTA)
・Mean Time To Resolve (MTTR)
・On-CallされたTeamとその回数
・On-Callされたユーザとその回数
など
またこのAnalytics画面では特定のTeamで絞
り込める
2. 機能紹介
Slide 15
Slide 15 text
Copyright Hacobu, Inc. 15
手動On-Call
DatadogのOn-CallのTeamの画面から
Teamを選んでOn-Callすることができる(Pageボタン)
2. 機能紹介
Slide 16
Slide 16 text
Copyright Hacobu, Inc. 16
手動On-Call
SlackとDatadogを連携するとSlack上から
もOn-Callを実行できる
Slack上で/datadog pageもしくは/dd page
を打つと右のようなモーダルが表示され、
On-Callを実行することができる。
2. 機能紹介
Slide 17
Slide 17 text
Copyright Hacobu, Inc. 17
手動On-Callはなぜ必要？
外形監視のアラートでOn-Callは起動しますが、
重大な障害やセキュリティインシデントは検知できないことも。
そのため、Slackから即座にOn-Callを起動できる仕組みは、
初動を早めるうえで非常に重要です。
（Slackメンションだけでは通知に気づけないケースもあります）
2. 機能紹介
Slide 18
Slide 18 text
Copyright Hacobu, Inc. 18
3. 導入に向けてやったこと
Slide 19
Slide 19 text
Copyright Hacobu, Inc. 19
On-Callを実際に受けてみる
On-Callは英語音声で電話がかかってくるため慣れが必要
実際に電話を受けてAcknowledge操作までを体験する予行練習をエンジニ
ア全員に対して実施
3. 導入にむけてやったこと
1. 予行練習
Slide 20
Slide 20 text
Copyright Hacobu, Inc. 20
1. 予行練習
Slackから手動でOn-Callを実行する
/datadog page というSlackコマンドでOn-Callが実行できる。
実際にSlackからOn-Callを実行してもらいました。
なお初回はSlackとDatadogとの連携が必要。
インシデント発生時に初めて連携すると時間を食ってしまうので、予行練
習の際に連携をしてもらいました。
3. 導入にむけてやったこと
Slide 21
Slide 21 text
Copyright Hacobu, Inc. 21
2. On-Callの運用を各プロダクトチームに任せる
On-Callスケジュールやエスカレーションポリシーの設定を任せる
チームごとにどういったOn-Callスケジュールにするのか、エスカレーショ
ンポリシーをどう設定するかは各チームに任せました
On-CallのターゲットにDatadogのTeamを選択することも出来るので、
Teamメンバーの管理も各チームにお願いしました
3. 導入にむけてやったこと
Slide 22
Slide 22 text
Copyright Hacobu, Inc. 22
Teamのメンバーの変更について
Tips
3. 導入にむけてやったこと
Standard権限だと自分が所属しているTeamならメンバーの変更が可能
逆にStandard権限だと自分が所属していない他のTeamのメンバーの変更は
できない
Admin権限なら全てのTeamメンバーの変更が可能
Slide 23
Slide 23 text
Copyright Hacobu, Inc. 23
新メンバーのオンボーディングに予行練習を組み込む
プロダクトチームに新しいエンジニアが入ってきた場合、各プロダクト
チーム内でOn-Callの予行練習をしてもらうようにしました
3. 導入にむけてやったこと
2. On-Callの運用を各プロダクトチームに任せる
Slide 24
Slide 24 text
Copyright Hacobu, Inc. 24
3. On-Callに関するドキュメントを作成
● Datadog上で自分の電話番号の設定の仕方
● On-Callの電話を受け取った時の対応方法
○ 1がacknowledgeなど
● On-Callの各種機能の設定の仕方
● DatadogとSlackの連携の仕方
○ /datadog pageコマンドを実行するために必要
3. 導入にむけてやったこと
Slide 25
Slide 25 text
Copyright Hacobu, Inc. 25
4. 運用Tips
Slide 26
Slide 26 text
Copyright Hacobu, Inc. 26
Datadog On-Call電話番号をスマホに自動登録
Datadog On-Callからの電話は着信時に「アメリカからの電話」と表示される。
Datadogが使用する発信元の電話番号はいくつか存在。
Datadogのモバイルアプリ(iOS/Android)をインストールし設定を行うと、
Datadog On-Callの電話番号がスマホの連絡先に自動で登録/同期。
Set Up Your Mobile Device for Datadog On-Call
4. 運用Tips
Slide 27
Slide 27 text
Copyright Hacobu, Inc. 27
まとめ
● コストが比較的安い
● 基本的な機能は備わっている
○ まだGAになったばかりなので機能の拡充は今後に期待
● オブザーバビリティツールに統合されているので体験がよい
● On-Callの予行練習はオススメ
Slide 28
Slide 28 text
Copyright Hacobu, Inc. 28
採用情報
Hacobuではエンジニアを積極採用中です！
https://career.hacobu.jp/
Slide 29
Slide 29 text
Copyright Hacobu, Inc. 29
ご清聴ありがとうございました