Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
インシデントコマンダーやってみた
Search
Hayato Kawai
February 22, 2024
5
1.1k
インシデントコマンダーやってみた
「ゆるSRE勉強会 #4」の LT 資料です。
https://yuru-sre.connpass.com/event/306649/
Hayato Kawai
February 22, 2024
Tweet
Share
More Decks by Hayato Kawai
See All by Hayato Kawai
Datadog Network Monitoring を活用して NAT Gateway 課金を 80 % 削減した話
fohte
2
600
Trace Metrics と Istio Metrics でサービス健全性を監視する
fohte
0
450
段階的リリースを実現する kube canary
fohte
1
190
巨大 tfstate に立ち向かう技術
fohte
1
800
RubyKaigi で LT 初登壇したきっかけと感想
fohte
1
1.2k
Datadog Logs を活用して SLO 監視基盤を構築する
fohte
3
2.4k
The Journey of rubocop-daemon into RuboCop
fohte
1
1.4k
Ruby as Shell script
fohte
2
630
rubocop-daemon 裏話: OSS の苦悩
fohte
4
690
Featured
See All Featured
The Language of Interfaces
destraynor
160
25k
Testing 201, or: Great Expectations
jmmastey
45
7.6k
Six Lessons from altMBA
skipperchong
28
4k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.6k
GitHub's CSS Performance
jonrohan
1031
460k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Become a Pro
speakerdeck
PRO
29
5.5k
Building Adaptive Systems
keathley
43
2.7k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Faster Mobile Websites
deanohume
309
31k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
Transcript
© 2024 Wantedly, Inc. インシデントコマンダーやってみた ゆるSRE勉強会 #4 2024-02-22 Hayato Kawai
(@fohte)
© 2024 Wantedly, Inc. あなた誰 名前: @fohte (ふぉーて) 川井 颯人
(Hayato Kawai) 所属: ウォンテッドリー株式会社 趣味: 🎮 🎹
© 2024 Wantedly, Inc. 障害対応どうしてますか?
© 2024 Wantedly, Inc. 今日伝えたいこと • 障害対応訓練には価値がある ◦ 障害対応訓練によってインシデント対応のハードルが下がった ◦
インシデントコマンダーもやればできる
© 2024 Wantedly, Inc. ウォンテッドリーの障害対応文化 https://speakerdeck.com/irotoris/wantedly-incident-commander
© 2024 Wantedly, Inc. 三行まとめ • 障害対応の Slack #war_room に通知がくると
わらわらと人が集まる • 失敗を許す文化 • インシデントコマンダーは難しいので備えよう
© 2024 Wantedly, Inc. エスカレーションフロー システム ユーザー カスタマーサポート プロダクト開発チーム /基盤チーム
オンコール担当 #war_room #alert 重大なアラートの み PD へ 問題が大きい 場合はエスカレ/招集
© 2024 Wantedly, Inc. 障害対応の心構え - Wantedly Engineering Hanbook https://docs.wantedly.dev/introduction/incident
© 2024 Wantedly, Inc. 現状の課題 • インシデントコマンダーを やる人が固定化されている ◦ 長く在籍
&& コンテキスト理解が深いメン バーが対応している ◦ 開発チームでインシデントコマンダーがで きる人は 1 割ほど ▪ 障害対応の経験自体が全体の 3 割ほ ど
© 2024 Wantedly, Inc. 障害対応訓練はじめました • 障害対応訓練の取り組みを始めました ◦ 年末、2 月で現在
2 回開催。今後も毎月開催予定 ◦ この障害対応訓練でインシデントコマンダーをやってみた
© 2024 Wantedly, Inc. 障害対応訓練でインシデントコマンダーやりました • インシデントコマンダーはなにをやる? ◦ 対応メンバーの招集 ▪
(障害訓練ではあらかじめすでに集まっている ) ◦ やるべきこと判断 ▪ 何から進めるか ▪ どこを調べていくか ▪ どう対応するか ◦ 対応メンバーに対する、役割・仕事のアサイン ▪ 例: ユーザーアナウンスは xx さんに任せました ▪ 例: 今手空いている人は ? => xx さんにこのあたりを調べてほしい ▪ メンバーには対応に集中してもらえるようにする
© 2024 Wantedly, Inc. 障害対応訓練の感想 • 👍 障害対応のハードルが下がった ◦ 今まで:
出る幕がなさそうと感じていた ▪ 詳しそうなメンバーが集まっているし … ▪ 自分が何手伝えるのか分からないし … ◦ 今: 自分も役に立てる & 何やれば良いかが分かった ▪ 他メンバーからも同様の感想をもらった • 🤔 リモートだと混線する ◦ Slack huddle で対応者が集まって通話している ◦ 同時に 1 つの話題しか話せない
© 2024 Wantedly, Inc. 障害対応訓練でインシデントコマンダーやった感想 • 👍 意外とできる ◦ 本番でもできそう
• 🤔 自分で手を動かしてしまう ◦ 🤔 障害対応メンバーの中で自分が詳しい領域は、自分で手を動かしてしまう ◦ => こうなったらインシデントコマンダーを他の人にパスする のが良さそう
© 2024 Wantedly, Inc. 今日伝えたいこと • 障害対応訓練には価値がある ◦ その障害訓練によってインシデント対応のハードルが下がった ◦
インシデントコマンダーもやればできる
© 2024 Wantedly, Inc. https://www.wantedly.com/projects/522096