Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
インシデントコマンダーやってみた
Search
Hayato Kawai
February 22, 2024
5
1.1k
インシデントコマンダーやってみた
「ゆるSRE勉強会 #4」の LT 資料です。
https://yuru-sre.connpass.com/event/306649/
Hayato Kawai
February 22, 2024
Tweet
Share
More Decks by Hayato Kawai
See All by Hayato Kawai
Datadog Network Monitoring を活用して NAT Gateway 課金を 80 % 削減した話
fohte
2
480
Trace Metrics と Istio Metrics でサービス健全性を監視する
fohte
0
390
段階的リリースを実現する kube canary
fohte
1
170
巨大 tfstate に立ち向かう技術
fohte
1
490
RubyKaigi で LT 初登壇したきっかけと感想
fohte
1
1.2k
Datadog Logs を活用して SLO 監視基盤を構築する
fohte
3
2.1k
The Journey of rubocop-daemon into RuboCop
fohte
1
1.3k
Ruby as Shell script
fohte
1
600
rubocop-daemon 裏話: OSS の苦悩
fohte
2
670
Featured
See All Featured
The Language of Interfaces
destraynor
158
25k
Bash Introduction
62gerente
614
210k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.3k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Faster Mobile Websites
deanohume
307
31k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Rails Girls Zürich Keynote
gr2m
94
14k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.8k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Transcript
© 2024 Wantedly, Inc. インシデントコマンダーやってみた ゆるSRE勉強会 #4 2024-02-22 Hayato Kawai
(@fohte)
© 2024 Wantedly, Inc. あなた誰 名前: @fohte (ふぉーて) 川井 颯人
(Hayato Kawai) 所属: ウォンテッドリー株式会社 趣味: 🎮 🎹
© 2024 Wantedly, Inc. 障害対応どうしてますか?
© 2024 Wantedly, Inc. 今日伝えたいこと • 障害対応訓練には価値がある ◦ 障害対応訓練によってインシデント対応のハードルが下がった ◦
インシデントコマンダーもやればできる
© 2024 Wantedly, Inc. ウォンテッドリーの障害対応文化 https://speakerdeck.com/irotoris/wantedly-incident-commander
© 2024 Wantedly, Inc. 三行まとめ • 障害対応の Slack #war_room に通知がくると
わらわらと人が集まる • 失敗を許す文化 • インシデントコマンダーは難しいので備えよう
© 2024 Wantedly, Inc. エスカレーションフロー システム ユーザー カスタマーサポート プロダクト開発チーム /基盤チーム
オンコール担当 #war_room #alert 重大なアラートの み PD へ 問題が大きい 場合はエスカレ/招集
© 2024 Wantedly, Inc. 障害対応の心構え - Wantedly Engineering Hanbook https://docs.wantedly.dev/introduction/incident
© 2024 Wantedly, Inc. 現状の課題 • インシデントコマンダーを やる人が固定化されている ◦ 長く在籍
&& コンテキスト理解が深いメン バーが対応している ◦ 開発チームでインシデントコマンダーがで きる人は 1 割ほど ▪ 障害対応の経験自体が全体の 3 割ほ ど
© 2024 Wantedly, Inc. 障害対応訓練はじめました • 障害対応訓練の取り組みを始めました ◦ 年末、2 月で現在
2 回開催。今後も毎月開催予定 ◦ この障害対応訓練でインシデントコマンダーをやってみた
© 2024 Wantedly, Inc. 障害対応訓練でインシデントコマンダーやりました • インシデントコマンダーはなにをやる? ◦ 対応メンバーの招集 ▪
(障害訓練ではあらかじめすでに集まっている ) ◦ やるべきこと判断 ▪ 何から進めるか ▪ どこを調べていくか ▪ どう対応するか ◦ 対応メンバーに対する、役割・仕事のアサイン ▪ 例: ユーザーアナウンスは xx さんに任せました ▪ 例: 今手空いている人は ? => xx さんにこのあたりを調べてほしい ▪ メンバーには対応に集中してもらえるようにする
© 2024 Wantedly, Inc. 障害対応訓練の感想 • 👍 障害対応のハードルが下がった ◦ 今まで:
出る幕がなさそうと感じていた ▪ 詳しそうなメンバーが集まっているし … ▪ 自分が何手伝えるのか分からないし … ◦ 今: 自分も役に立てる & 何やれば良いかが分かった ▪ 他メンバーからも同様の感想をもらった • 🤔 リモートだと混線する ◦ Slack huddle で対応者が集まって通話している ◦ 同時に 1 つの話題しか話せない
© 2024 Wantedly, Inc. 障害対応訓練でインシデントコマンダーやった感想 • 👍 意外とできる ◦ 本番でもできそう
• 🤔 自分で手を動かしてしまう ◦ 🤔 障害対応メンバーの中で自分が詳しい領域は、自分で手を動かしてしまう ◦ => こうなったらインシデントコマンダーを他の人にパスする のが良さそう
© 2024 Wantedly, Inc. 今日伝えたいこと • 障害対応訓練には価値がある ◦ その障害訓練によってインシデント対応のハードルが下がった ◦
インシデントコマンダーもやればできる
© 2024 Wantedly, Inc. https://www.wantedly.com/projects/522096