Slide 1

Slide 1 text

© 2024 Wantedly, Inc. インシデントコマンダーやってみた ゆるSRE勉強会 #4 2024-02-22 Hayato Kawai (@fohte)

Slide 2

Slide 2 text

© 2024 Wantedly, Inc. あなた誰 名前: @fohte (ふぉーて) 川井 颯人 (Hayato Kawai) 所属: ウォンテッドリー株式会社 趣味: 🎮 🎹

Slide 3

Slide 3 text

© 2024 Wantedly, Inc. 障害対応どうしてますか?

Slide 4

Slide 4 text

© 2024 Wantedly, Inc. 今日伝えたいこと ● 障害対応訓練には価値がある ○ 障害対応訓練によってインシデント対応のハードルが下がった ○ インシデントコマンダーもやればできる

Slide 5

Slide 5 text

© 2024 Wantedly, Inc. ウォンテッドリーの障害対応文化 https://speakerdeck.com/irotoris/wantedly-incident-commander

Slide 6

Slide 6 text

© 2024 Wantedly, Inc. 三行まとめ ● 障害対応の Slack #war_room に通知がくると わらわらと人が集まる ● 失敗を許す文化 ● インシデントコマンダーは難しいので備えよう

Slide 7

Slide 7 text

© 2024 Wantedly, Inc. エスカレーションフロー システム ユーザー カスタマーサポート プロダクト開発チーム /基盤チーム オンコール担当 #war_room #alert 重大なアラートの み PD へ 問題が大きい 場合はエスカレ/招集

Slide 8

Slide 8 text

© 2024 Wantedly, Inc. 障害対応の心構え - Wantedly Engineering Hanbook https://docs.wantedly.dev/introduction/incident

Slide 9

Slide 9 text

© 2024 Wantedly, Inc. 現状の課題 ● インシデントコマンダーを やる人が固定化されている ○ 長く在籍 && コンテキスト理解が深いメン バーが対応している ○ 開発チームでインシデントコマンダーがで きる人は 1 割ほど ■ 障害対応の経験自体が全体の 3 割ほ ど

Slide 10

Slide 10 text

© 2024 Wantedly, Inc. 障害対応訓練はじめました ● 障害対応訓練の取り組みを始めました ○ 年末、2 月で現在 2 回開催。今後も毎月開催予定 ○ この障害対応訓練でインシデントコマンダーをやってみた

Slide 11

Slide 11 text

© 2024 Wantedly, Inc. 障害対応訓練でインシデントコマンダーやりました ● インシデントコマンダーはなにをやる? ○ 対応メンバーの招集 ■ (障害訓練ではあらかじめすでに集まっている ) ○ やるべきこと判断 ■ 何から進めるか ■ どこを調べていくか ■ どう対応するか ○ 対応メンバーに対する、役割・仕事のアサイン ■ 例: ユーザーアナウンスは xx さんに任せました ■ 例: 今手空いている人は ? => xx さんにこのあたりを調べてほしい ■ メンバーには対応に集中してもらえるようにする

Slide 12

Slide 12 text

© 2024 Wantedly, Inc. 障害対応訓練の感想 ● 👍 障害対応のハードルが下がった ○ 今まで: 出る幕がなさそうと感じていた ■ 詳しそうなメンバーが集まっているし … ■ 自分が何手伝えるのか分からないし … ○ 今: 自分も役に立てる & 何やれば良いかが分かった ■ 他メンバーからも同様の感想をもらった ● 🤔 リモートだと混線する ○ Slack huddle で対応者が集まって通話している ○ 同時に 1 つの話題しか話せない

Slide 13

Slide 13 text

© 2024 Wantedly, Inc. 障害対応訓練でインシデントコマンダーやった感想 ● 👍 意外とできる ○ 本番でもできそう ● 🤔 自分で手を動かしてしまう ○ 🤔 障害対応メンバーの中で自分が詳しい領域は、自分で手を動かしてしまう ○ => こうなったらインシデントコマンダーを他の人にパスする のが良さそう

Slide 14

Slide 14 text

© 2024 Wantedly, Inc. 今日伝えたいこと ● 障害対応訓練には価値がある ○ その障害訓練によってインシデント対応のハードルが下がった ○ インシデントコマンダーもやればできる

Slide 15

Slide 15 text

© 2024 Wantedly, Inc. https://www.wantedly.com/projects/522096