Upgrade to Pro — share decks privately, control downloads, hide ads and more …

インシデントコマンダーやってみた

Hayato Kawai
February 22, 2024
870

 インシデントコマンダーやってみた

「ゆるSRE勉強会 #4」の LT 資料です。
https://yuru-sre.connpass.com/event/306649/

Hayato Kawai

February 22, 2024
Tweet

Transcript

  1. © 2024 Wantedly, Inc. あなた誰 名前: @fohte (ふぉーて) 川井 颯人

    (Hayato Kawai) 所属: ウォンテッドリー株式会社 趣味: 🎮 🎹
  2. © 2024 Wantedly, Inc. 三行まとめ • 障害対応の Slack #war_room に通知がくると

    わらわらと人が集まる • 失敗を許す文化 • インシデントコマンダーは難しいので備えよう
  3. © 2024 Wantedly, Inc. エスカレーションフロー システム ユーザー カスタマーサポート プロダクト開発チーム /基盤チーム

    オンコール担当 #war_room #alert 重大なアラートの み PD へ 問題が大きい 場合はエスカレ/招集
  4. © 2024 Wantedly, Inc. 現状の課題 • インシデントコマンダーを やる人が固定化されている ◦ 長く在籍

    && コンテキスト理解が深いメン バーが対応している ◦ 開発チームでインシデントコマンダーがで きる人は 1 割ほど ▪ 障害対応の経験自体が全体の 3 割ほ ど
  5. © 2024 Wantedly, Inc. 障害対応訓練はじめました • 障害対応訓練の取り組みを始めました ◦ 年末、2 月で現在

    2 回開催。今後も毎月開催予定 ◦ この障害対応訓練でインシデントコマンダーをやってみた
  6. © 2024 Wantedly, Inc. 障害対応訓練でインシデントコマンダーやりました • インシデントコマンダーはなにをやる? ◦ 対応メンバーの招集 ▪

    (障害訓練ではあらかじめすでに集まっている ) ◦ やるべきこと判断 ▪ 何から進めるか ▪ どこを調べていくか ▪ どう対応するか ◦ 対応メンバーに対する、役割・仕事のアサイン ▪ 例: ユーザーアナウンスは xx さんに任せました ▪ 例: 今手空いている人は ? => xx さんにこのあたりを調べてほしい ▪ メンバーには対応に集中してもらえるようにする
  7. © 2024 Wantedly, Inc. 障害対応訓練の感想 • 👍 障害対応のハードルが下がった ◦ 今まで:

    出る幕がなさそうと感じていた ▪ 詳しそうなメンバーが集まっているし … ▪ 自分が何手伝えるのか分からないし … ◦ 今: 自分も役に立てる & 何やれば良いかが分かった ▪ 他メンバーからも同様の感想をもらった • 🤔 リモートだと混線する ◦ Slack huddle で対応者が集まって通話している ◦ 同時に 1 つの話題しか話せない
  8. © 2024 Wantedly, Inc. 障害対応訓練でインシデントコマンダーやった感想 • 👍 意外とできる ◦ 本番でもできそう

    • 🤔 自分で手を動かしてしまう ◦ 🤔 障害対応メンバーの中で自分が詳しい領域は、自分で手を動かしてしまう ◦ => こうなったらインシデントコマンダーを他の人にパスする のが良さそう