個人からチームへ — 障害対応体制づくりの第一歩

Transcript

1. 個⼈からチームへ — 障害対応体制づくりの第⼀歩 Shota Okunaka @okkun_sh 2025-10-23 第48回関⻄PHP勉強会
2. ⾃⼰紹介 • 奥中 将太 (okkun_sh) ◦ X: @okkun_sh ◦ GitHub: @okkun-sh • 所属 ◦ akippa 株式会社 System Infra Team (2024年10⽉⼊社)
3. 話すこと • 当時の課題 - 属⼈化した障害対応体制 • 課題解決に向けたアプローチ ◦ インフラとアプリケーション開発分業の壁に対するアプローチ ◦ 個々の気づきに委ねられたアラート (Slack) の運⽤体制に対するアプローチ • 結果と今後の課題
4. 障害対応していますか？
5. 当時の課題 - 属⼈化した障害対応体制 2024年末時点、障害解決まで対応できる⼈が限られており、属⼈化していた • 背景 / 要因 ◦ インフラとアプリケーション開発分業の壁 ▪ インフラのナレッジ不⾜ ◦ 個々の気づきに委ねられたアラート (Slack) の運⽤体制 ▪ 反応する⼈が偏ってしまう ▪ そもそも Slack 通知だと気づかないことも多い
6. 個⼈ではなくチームで障害対応ができる体制を作ろう
7. 課題解決に向けたアプローチ • インフラとアプリケーション開発分業の壁 ◦ 頻繁に⾏うオペレーションのドキュメント化やエラーログの⾒⽅の共有 ◦ 障害対応予⾏練習 ◦ 適切なインフラ権限付与 ◦ アラート振り返り会の実施 ◦ 障害対応以外でインフラを触る機会を増やす • 個々の気づきに委ねられたアラート (Slack) の運⽤体制 ◦ PagerDuty 導⼊によるオンコール体制の構築
8. インフラとアプリケーション開発分業の壁に対するアプローチ (1) • 頻繁に⾏うオペレーションのドキュメント化やエラーログの⾒⽅の共有 ◦ 原因の深掘りができておらず、その場対応の復旧⼿順をドキュメント化 ◦ エラーログの検索クエリの準備や⾒⽅の共有 • 障害対応予⾏練習 ◦ テスト環境で意図的にアラートを発⽕させ、マニュアルに沿って解決をしてもらう • 適切なインフラ権限付与 ◦ 最低限のオペレーションができる範囲で少しずつインフラ権限を付与
9. インフラとアプリケーション開発分業の壁に対するアプローチ (2) • アラート振り返り会の実施 ◦ ⽬的: ナレッジ共有、再発防⽌策、監視内容の検討、対応プロセスの改善 ◦ 頻度: 1時間 / ⽉ ◦ ⽅法: 前⽉に発⽣したアラートの内容、対応⽅法を当番制でまとめて、共有する • 障害対応以外でインフラを触る機会を増やす ◦ サーバ増強作業などの運⽤が必要な場合、巻き込みながら⼀緒に作業をする
10. 個々の気づきに委ねられたアラート (Slack) の運⽤体制に対するアプローチ • PagerDuty 導⼊によるオンコール体制の構築 ◦ 週替わりでオンコール担当を設定 1週⽬ A → B → C 2週⽬ B → C → A ◦ ベストエフォートで運⽤ 当番週に常時対応できる必要はない ◦ 困ったら迷わずエスカレーション
11. 結果と今後の課題 • 結果 ◦ 属⼈化の解消が進み、チームとして障害対応できる体制が整いつつある • 今後の課題 ◦ 継続的なアラートの条件⾒直し ◦ 頻発する根深い課題の根本解決 ◦ アラート振り返り会を改善活動につなげられる形での再設計
12. おわり