ABEMAにおけるIncident_Management再設計.pdf

SRE NEXT 2026 での発表資料です。

Transcript

1. AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved 1 ABEMA における Incident Management 再設計 2026 July 10th 宮﨑 ⼤芽 SRE, Development Headquarters, AbemaTV, Inc.
2. AbemaTV, Inc. All Rights Reserved 宮﨑 大芽 ・2022年 サイバーエージェント中途入社。 ・2022年〜2024年 ABEMA バックエンドエンジニア ・2024年〜 ABEMA SRE ・2025年10月〜 ABEMA SRE EM ・2025年12月〜 CyberAgent SRE NextExpert Profile
3. AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved 3 1 ABEMA について
4. AbemaTV, Inc. All Rights Reserved
5. AbemaTV, Inc. All Rights Reserved
6. AbemaTV, Inc. All Rights Reserved 無料 すべてのひとが楽しめる ⽣中継 ライブならではの臨場感 同時性 ⽇本のイマを捉え流⾏をつくる 報道 常に新鮮なニュース 利便性 時間と場所からの開放
7. AbemaTV, Inc. All Rights Reserved ABEMA 紹介 複数デバイス対応・多彩なチャンネルラインナップ 7
8. AbemaTV, Inc. All Rights Reserved 1Q 黒字化を達成
9. AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved 9 2 発表でお話しすること
10. AbemaTV, Inc. All Rights Reserved 発表でお話しすること  お話しすること お話できないこと • 障害フロー移行後の具体的な効果 ◦ 現在移行中であるため • 既存の障害フローの課題と、再設計した定義 ・フロー・アーキテクチャ • 移行の進め方と移行し始めて感じた難しさな どの実践知 −
11. AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved 11 3 既存の障害対応とその課題
12. AbemaTV, Inc. All Rights Reserved 既存の障害対応アーキテクチャ
13. AbemaTV, Inc. All Rights Reserved 既存の障害対応フロー
14. AbemaTV, Inc. All Rights Reserved 既存の障害対応の課題 障害対応は回っている。しかし …  役割が明確では ない • 誰が指揮をとるのか不明 • 初動が遅れる • 障害の状況を誰に聞けばよいのか 不明  振り返りが定着していない • 振り返りをするかどうかはチーム次 第 • 障害での学びを活かせていない  障害時間の計測ができてい ない • 改善対応による効果測定が不可
15. AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved 15 4 障害対応の再設計
16. AbemaTV, Inc. All Rights Reserved 再設計後のゴール 役割が明確ではない  役割を定義し、素早く障害復旧できるようにする 振り返りが定着していない  ポストモーテムを運用し、学びを次の改善につなげる 障害時間の計測ができていない  MTTR を計測し、改善対応の効果を測定できるよう にする
17. AbemaTV, Inc. All Rights Reserved 障害対応の各種定義 SEV (障害重大度レベル ) • SEV の各レベル(1~3)、各レベルの内容、判断条件 を定義 IC (Incident Commander) • インシデント対応全体の責任者として IC の役割を定 義 • インシデント宣言時に IC の選定を義務化 • SEV ごとに適任の IC を定義 SEV ごとのアクション • SEV に応じた関係者の整理 • SEV ごとに取るべきアクションの定義 ◦ エスカレーション ◦ ポストモーテムの実施有無 指標 • 「障害時間」の定義を明確化 ◦ ABEMA ではユーザーに影響が発生してから復 旧するまでの時間を MTTR と定義 各種定義を見直し、 CTO・Principal と合意
18. AbemaTV, Inc. All Rights Reserved 新しい障害対応フロー (全体像) ※フロー図の全体イメージとしてご確認ください。
19. AbemaTV, Inc. All Rights Reserved 新しい障害対応フロー (一部抜粋) 整理のポイント 横軸に障害対応のフェーズ、縦軸に役割を置き、 「どのフェーズで・誰が・何をするか」を整理した。
20. AbemaTV, Inc. All Rights Reserved warroom-bot のブラッシュアップ 障害状態に応じた ICのサポート 障害フローを warroom-bot に反映。 障害状態の推移に合わせて、次のアクションや行動を促す 適切なメッセージを自動で送信。 直感的な SEV 判定フロー Slack 上のボタン選択のみで、迷うことなくスムーズにSEV （重要度・影響範囲）を判定・設定。
21. AbemaTV, Inc. All Rights Reserved インシデント管理ツールについて インシデント管理ツールの移行 PagerDuty Datadog 1. 基盤の統合 ABEMA 全体のオブザーバビリティ基盤が Datadog になり始めている 2. 指標の計測 MTTR 等の指標計測が Incident Management に組み込まれている 3. 情報の集約 アラート → インシデント → ポストモーテム まで情報集約ができる 4. 今後の展望 Bits AI の活用
22. AbemaTV, Inc. All Rights Reserved 新しい障害対応アーキテクチャ
23. AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved 23 5 移⾏について
24. AbemaTV, Inc. All Rights Reserved 移行の進め方 01 warroom-bot の改修 warroom-bot に対して、 PagerDuty、 Datadog の両 方に対応できるように新ワーク フローに沿った修正を入れる。 PagerDuty、Datadog のどち ら起因で障害対応が開始され ても、体験が変わらないことが 目的。 02 Backendの移行 以前から Datadog を利用して いる Backend から Datadog を用いた障害対応フローに移 行。 03 Datadog 設定会 Datadog の設定をしていない 開発者に対して、 Datadog 設 定会を実施。 対象者が多いため、チームご とに実施。 04 設定の移行 PagerDuty の設定を Datadog に移行。 アラートやオンコールスケ ジュールの見直しは行わず、 そのまま移行を行う方針とし た。 05 障害フローの全体移行 設定を移行し終えたチームか ら、障害フローも Datadog を 用いた障害対応フローに移 行。
25. AbemaTV, Inc. All Rights Reserved 移行し始めて分かったこと IC の設定がされないまま対応が進む いざ障害が起きると、慣れた動き方に戻る。役割を定義しただけでは、緊急時の行 動は変わらない 状態更新があまり使われない 対応の渦中では目の前の復旧が最優先。状態の更新は忘れられがち ポストモーテムを実施する動きも根付いていない 振り返りの実施は依然チーム次第のまま。障害の収束とともに対応が終わってしま う 定義やフローは明確になった、 しか し、仕組みを提供しただけでは組織に 浸透しない 今後の取り組み 移行を着実に進めつつ、形だけのルールにさせない ためのアプローチを地道に行う • 障害対応の勉強会などのトレーニング機会を提供 • ポストモーテムの実施を促す積極的な働きかけ • 障害対応者にヒアリングしながら、仕組み自体もブラッ シュアップ
26. AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved 26 6 おまけ：障害対応での AI 活⽤
27. AbemaTV, Inc. All Rights Reserved 障害対応での AI 活用 • warroom の要約とチャンネル内の主要スレッ ドのリストアップ ◦ 途中で障害へ参加した人が、すぐに キャッチアップできることが目的 • Bits AI を使った一次調査 ◦ Bits Chat をよく利用 ◦ 数十秒で調査を行い回答 ◦ 回答精度もかなり高く、障害調査の時 間短縮に貢献 • ポストモーテムの生成 ◦ ほぼ活用されていない
28. AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved 28 7 まとめ
29. AbemaTV, Inc. All Rights Reserved まとめ • なぜ障害フローを再設計したのか ◦ 役割が明確ではない ◦ 振り返りが定着していない ◦ 障害時間の計測ができていない • どのように再設計したか ◦ 障害対応における各定義を明確にした ◦ SEV、役割、指標 ◦ フローを定義し、 warroom-bot による仕組み化 • 移行してわかったこと ◦ 仕組み提供だけでなく、組織文化への浸透と継続的なブラッシュアップが重要 より良い Incident Management を⽬指す！！
30. AbemaTV, Inc. All Rights Reserved