ABEMAにおけるIncident_Management再設計

by Miyazaki Taiga

Embed

Start on current slide

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

AbemaTV, Inc. All Rights Reserved 既存の障害対応の課題障害対応は回っている。しかし …  役割が明確ではない ● 誰が指揮をとるのか不明 ● 初動が遅れる ● 障害の状況を誰に聞けばよいのか不明  振り返りが定着していない ● 振り返りをするかどうかはチーム次第 ● 障害での学びを活かせていない  障害時間の計測ができていない ● 改善対応による効果測定が不可

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

AbemaTV, Inc. All Rights Reserved 障害対応の各種定義 SEV (障害重大度レベル ) ● SEV の各レベル(1~3)、各レベルの内容、判断条件を定義 IC (Incident Commander) ● インシデント対応全体の責任者として IC の役割を定義 ● インシデント宣言時に IC の選定を義務化 ● SEV ごとに適任の IC を定義 SEV ごとのアクション ● SEV に応じた関係者の整理 ● SEV ごとに取るべきアクションの定義 ○ エスカレーション ○ ポストモーテムの実施有無指標 ● 「障害時間」の定義を明確化 ○ ABEMA ではユーザーに影響が発生してから復旧するまでの時間を MTTR と定義各種定義を見直し、 CTO・Principal と合意

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

AbemaTV, Inc. All Rights Reserved warroom-bot のブラッシュアップ 障害状態に応じた ICのサポート障害フローを warroom-bot に反映。障害状態の推移に合わせて、次のアクションや行動を促す適切なメッセージを自動で送信。 直感的な SEV 判定フロー Slack 上のボタン選択のみで、迷うことなくスムーズにSEV （重要度・影響範囲）を判定・設定。

Slide 21

Slide 21 text

AbemaTV, Inc. All Rights Reserved インシデント管理ツールについてインシデント管理ツールの移行 PagerDuty Datadog 1. 基盤の統合 ABEMA 全体のオブザーバビリティ基盤が Datadog になり始めている 2. 指標の計測 MTTR 等の指標計測が Incident Management に組み込まれている 3. 情報の集約アラート → インシデント → ポストモーテムまで情報集約ができる 4. 今後の展望 Bits AI の活用

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

AbemaTV, Inc. All Rights Reserved 移行の進め方 01 warroom-bot の改修 warroom-bot に対して、 PagerDuty、 Datadog の両方に対応できるように新ワークフローに沿った修正を入れる。 PagerDuty、Datadog のどちら起因で障害対応が開始されても、体験が変わらないことが目的。 02 Backendの移行以前から Datadog を利用している Backend から Datadog を用いた障害対応フローに移行。 03 Datadog 設定会 Datadog の設定をしていない開発者に対して、 Datadog 設定会を実施。対象者が多いため、チームごとに実施。 04 設定の移行 PagerDuty の設定を Datadog に移行。アラートやオンコールスケジュールの見直しは行わず、そのまま移行を行う方針とした。 05 障害フローの全体移行設定を移行し終えたチームから、障害フローも Datadog を用いた障害対応フローに移行。

Slide 25

Slide 25 text

AbemaTV, Inc. All Rights Reserved 移行し始めて分かったこと IC の設定がされないまま対応が進むいざ障害が起きると、慣れた動き方に戻る。役割を定義しただけでは、緊急時の行動は変わらない状態更新があまり使われない対応の渦中では目の前の復旧が最優先。状態の更新は忘れられがちポストモーテムを実施する動きも根付いていない振り返りの実施は依然チーム次第のまま。障害の収束とともに対応が終わってしまう定義やフローは明確になった、しかし、仕組みを提供しただけでは組織に浸透しない今後の取り組み移行を着実に進めつつ、形だけのルールにさせないためのアプローチを地道に行う ● 障害対応の勉強会などのトレーニング機会を提供 ● ポストモーテムの実施を促す積極的な働きかけ ● 障害対応者にヒアリングしながら、仕組み自体もブラッシュアップ

Slide 26

Slide 26 text

Slide 27

Slide 27 text

AbemaTV, Inc. All Rights Reserved 障害対応での AI 活用 ● warroom の要約とチャンネル内の主要スレッドのリストアップ ○ 途中で障害へ参加した人が、すぐにキャッチアップできることが目的 ● Bits AI を使った一次調査 ○ Bits Chat をよく利用 ○ 数十秒で調査を行い回答 ○ 回答精度もかなり高く、障害調査の時間短縮に貢献 ● ポストモーテムの生成 ○ ほぼ活用されていない

Slide 28

Slide 28 text

Slide 29

Slide 29 text

AbemaTV, Inc. All Rights Reserved まとめ ● なぜ障害フローを再設計したのか ○ 役割が明確ではない ○ 振り返りが定着していない ○ 障害時間の計測ができていない ● どのように再設計したか ○ 障害対応における各定義を明確にした ○ SEV、役割、指標 ○ フローを定義し、 warroom-bot による仕組み化 ● 移行してわかったこと ○ 仕組み提供だけでなく、組織文化への浸透と継続的なブラッシュアップが重要より良い Incident Management を⽬指す！！

Slide 30

Slide 30 text