事業の成長と共に歩む、ABEMA SRE探求の歴史 / SRE-Next 2022

by Yusuke Iwanaga

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  SREチーム発足の背景 19 1. 24時間番組表にそったリニア配信   👉 障害時のインパクトが大きい   👉 リクエストの波が激しい   2. インターネット動画配信サービス   👉 通信トラフィックが多い   3. 様々なデバイスでの視聴   👉 デバイスに応じた品質管理   サービス運用の特性 

Slide 20

Slide 20 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  SREチーム発足の背景 20 サービス運用の特性  1. サービスの成長  2. 組織規模の拡大  3. システムの巨大化  事業  1. 24時間番組表にそったリニア配信   👉 障害時のインパクトが大きい   👉 リクエストの波が激しい   2. インターネット動画配信サービス   👉 通信トラフィックが多い   3. 様々なデバイスでの視聴   👉 デバイスに応じた品質管理  

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  SRE プラクティスの導入② 28 Production Readiness Checklistの作成  ■ 狙い  ■ 項目 1. SLI/SLOの設定を開発プロセスに含める   2. 本番環境での運用品質の担保   3. リリースコストの把握・軽減  1. サービスレベル  2. ドキュメント  3. モニタリング・アラート  4. 耐障害性  5. スケーラビリティ 

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  2021年からの体制 39 Frontend Backend Platform Product B Product C TeamA TeamB TeamC TeamD Product A Frontend SRE’s Backend SRE’s SRE Cloud Platform ● 既存SRE’s一部メンバーをCloudPlatformと専属SRE’sに役割変更 ● Frontendチームの一部メンバーがSREの役割も担う

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  活動事例①: SLI/SLOの先導 42 1. CUJのヒアリング  2. SLI/SLOの設計  3. SLO Documentの作成   4. 開発チームレビュー   5. 可視化 & アラート設定   6. 定期的な確認 & 見直し   改善  Alertman ager k8s  manifest 1. リクエスト数の少ないサービスでのアラート  2. 新しい計測手法の導入   3. 設定の簡略化  活動 

Slide 43

Slide 43 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  活動事例①: SLI/SLOの先導 43 活動  1. CUJのヒアリング  2. SLI/SLOの設計  3. SLO Documentの作成   4. 開発チームレビュー   5. 可視化 & アラート設定   6. 定期的な確認 & 見直し   改善  Alertman ager k8s  manifest 1. リクエスト数の少ないサービスでのアラート  2. 新しい計測手法の導入   3. 設定の簡略化  効果  1. サービス全体を俯瞰して品質が把握出来るようになった  2. 様々なActionの判断基準になった  3. 長期的な劣化結果傾向を把握出来るようになった  

Slide 44

Slide 44 text

Slide 45

Slide 45 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  活動事例② インシデントへの参加 45 レベル  内容  アクション  SEV-1  重大な影響  SEV-2 部分的な影響  SEV-3  限定的な影響改善  活動  1. インシデントへの参加   2. ポストモーテムの先導   1. インシデントフローの見直し   2. 障害レベルの設定  3. 障害を先導するBotの開発   Warroomの作成  各種関連リンクの投稿  After Incidentの先導 

Slide 46

Slide 46 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  活動事例② インシデントへの参加 46 レベル  内容  アクション  SEV-1  重大な影響  SEV-2 部分的な影響  SEV-3  限定的な影響改善  効果  活動  1. インシデントへの参加   2. ポストモーテムの先導   1. インシデントフローの見直し   2. 障害レベルの設定  3. 障害を先導するBotの開発   Warroomの作成  各種関連リンクの投稿  After Incidentの先導  1. 新たなの課題の発掘   2. チームを跨いだ連携が強化   3. 全体で障害に対する練度の向上 

Slide 47

Slide 47 text

Slide 48

Slide 48 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  活動事例③ モニタリング課題の解決 48 改善  活動  1. フロントエンドにおけるモニタリングの要件整理  2. 各PoCの実施  3. ソリューションの導入   1. 監視領域の品質表作成   2. 各デバイスごとの評価   3. 改善の実施・先導  SaaS 型のオブザーバビリティプラットフォーム   レベルアクション 1 重要メトリクスの可視化 2 ログの可視化 3 アラートの設定 4 インシデントフローの整理・・・

Slide 49

Slide 49 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  活動事例③ モニタリング課題の解決 49 改善  効果  活動  1. フロントエンドにおけるモニタリングの要件整理  2. 各PoCの実施  3. ソリューションの導入   1. 監視領域の品質表作成   2. 各デバイスごとの評価   3. 改善の実施・先導  1. クライアント領域での監視体勢の強化  2. 影響範囲の明確化  SaaS 型のオブザーバビリティプラットフォーム   レベルアクション 1 重要メトリクスの可視化 2 ログの可視化 3 アラートの設定 4 インシデントフローの整理・・・

Slide 50

Slide 50 text

Slide 51

Slide 51 text

AbemaTV, Inc. All Rights Reserved  AbemaTV, Inc. All Rights Reserved  振り返ってみて 51 良かった点    ● SREプラクティスの導入効率の向上   ● サービスドメイン理解の向上  ● 開発チームとの連携強化  ● チーム間でのナレッジ共有頻度向上   苦労した点    ● サービスドメインの理解  ● 新たなスキルセットの習得  ● コミュニケーションスキルの獲得    