30時間限界突破フェスに向 けた SRE の取り組み

Road To SRE NEXT 2026 @仙台 の発表内容です。

Transcript

1. AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved 1 30時間限界突破フェスに向 けた SRE の取り組み 2026 April 11th 宮﨑 大芽
2. AbemaTV, Inc. All Rights Reserved 宮﨑 大芽 ・2022年 サイバーエージェント中途入社。 ・2022年〜2024年 ABEMA バックエンドエンジニア ・2024年〜現在 ABEMA SRE (2025年10月から EM を務める) ・2025年12月〜現在 SRE NextExpert 2 Profile
3. AbemaTV, Inc. All Rights Reserved 3 1. ABEMAについて 2. 「30時間限界突破フェス」について 3. 取り組みの全体像 a. 環境構築 b. 負荷試験 c. 障害対策 d. VWR e. リソース調整 4. 振り返り 5. まとめ INDEX
4. AbemaTV, Inc. All Rights Reserved ABEMAについて 4
5. AbemaTV, Inc. All Rights Reserved ABEMAについて 登録不要で、いつでも無料で楽しめる 24時間365日編成されているリニア配信と 見逃した作品を好きなタイミングでオンデマンドでも楽しむこともできます。 国内最大級のオリジナルエピソード数 オリジナルエピソード数は国内発の動画サービスで日本No.1(※)を誇り、 注目の新作映画、国内外の人気ドラマ、話題のアニメなど豊富なラインナップの作品や、 様々な音楽や舞台のオンラインライブも展開。 ※2024年8月時点、自社調べ 100%プロコンテンツ サイバーエージェントとテレビ朝日 それぞれの強みを活かした制作体制で高品質なコンテンツを配信しています。 多彩なラインナップ 24時間編成のニュース専門チャンネルをはじめ、 オリジナルのドラマや恋愛番組、アニメ、スポーツなど、 多彩なジャンルの約25チャンネルを24時間365日放送しています。 5
6. AbemaTV, Inc. All Rights Reserved ABEMA 紹介 複数デバイス対応・多彩なチャンネルラインナップ 6
7. AbemaTV, Inc. All Rights Reserved 2025 年 4 月 2,892 万 WAU 3,408 2,892
8. AbemaTV, Inc. All Rights Reserved 「30時間限界突破フェス」について 8
9. AbemaTV, Inc. All Rights Reserved 「30時間限界突破フェス」について 9
10. AbemaTV, Inc. All Rights Reserved 「30時間限界突破フェス」について 10 • 大規模な同時接続数 • 地上波からの呼び込みによる スパイク 想定される負荷 • 想定される負荷を捌き、問題なく番組を届けること 要件 準備期間はわずか 1ヶ月 番組の詳細が降りてきたのは放送の約 1ヶ月前
11. AbemaTV, Inc. All Rights Reserved 取り組みの全体像 11
12. AbemaTV, Inc. All Rights Reserved 取り組みの全体像 12 想定スケジュール W1 W2 W3 W4 環境構築 環境構築・シナリオ 負荷試験 負荷試験 実施 障害試験 障害試験 VWR + リソース 閾値・リソース調整 放送日
13. AbemaTV, Inc. All Rights Reserved 環境構築 13
14. AbemaTV, Inc. All Rights Reserved 環境構築 14 • SRE NEXT 2025 で発表したマルチテナント型の負荷試験基盤を活用して、本番相当のインフラ構築の工 数を削減 • データベースも複製し、高トラフィックの試験をしても既存環境に影響が出ない方法を選択 https://speakerdeck.com/mk2taiga/abemanoben-fan-huan-jing-fu-he-shi-yan-henotiao-zhan?slide=15
15. AbemaTV, Inc. All Rights Reserved 環境構築 15 シナリオ作成 • 通常利用（既存） の負荷はメトリクスを元に生成 • 流入+視聴の負荷 は Datadog RUM → Pup CLI + Claude → k6 の流れで実際のユーザーシーケン スでシナリオを作成 通常利用（既存） 流入 流入 視聴 視聴 流入 視聴
16. AbemaTV, Inc. All Rights Reserved 負荷試験 16
17. AbemaTV, Inc. All Rights Reserved 負荷試験 17 実施・監視 • 負荷リクエスト用のクラスタから、 k6 を実行 • 全てのリソースを確認できるダッシュボードを Datadog で作成 • アノテーションを使って、メトリクス上で負荷試験に関するメモを記述
18. AbemaTV, Inc. All Rights Reserved 障害対策 18
19. AbemaTV, Inc. All Rights Reserved • Istio の Fault Injection を利用して障害試験を実施 • 通信遮断 ◦ システム全体が連動して障害となる可能性 • 通信遅延 ◦ レスポンスを待機することによりリクエストが 滞留し OOM となる可能性 障害試験 障害対策 19 • 主要サービスを一覧化 • 小さく壊れることを目的 として、タイムアウト・リトライ の調整 • ドメイン知識のあるバックエンドメンバーと共に対応 タイムアウト・リトライの調整
20. AbemaTV, Inc. All Rights Reserved VWR 20
21. AbemaTV, Inc. All Rights Reserved VWR 21 • Cloudflare Waiting Room を利用 • アクティブユーザー数、ジョインレートで制限 ◦ アクティブユーザー数、ジョインレートの閾値は過去の実績を元に調整 https://speakerdeck.com/nagapad/da-gui-mo-ibentowozhi-eru-abema-no-akitekuti ya-bian-qian-2025?slide=64
22. AbemaTV, Inc. All Rights Reserved リソース調整 22
23. AbemaTV, Inc. All Rights Reserved リソース調整 23 • 負荷試験の結果を元にリソースを調整 • KEDA を利用して、番組スケジュールに応じたスケール設定 • バックエンドメンバーと共に一斉に対応を行った
24. AbemaTV, Inc. All Rights Reserved 振り返り 24
25. AbemaTV, Inc. All Rights Reserved 振り返り 25 • 1ヶ月では十分と言える検証はできなかった • 実際には想定スケジュール通りに進まなかった ◦ シナリオ作成に想定以上の時間がかかった • 実際に Cloudflare にトラフィックを流して確認ができ ないため、VWR 閾値が理論上の値となった • 視聴導線に関わる API が負荷試験準備中に変更さ れ、事前にコードフリーズの提案が必要だった Bad • タイトな時間ではあったが、要件を満たすための検 証をすることができた • シナリオ生成や負荷試験の分析にオブザーバビリ ティツールを活用することができ、オブザーバビリ ティの重要性を実感 Good
26. AbemaTV, Inc. All Rights Reserved まとめ 26
27. AbemaTV, Inc. All Rights Reserved まとめ 27 30時間限界突破フェスに向けての取り組みについて紹介しました。 • 負荷対策 ◦ マルチテナント型の負荷試験環境構築 ◦ Datadog RUM + Pup CLI を用いたシナリオ構築 ◦ 負荷試験 • 障害対策 ◦ リトライ・タイムアウトの調整 ◦ 障害試験 • VWR による流量制限 ◦ アクティブユーザー数・ジョインレート • リソース調整
28. AbemaTV, Inc. All Rights Reserved