ライブコンテンツの高品質化を実現するクラウド動画配信システム / Cloud Video Streaming System for High Quality Live Events

by CyberAgent

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

発表者紹介久保亮介 2012年株式会社サイバーエージェント入社。 2016年から現在までABEMAの動画配信サーバー開発に従事。 FIFA ワールドカップカタール 2022では、動画配信のクラウド全般を担当。（株）AbemaTV 開発本部コンテンツ配信チーム・エンジニア

Slide 3

Slide 3 text

お伝えする内容 FIFA ワールドカップカタール 2022 から運用を開始したライブ配信のクラウド構成を解説します。

Slide 4

Slide 4 text

従来のABEMAの生配信と課題

Slide 5

Slide 5 text

従来の ABEMA の生配信ドラマ生放送アニメ 18:00 20:00 22:00 TV 型チャンネル PPV チャンネル空きスロット PPV 生放送空きスロット 18:00 20:00 22:00 2016 年、当時珍しかった TV 型番組制御の完全クラウド化を実現した。 2020 年、包括的な機能を素早く提供するために同じシステムをペイパービューの配信にも利用した。シンプルなライブ配信でも 24/7 チャンネルの一部として管理されている。

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

従来の ABEMA のシステムにあった課題番組運用のしづらさ放送時間の延長や短縮などに制約が多い。構成変更のしづらさチャンネル単位の管理が前提になっていて、番組毎に解像度や画質、 DRM を変えにくい。開発コスト自社開発の領域が広すぎる。今ではマネージドサービスに置き換えられる部分も増えた。

Slide 10

Slide 10 text

新しいライブ配信の枠組み

Slide 11

Slide 11 text

コンテキストの境界と概念の整理プレイアウトコンテキストライブイベント開始時刻マルチアングル構成番組編成コンテキストチャンネルグループタグ開始時刻プロファイル配信プロファイルチャンネル構成チャンネルチャンネルチャンネルタイトル上流下流動画配信基盤とアプリケーションの概念を異なるコンテキストに分離して整理した。動画配信の詳細は下流では抽象化され、機能固有の概念を上流に侵食させない。

Slide 12

Slide 12 text

コンテキストの境界と概念の整理プレイアウトコンテキストライブイベント開始時刻マルチアングル構成番組編成コンテキストチャンネルグループタグ開始時刻プロファイル配信プロファイルチャンネル構成チャンネルチャンネルチャンネルタイトル動画配信基盤とアプリケーションの概念を異なるコンテキストに分離して整理した。動画配信の詳細は下流では抽象化され、機能固有の概念を上流に侵食させない。上流下流

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

配信プロファイル【番組編成担当者】プロファイル選択【クラウド環境】立ち上げからアーカイブまで自動化 FIFA ワールドカップカタール 2022 プロファイルエンコーディングパラメーター 30p CBR / 60p QVBR 冗長レベルデュアル AZ + 一部デュアルリージョン DRM FairPlay / Widevine などパッケージング方式 HLS + MPEG2-TS / MPEG-DASH + ISO BMFF 利用可能環境本番環境 / 開発環境

Slide 16

Slide 16 text

エンコーディングパラメーター Defender FrameRate : 30000/1001 fps RateControl : CBR Height : 240 〜 1080 Midfielder FrameRate : 30000/1001 fps RateControl : QVBR/CBR Height : 240 〜 1080 Striker FrameRate : 60000/1001 fps RateControl : QVBR/CBR Height : 240 〜 1080 FIFA ワールドカップカタール 2022 プロファイルスタンダードプロファイルエンコーディングの戦略に対してサッカーにちなんだコードネームを付けた。プロファイルには複数の戦略を割り当てることができ、各クライアントがデバイスに合ったものを選択する。

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

配信経路の構成 AWS Elemental MediaLive Channel AWS Elemental MediaPackage Channel Manipulator (EKS) Akamai Amazon CloudFront AWS Elemental MediaConnect AWS Elemental MediaConnect AWS Elemental MediaLive Input Zixi Feeder Primary (on-prem) Zixi Feeder Secondary (on-prem) AWS Elemental Live (on-prem) AWS Elemental Live (on-prem) Ad Server SPEKE Proxy (Lambda) NEXTSCAPE License Proxy (GKE) カメラアングル毎に自動構築アングル毎に 2 台設置 Cue 信号等 Live Mgmt. Tool 「ATLAS」国内中継拠点

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

デュアルリージョン & デュアルCDN

Slide 28

Slide 28 text

AWS ソウル AWS 東京アングルとアベイラビリティゾーン、リージョン全アングルが２つのアベイラビリティゾーン AWS MediaConnect Flow x2 AWS MediaLive Standard Pipeline + メインカメラは更にデュアルリージョン AWS 東京リージョン / AWS ソウルリージョンメインカメラ (2 AZ) ペアメインカメラ (2 AZ) 日本カメラ1 (2 AZ) 日本カメラ2 (2 AZ) クロアチアカメラ (2 AZ) 4分割カメラ1 (2 AZ) 全体カメラ (2 AZ) グループ管理 (EKS) 作成チャンネル管理 (EKS) チャンネル管理 (EKS) 登録登録作成

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

同時に使用した主な Media 系リソース（12月1日深夜の例） ※各試合のメインアングルのみ 2 リージョンに作成する。 ※MediaLive はアングル毎にユーザー配信用と検査用の 2 Channels がある。 ※MediaPackage はアングル毎に 30p と 60p の 2 Channels がある。 ※MediaConnect はアングル毎に Primary と Secondary、検査用 A、検査用 B の 4 Flows がある。 1日 23:15 放送開始カナダ vs モロッコ 1日 23:15 放送開始クロアチア vs ベルギー 2日 03:00 放送開始日本 vs スペイン 2日 03:00 放送開始コスタリカ vs ドイツ 5 アングル 5 アングル 6 アングル 5 アングル MediaConnect 24 Flows MediaLive 12 Channels MediaPackage 12 Channels MediaConnect 24 Flows MediaLive 12 Channels MediaPackage 12 Channels MediaConnect 28 Flows MediaLive 14 Channels MediaPackage 14 Channels MediaConnect 24 Flows MediaLive 12 Channels MediaPackage 12 Channels MediaConnect 100 Flows MediaLive 50 Channels MediaPackage 50 Channels

Slide 33

Slide 33 text

デュアル CDN 従来から動画配信に利用していた Akamai に加えて Amazon CloudFront を採用耐障害性キャパシティ大手 CDN ベンダーでもトラブルのリスクはゼロではない。複数のベンダーによる配信体制でリスクを低減する。より多くの帯域を確実に確保する。知見の獲得 CDN バランサー運用の知見を得る。戦略の異なる製品で同じストリームを配信することにより、 QoE やオリジンリクエストなどを多角的に分析する。

Slide 34

Slide 34 text

初回再生時のストリーム選択とフェイルオーバー AWS 東京 AWS ソウル Amazon CloudFront メインアングル Akamai Amazon CloudFront Akamai AWS 東京 Amazon CloudFront Akamai サブアングル ● 再生セッション開始時に選択 ● 初回の選択でできるだけ均等に分散 ● 再生エラー時にローテート

Slide 35

Slide 35 text

　冗長構成が活きた事例 AWS Elemental MediaLive AWS Elemental MediaConnect AWS Elemental MediaConnect Zixi Feeder Primary (on-prem) Zixi Feeder Secondary (on-prem) AWS Elemental Live (on-prem) AWS Elemental Live (on-prem) AWS Elemental MediaPackage Manipulator (EKS) Akamai AWS Elemental MediaLive AWS Elemental MediaConnect AWS Elemental MediaConnect AWS Elemental MediaPackage Manipulator (EKS) AWS 東京 AWS ソウル「韓国 vs ガーナ」メインアングルで東京の MediaLive が数分間ダウン。ソウルリージョンによって配信を継続することができた。 Amazon CloudFront Akamai Amazon CloudFront

Slide 36

Slide 36 text

広告挿入とDRM

Slide 37

Slide 37 text

広告挿入の手段方法 Pros Cons On-prem 不連続点がなく再生が安定しやすい。低遅延配信をしやすい。新たに物理的な設備が必要。高精度のトラッキングがしづらい。出し分けができない。 Server Side (SSAI) ABEMA での実績がある。ある程度の出し分けが可能。不連続点で再生が不安定になりやすい。ライセンスリクエストの負荷対策が必要。 SSAI + Personalized Ad ABEMA での実績がある。セッションごとの出し分けが可能。不連続点で再生が不安定になりやすい。同時接続数に対する負荷が大きい。 Server Guided (SGAI) ライブでの自然な広告挿入と最大限の出し分けを同時に実現する。各デバイスごとに開発コストがかかる。特殊な実装が必要。 Ad Server の負荷対策が必要。 Client Side (CSAI) 最大限の出し分けが可能。各デバイスごとに開発コストがかかる。ライブで自然に見せるのが難しい。 Ad Server の負荷対策が必要。 ※FIFA ワールドカップカタール 2022 では広告の出し分けの要件はありませんでした。

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

SSAI (Server Side Ad Insertion) SCTE time_signal AWS Elemental MediaLive Channel AWS Elemental MediaPackage Channel Manipulator (EKS) AWS Elemental Live (on-prem) Ad Server GCS HLS MPEG-DASH VAST M3U8/MPD TS/MP4 API USB S3 Slate HLS Live Mgmt. Tool 「ATLAS」キーフレーム挿入 Slate 挿入 (Blanking) 広告プリフェッチ広告挿入 ID3 挿入 CDN CM ボタンオンプレミスでの SCTE 信号挿入は ABEMA News チャンネルだけで、それ以外は API 経由でクラウド挿入だった。新しい構成では、 VANC インサータを備えていないスタジオでもオンプレミスでの挿入ができるようになった。

Slide 41

Slide 41 text

ライセンスリクエストの負荷対策オープニング (DRM) 広告前半戦 (DRM) 広告後半戦 (DRM) 全デバイスが一斉にリクエスト【対策1】広告前から再生を継続していれば冗長な再リクエストを減らすように改修【対策2】秒単位で発生する最大リクエストを推定しサーバー台数を事前に調整広告エンディング (DRM) 【問題点】プレイヤーのデフォルト動作だと、広告から本編への遷移時に一斉にリクエストが発生する。秒レベルで瞬間的に跳ね上がるため、メトリクスベースの自動スケールでは対応できない。ある程度分散させる対策はしていたが、今回の規模では十分ではない。

Slide 42

Slide 42 text

監視

Slide 43

Slide 43 text

AWS CloudWatch Logs Insights 主なモニタリングの流れ ※Antares (https://github.com/abema/antares) は自作の HLS/MPEG-DASH 検査ツール。 Procyon はその ABEMA 用のラッパー。 Slack PagerDuty Grafana Procyon Web UI Akamai Control Center 電話通知 Google Kubernetes Engine AWS EKS AWS CloudWatch Procyon/Antares Bugsnag Dashboard Bugsnag Amazon CloudFront AWS Media Services Prometheus 定期確認・分析分析定期確認・分析通知分析定期確認・分析 Akamai

Slide 44

Slide 44 text

Slack 通知の例

Slide 45

Slide 45 text

Slack 通知の例先述の「韓国 vs ガーナ」で東京のストリームが停止したことを検知した際の通知

Slide 46

Slide 46 text

今後について

Slide 47

Slide 47 text

今後の主な改善点と展望広告挿入パーソナライズやその他の先進技術を導入する。トランスコードシステムを刷新する。低遅延化遅延の低減が求められるスポーツ配信等に適したストリームを提供する。高圧縮率・高画質化ビットレートをおさえつつ高画質を配信する。旧システムの刷新旧来のシステムのうち、非効率な箇所をマネージドサービスへ移行する。

Slide 48

Slide 48 text

まとめ

Slide 49

Slide 49 text

まとめ FIFA ワールドカップカタール 2022 から導入した動画配信システムを紹介初めて AWS MediaConnect / MediaLive / MediaPackage を本格導入複数のリージョン・複数の CDN を活用生配信の枠組みを刷新今後の様々な配信イベントを実現する土台

Slide 50

Slide 50 text

No content