ライブコンテンツの高品質化を実現するクラウド動画配信システム / Cloud Video Streaming System for High Quality Live Events

FIFA ワールドカップ カタール 2022 ではライブ配信における AWS Media Services の導入やデュアルリージョン、デュアル CDN など ABEMA では初の試みがいくつもありました。その動画配信のクラウドがどのような形で作られたのかを解説します。

https://developer.abema.io/2023/sessions/fHFuwjhNIO/?utm_medium=social&utm_source=speakerdeck

Transcript

2. 発表者紹介 久保亮介 2012年株式会社サイバーエージェント入社。 2016年から現在までABEMAの動画配信サーバー開発に従事。 FIFA ワールドカップ カタール 2022では、動画配信のクラウド全般を担 当。 （株）AbemaTV 開発本部 コンテンツ配信チーム・エンジニア
3. お伝えする内容 FIFA ワールドカップ カタール 2022 から運用を開始した ライブ配信のクラウド構成を解説します。
4. 従来のABEMAの生配信と課題
5. 従来の ABEMA の生配信 ドラマ 生放送 アニメ 18:00 20:00 22:00 TV 型チャンネル PPV チャンネル 空き スロット PPV 生放送 空き スロット 18:00 20:00 22:00 2016 年、当時珍しかった TV 型番組制御の完全クラウド化を実現した。 2020 年、包括的な機能を素早く提供するために 同じシステムをペイパービューの配信にも利用した。 シンプルなライブ配信でも 24/7 チャンネルの一部として管理されている。
6. 従来の ABEMA の生配信 ドラマ 生放送 アニメ 18:00 20:00 22:00 TV 型チャンネル PPV チャンネル 空き スロット PPV 生放送 空き スロット 18:00 20:00 22:00 2016 年、当時珍しかった TV 型番組制御の完全クラウド化を実現した。 2020 年、包括的な機能を素早く提供するために 同じシステムをペイパービューの配信にも利用した。 シンプルなライブ配信でも 24/7 チャンネルの一部として管理されている。
7. 従来の ABEMA の生配信 ドラマ 生放送 アニメ 18:00 20:00 22:00 TV 型チャンネル PPV チャンネル 空き スロット PPV 生放送 空き スロット 18:00 20:00 22:00 2016 年、当時珍しかった TV 型番組制御の完全クラウド化を実現した。 2020 年、包括的な機能を素早く提供するために 同じシステムをペイパービューの配信にも利用した。 シンプルなライブ配信でも 24/7 チャンネルの一部として管理されている。
8. 従来の ABEMA の生配信 ドラマ 生放送 アニメ 18:00 20:00 22:00 TV 型チャンネル PPV チャンネル 空き スロット PPV 生放送 空き スロット 18:00 20:00 22:00 2016 年、当時珍しかった TV 型番組制御の完全クラウド化を実現した。 2020 年、包括的な機能を素早く提供するために 同じシステムをペイパービューの配信にも利用した。 シンプルなライブ配信でも 24/7 チャンネルの一部として管理されている。
9. 従来の ABEMA のシステムにあった課題 番組運用のしづらさ 放送時間の延長や短縮などに制約が多い。 構成変更のしづらさ チャンネル単位の管理が前提になっていて、 番組毎に解像度や画質、 DRM を変えにくい。 開発コスト 自社開発の領域が広すぎる。 今ではマネージドサービスに置き換えられる部分も増えた。
10. 新しいライブ配信の枠組み
11. コンテキストの境界と概念の整理 プレイアウトコンテキスト ライブイベント 開始時刻 マルチアングル構成 番組編成コンテキスト チャンネルグループ タグ 開始時刻 プロファイル 配信プロファイル チャンネル構成 チャンネル チャンネル チャンネル タイトル 上流 下流 動画配信基盤とアプリケーションの概念を異なるコンテキストに分離して整理した。 動画配信の詳細は下流では抽象化され、機能固有の概念を上流に侵食させない。
12. コンテキストの境界と概念の整理 プレイアウトコンテキスト ライブイベント 開始時刻 マルチアングル構成 番組編成コンテキスト チャンネルグループ タグ 開始時刻 プロファイル 配信プロファイル チャンネル構成 チャンネル チャンネル チャンネル タイトル 動画配信基盤とアプリケーションの概念を異なるコンテキストに分離して整理した。 動画配信の詳細は下流では抽象化され、機能固有の概念を上流に侵食させない。 上流 下流
13. コンテキストの境界と概念の整理 プレイアウトコンテキスト ライブイベント 開始時刻 マルチアングル構成 番組編成コンテキスト チャンネルグループ タグ 開始時刻 プロファイル 配信プロファイル チャンネル構成 チャンネル チャンネル チャンネル タイトル 上流 下流 動画配信基盤とアプリケーションの概念を異なるコンテキストに分離して整理した。 動画配信の詳細は下流では抽象化され、機能固有の概念を上流に侵食させない。
14. コンテキストの境界と概念の整理 プレイアウトコンテキスト ライブイベント 開始時刻 マルチアングル構成 番組編成コンテキスト チャンネルグループ タグ 開始時刻 プロファイル 配信プロファイル チャンネル構成 チャンネル チャンネル チャンネル タイトル 上流 下流 動画配信基盤とアプリケーションの概念を異なるコンテキストに分離して整理した。 動画配信の詳細は下流では抽象化され、機能固有の概念を上流に侵食させない。
15. 配信プロファイル 【番組編成担当者】 プロファイル選択 【クラウド環境】 立ち上げからアーカイブまで自動化 FIFA ワールドカップ カタール 2022 プロファイル エンコーディングパラメーター 30p CBR / 60p QVBR 冗長レベル デュアル AZ + 一部デュアルリージョン DRM FairPlay / Widevine など パッケージング方式 HLS + MPEG2-TS / MPEG-DASH + ISO BMFF 利用可能環境 本番環境 / 開発環境
16. エンコーディングパラメーター Defender FrameRate : 30000/1001 fps RateControl : CBR Height : 240 〜 1080 Midfielder FrameRate : 30000/1001 fps RateControl : QVBR/CBR Height : 240 〜 1080 Striker FrameRate : 60000/1001 fps RateControl : QVBR/CBR Height : 240 〜 1080 FIFA ワールドカップ カタール 2022 プロファイル スタンダードプロファイル エンコーディングの戦略に対して サッカーにちなんだコードネーム を付けた。 プロファイルには複数の戦略を割り当てることができ、各クライアントが デバイスに合ったものを選択 する。
17. エンコーディングパラメーター Defender FrameRate : 30000/1001 fps RateControl : CBR Height : 240 〜 1080 Midfielder FrameRate : 30000/1001 fps RateControl : QVBR/CBR Height : 240 〜 1080 Striker FrameRate : 60000/1001 fps RateControl : QVBR/CBR Height : 240 〜 1080 FIFA ワールドカップ カタール 2022 プロファイル スタンダードプロファイル エンコーディングの戦略に対して サッカーにちなんだコードネーム を付けた。 プロファイルには複数の戦略を割り当てることができ、各クライアントが デバイスに合ったものを選択 する。
18. エンコーディングパラメーター Defender FrameRate : 30000/1001 fps RateControl : CBR Height : 240 〜 1080 Midfielder FrameRate : 30000/1001 fps RateControl : QVBR/CBR Height : 240 〜 1080 Striker FrameRate : 60000/1001 fps RateControl : QVBR/CBR Height : 240 〜 1080 FIFA ワールドカップ カタール 2022 プロファイル スタンダードプロファイル エンコーディングの戦略に対して サッカーにちなんだコードネーム を付けた。 プロファイルには複数の戦略を割り当てることができ、各クライアントが デバイスに合ったものを選択 する。
19. エンコーディングパラメーター Defender FrameRate : 30000/1001 fps RateControl : CBR Height : 240 〜 1080 Midfielder FrameRate : 30000/1001 fps RateControl : QVBR/CBR Height : 240 〜 1080 Striker FrameRate : 60000/1001 fps RateControl : QVBR/CBR Height : 240 〜 1080 FIFA ワールドカップ カタール 2022 プロファイル スタンダードプロファイル エンコーディングの戦略に対して サッカーにちなんだコードネーム を付けた。 プロファイルには複数の戦略を割り当てることができ、各クライアントが デバイスに合ったものを選択 する。
20. エンコーディングパラメーター Defender FrameRate : 30000/1001 fps RateControl : CBR Height : 240 〜 1080 Midfielder FrameRate : 30000/1001 fps RateControl : QVBR/CBR Height : 240 〜 1080 Striker FrameRate : 60000/1001 fps RateControl : QVBR/CBR Height : 240 〜 1080 FIFA ワールドカップ カタール 2022 プロファイル スタンダードプロファイル エンコーディングの戦略に対して サッカーにちなんだコードネーム を付けた。 プロファイルには複数の戦略を割り当てることができ、各クライアントが デバイスに合ったものを選択 する。
21. 配信経路の構成 AWS Elemental MediaLive Channel AWS Elemental MediaPackage Channel Manipulator (EKS) Akamai Amazon CloudFront AWS Elemental MediaConnect AWS Elemental MediaConnect AWS Elemental MediaLive Input Zixi Feeder Primary (on-prem) Zixi Feeder Secondary (on-prem) AWS Elemental Live (on-prem) AWS Elemental Live (on-prem) Ad Server SPEKE Proxy (Lambda) NEXTSCAPE License Proxy (GKE) カメラアングル毎に自動構築 アングル毎に 2 台設置 Cue 信号等 Live Mgmt. Tool 「ATLAS」 国内中継拠点
22. 配信経路の構成 AWS Elemental MediaLive Channel AWS Elemental MediaPackage Channel Manipulator (EKS) Akamai Amazon CloudFront AWS Elemental MediaConnect AWS Elemental MediaConnect AWS Elemental MediaLive Input Zixi Feeder Primary (on-prem) Zixi Feeder Secondary (on-prem) AWS Elemental Live (on-prem) AWS Elemental Live (on-prem) Ad Server SPEKE Proxy (Lambda) NEXTSCAPE License Proxy (GKE) カメラアングル毎に自動構築 アングル毎に 2 台設置 Cue 信号等 Live Mgmt. Tool 「ATLAS」 国内中継拠点
23. 配信経路の構成 AWS Elemental MediaLive Channel AWS Elemental MediaPackage Channel Manipulator (EKS) Akamai Amazon CloudFront AWS Elemental MediaConnect AWS Elemental MediaConnect AWS Elemental MediaLive Input Zixi Feeder Primary (on-prem) Zixi Feeder Secondary (on-prem) AWS Elemental Live (on-prem) AWS Elemental Live (on-prem) Ad Server SPEKE Proxy (Lambda) NEXTSCAPE License Proxy (GKE) カメラアングル毎に自動構築 アングル毎に 2 台設置 Cue 信号等 Live Mgmt. Tool 「ATLAS」 国内中継拠点
24. 配信経路の構成 AWS Elemental MediaLive Channel AWS Elemental MediaPackage Channel Manipulator (EKS) Akamai Amazon CloudFront AWS Elemental MediaConnect AWS Elemental MediaConnect AWS Elemental MediaLive Input Zixi Feeder Primary (on-prem) Zixi Feeder Secondary (on-prem) AWS Elemental Live (on-prem) AWS Elemental Live (on-prem) Ad Server SPEKE Proxy (Lambda) NEXTSCAPE License Proxy (GKE) カメラアングル毎に自動構築 アングル毎に 2 台設置 Cue 信号等 Live Mgmt. Tool 「ATLAS」 国内中継拠点
25. 配信経路の構成 AWS Elemental MediaLive Channel AWS Elemental MediaPackage Channel Manipulator (EKS) Akamai Amazon CloudFront AWS Elemental MediaConnect AWS Elemental MediaConnect AWS Elemental MediaLive Input Zixi Feeder Primary (on-prem) Zixi Feeder Secondary (on-prem) AWS Elemental Live (on-prem) AWS Elemental Live (on-prem) Ad Server SPEKE Proxy (Lambda) NEXTSCAPE License Proxy (GKE) カメラアングル毎に自動構築 アングル毎に 2 台設置 Cue 信号等 Live Mgmt. Tool 「ATLAS」 国内中継拠点
26. 配信経路の構成 AWS Elemental MediaLive Channel AWS Elemental MediaPackage Channel Manipulator (EKS) Akamai Amazon CloudFront AWS Elemental MediaConnect AWS Elemental MediaConnect AWS Elemental MediaLive Input Zixi Feeder Primary (on-prem) Zixi Feeder Secondary (on-prem) AWS Elemental Live (on-prem) AWS Elemental Live (on-prem) Ad Server SPEKE Proxy (Lambda) NEXTSCAPE License Proxy (GKE) カメラアングル毎に自動構築 アングル毎に 2 台設置 Cue 信号等 Live Mgmt. Tool 「ATLAS」 国内中継拠点
27. デュアルリージョン & デュアルCDN
28. AWS ソウル AWS 東京 アングルとアベイラビリティゾーン、リージョン 全アングルが２つのアベイラビリティゾーン AWS MediaConnect Flow x2 AWS MediaLive Standard Pipeline + メインカメラは更にデュアルリージョン AWS 東京リージョン / AWS ソウルリージョン メインカメラ (2 AZ) ペア メインカメラ (2 AZ) 日本カメラ1 (2 AZ) 日本カメラ2 (2 AZ) クロアチアカメラ (2 AZ) 4分割カメラ1 (2 AZ) 全体カメラ (2 AZ) グループ管理 (EKS) 作成 チャンネル管理 (EKS) チャンネル管理 (EKS) 登録 登録 作成
29. AWS ソウル AWS 東京 アングルとアベイラビリティゾーン、リージョン 全アングルが２つのアベイラビリティゾーン AWS MediaConnect Flow x2 AWS MediaLive Standard Pipeline + メインカメラは更にデュアルリージョン AWS 東京リージョン / AWS ソウルリージョン メインカメラ (2 AZ) ペア メインカメラ (2 AZ) 日本カメラ1 (2 AZ) 日本カメラ2 (2 AZ) クロアチアカメラ (2 AZ) 4分割カメラ1 (2 AZ) 全体カメラ (2 AZ) グループ管理 (EKS) 作成 チャンネル管理 (EKS) チャンネル管理 (EKS) 登録 登録 作成
30. AWS ソウル AWS 東京 アングルとアベイラビリティゾーン、リージョン 全アングルが２つのアベイラビリティゾーン AWS MediaConnect Flow x2 AWS MediaLive Standard Pipeline + メインカメラは更にデュアルリージョン AWS 東京リージョン / AWS ソウルリージョン メインカメラ (2 AZ) ペア メインカメラ (2 AZ) 日本カメラ1 (2 AZ) 日本カメラ2 (2 AZ) クロアチアカメラ (2 AZ) 4分割カメラ1 (2 AZ) 全体カメラ (2 AZ) グループ管理 (EKS) 作成 チャンネル管理 (EKS) チャンネル管理 (EKS) 登録 登録 作成
31. AWS ソウル AWS 東京 アングルとアベイラビリティゾーン、リージョン 全アングルが２つのアベイラビリティゾーン AWS MediaConnect Flow x2 AWS MediaLive Standard Pipeline + メインカメラは更にデュアルリージョン AWS 東京リージョン / AWS ソウルリージョン メインカメラ (2 AZ) ペア メインカメラ (2 AZ) 日本カメラ1 (2 AZ) 日本カメラ2 (2 AZ) クロアチアカメラ (2 AZ) 4分割カメラ1 (2 AZ) 全体カメラ (2 AZ) グループ管理 (EKS) 作成 チャンネル管理 (EKS) チャンネル管理 (EKS) 登録 登録 作成
32. 同時に使用した主な Media 系リソース（12月1日深夜の例） ※各試合のメインアングルのみ 2 リージョンに作成する。 ※MediaLive はアングル毎にユーザー配信用と検査用の 2 Channels がある。 ※MediaPackage はアングル毎に 30p と 60p の 2 Channels がある。 ※MediaConnect はアングル毎に Primary と Secondary、検査用 A、検査用 B の 4 Flows がある。 1日 23:15 放送開始 カナダ vs モロッコ 1日 23:15 放送開始 クロアチア vs ベルギー 2日 03:00 放送開始 日本 vs スペイン 2日 03:00 放送開始 コスタリカ vs ドイツ 5 アングル 5 アングル 6 アングル 5 アングル MediaConnect 24 Flows MediaLive 12 Channels MediaPackage 12 Channels MediaConnect 24 Flows MediaLive 12 Channels MediaPackage 12 Channels MediaConnect 28 Flows MediaLive 14 Channels MediaPackage 14 Channels MediaConnect 24 Flows MediaLive 12 Channels MediaPackage 12 Channels MediaConnect 100 Flows MediaLive 50 Channels MediaPackage 50 Channels
33. デュアル CDN 従来から動画配信に利用していた Akamai に加えて Amazon CloudFront を採用 耐障害性 キャパシティ 大手 CDN ベンダーでもトラブルのリスクはゼロではない。 複数のベンダーによる配信体制でリスクを低減する。 より多くの帯域を確実に確保する。 知見の獲得 CDN バランサー運用の知見を得る。 戦略の異なる製品で同じストリームを配信することにより、 QoE やオリジンリクエストなどを多角的に分析する。
34. 初回再生時のストリーム選択とフェイルオーバー AWS 東京 AWS ソウル Amazon CloudFront メインアングル Akamai Amazon CloudFront Akamai AWS 東京 Amazon CloudFront Akamai サブアングル • 再生セッション開始時に選択 • 初回の選択でできるだけ均等に分散 • 再生エラー時にローテート
35. 　 冗長構成が活きた事例 AWS Elemental MediaLive AWS Elemental MediaConnect AWS Elemental MediaConnect Zixi Feeder Primary (on-prem) Zixi Feeder Secondary (on-prem) AWS Elemental Live (on-prem) AWS Elemental Live (on-prem) AWS Elemental MediaPackage Manipulator (EKS) Akamai AWS Elemental MediaLive AWS Elemental MediaConnect AWS Elemental MediaConnect AWS Elemental MediaPackage Manipulator (EKS) AWS 東京 AWS ソウル 「韓国 vs ガーナ」メインアングルで東京の MediaLive が数分間ダウン。 ソウルリージョンによって配信を継続 することができた。 Amazon CloudFront Akamai Amazon CloudFront
36. 広告挿入とDRM
37. 広告挿入の手段 方法 Pros Cons On-prem 不連続点がなく再生が安定しやすい。 低遅延配信をしやすい。 新たに物理的な設備が必要。 高精度のトラッキングがしづらい。 出し分けができない。 Server Side (SSAI) ABEMA での実績がある。 ある程度の出し分けが可能。 不連続点で再生が不安定になりやすい。 ライセンスリクエストの負荷対策が必要。 SSAI + Personalized Ad ABEMA での実績がある。 セッションごとの出し分けが可能。 不連続点で再生が不安定になりやすい。 同時接続数に対する負荷が大きい。 Server Guided (SGAI) ライブでの自然な広告挿入と 最大限の出し分けを同時に実現する。 各デバイスごとに開発コストがかかる。 特殊な実装が必要。 Ad Server の負荷対策が必要。 Client Side (CSAI) 最大限の出し分けが可能。 各デバイスごとに開発コストがかかる。 ライブで自然に見せるのが難しい。 Ad Server の負荷対策が必要。 ※FIFA ワールドカップ カタール 2022 では広告の出し分けの要件はありませんでした。
38. 広告挿入の手段 方法 Pros Cons On-prem 不連続点がなく再生が安定しやすい。 低遅延配信をしやすい。 新たに物理的な設備が必要。 高精度のトラッキングがしづらい。 出し分けができない。 Server Side (SSAI) ABEMA での実績がある。 ある程度の出し分けが可能。 不連続点で再生が不安定になりやすい。 ライセンスリクエストの負荷対策が必要。 SSAI + Personalized Ad ABEMA での実績がある。 セッションごとの出し分けが可能。 不連続点で再生が不安定になりやすい。 同時接続数に対する負荷が大きい。 Server Guided (SGAI) ライブでの自然な広告挿入と 最大限の出し分けを同時に実現する。 各デバイスごとに開発コストがかかる。 特殊な実装が必要。 Ad Server の負荷対策が必要。 Client Side (CSAI) 最大限の出し分けが可能。 各デバイスごとに開発コストがかかる。 ライブで自然に見せるのが難しい。 Ad Server の負荷対策が必要。 ※FIFA ワールドカップ カタール 2022 では広告の出し分けの要件はありませんでした。
39. 広告挿入の手段 方法 Pros Cons On-prem 不連続点がなく再生が安定しやすい。 低遅延配信をしやすい。 新たに物理的な設備が必要。 高精度のトラッキングがしづらい。 出し分けができない。 Server Side (SSAI) ABEMA での実績がある。 ある程度の出し分けが可能。 不連続点で再生が不安定になりやすい。 ライセンスリクエストの負荷対策が必要。 SSAI + Personalized Ad ABEMA での実績がある。 セッションごとの出し分けが可能。 不連続点で再生が不安定になりやすい。 同時接続数に対する負荷が大きい。 Server Guided (SGAI) ライブでの自然な広告挿入と 最大限の出し分けを同時に実現する。 各デバイスごとに開発コストがかかる。 特殊な実装が必要。 Ad Server の負荷対策が必要。 Client Side (CSAI) 最大限の出し分けが可能。 各デバイスごとに開発コストがかかる。 ライブで自然に見せるのが難しい。 Ad Server の負荷対策が必要。 ※FIFA ワールドカップ カタール 2022 では広告の出し分けの要件はありませんでした。
40. SSAI (Server Side Ad Insertion) SCTE time_signal AWS Elemental MediaLive Channel AWS Elemental MediaPackage Channel Manipulator (EKS) AWS Elemental Live (on-prem) Ad Server GCS HLS MPEG-DASH VAST M3U8/MPD TS/MP4 API USB S3 Slate HLS Live Mgmt. Tool 「ATLAS」 キーフレーム挿入 Slate 挿入 (Blanking) 広告プリフェッチ 広告挿入 ID3 挿入 CDN CM ボタン オンプレミスでの SCTE 信号挿入は ABEMA News チャンネルだけで、それ以外は API 経由でクラウド挿入だった。 新しい構成では、 VANC インサータを備えていないスタジオでもオンプレミスでの挿入ができるようになった。
41. ライセンスリクエストの負荷対策 オープニング (DRM) 広告 前半戦 (DRM) 広告 後半戦 (DRM) 全デバイスが一斉にリクエスト 【対策1】 広告前から再生を継続していれば冗長な再リクエストを減らすように改修 【対策2】 秒単位で発生する最大リクエストを推定しサーバー台数を事前に調整 広告 エンディング (DRM) 【問題点】 プレイヤーのデフォルト動作だと、広告から本編への遷移時に一斉にリクエストが発生する。 秒レベルで瞬間的に跳ね上がるため、メトリクスベースの自動スケールでは対応できない。 ある程度分散させる対策はしていたが、今回の規模では十分ではない。
42. 監視
43. AWS CloudWatch Logs Insights 主なモニタリングの流れ ※Antares (https://github.com/abema/antares) は自作の HLS/MPEG-DASH 検査ツール。 Procyon はその ABEMA 用のラッパー。 Slack PagerDuty Grafana Procyon Web UI Akamai Control Center 電話通知 Google Kubernetes Engine AWS EKS AWS CloudWatch Procyon/Antares Bugsnag Dashboard Bugsnag Amazon CloudFront AWS Media Services Prometheus 定期確認・分析 分析 定期確認・分析 通知 分析 定期確認・分析 Akamai
44. Slack 通知の例
45. Slack 通知の例 先述の「韓国 vs ガーナ」で東京のストリームが停止したことを検知した際の通知
46. 今後について
47. 今後の主な改善点と展望 広告挿入 パーソナライズやその他の先進技術を導入する。 トランスコードシステムを刷新する。 低遅延化 遅延の低減が求められるスポーツ配信等に適したストリームを提供する。 高圧縮率・高画質化 ビットレートをおさえつつ高画質を配信する。 旧システムの刷新 旧来のシステムのうち、非効率な箇所をマネージドサービスへ移行する。
48. まとめ
49. まとめ FIFA ワールドカップ カタール 2022 から導入した動画配信システムを紹介 初めて AWS MediaConnect / MediaLive / MediaPackage を本格導入 複数のリージョン・複数の CDN を活用 生配信の枠組みを刷新 今後の様々な配信イベントを実現する土台