FIFA ワールドカップ 2022における、ABEMAの技術的挑戦 / The technical challenges of ABEMA in FIFA World Cup 2022

FIFA ワールドカップ カタール 2022における全試合無料中継を完遂した、ABEMAにおける大規模ライブ配信の備えと技術の全容についてお話しします。

https://developer.abema.io/2023/sessions/yAJhfNCXch/?utm_medium=social&utm_source=speakerdeck

Transcript

1. AbemaTV, Inc. All Rights Reserved
 1
   

   View Slide

2. AbemaTV, Inc. All Rights Reserved

   現地カメラ
   2
   ライブストリーミング機能の2つのフェイズ
   Phase1 | Contribution Phase2 | Distribution
   スタジオカメラ
   変換
   

   View Slide

3. AbemaTV, Inc. All Rights Reserved
 3
   Contribution 構成
   Phase1 | Contribution
   制作拠点
   Production Base
   会場
   Venue
   クラウド
   Cloud
   

   View Slide

4. AbemaTV, Inc. All Rights Reserved
 4
   Contribution 構成
   Phase1 | Contribution
   制作拠点
   Production Base
   会場
   Venue
   クラウド
   Cloud
   

   View Slide

5. AbemaTV, Inc. All Rights Reserved
 5
   Contribution 構成
   Phase1 | Contribution
   制作拠点
   Production Base
   会場
   Venue
   クラウド
   Cloud
   

   View Slide

6. AbemaTV, Inc. All Rights Reserved
 6
   Distribution 構成
   Phase2 | Distribution
   ABRトランスコード
   ABR Transcoder
   パッケージング
   Packager
   暗号化
   Encryptor
   マニピュレーション
   Manifest Manipulator
   クラウド
   CDN
   Contents Delivery Network
   プレイヤー
   Video Player
   

   View Slide

7. AbemaTV, Inc. All Rights Reserved
 7
   Distribution 構成
   Phase2 | Distribution
   ABRトランスコード
   ABR Transcoder
   パッケージング
   Packager
   暗号化
   Encryptor
   マニピュレーション
   Manifest
   クラウド
   CDN
   Contents Delivery Network
   プレイヤー
   Video Player
   

   View Slide

8. AbemaTV, Inc. All Rights Reserved
 8
   サービス機能とは
   ・Webサイト
   ・認証
   ・コンテンツカタログ
   など
   ・マルチアングル
   ・コメント
   ・スタッツ
   など
   ・ログ受信API
   ・データ基盤
   など
   サービス機能
   前提機能 視聴体験機能 分析機能
   

   View Slide

9. AbemaTV, Inc. All Rights Reserved

   視聴における前提機能の最適化
   アプリケーション起動 視聴開始
   コンテンツカタログ選択
   認証
   必須機能
   ・お知らせ
   ・アンケート
   ・マイリスト
   ・おすすめ
   ・コメント
   ・スタッツ
   コンテンツ表示 再生
   

   View Slide

10. AbemaTV, Inc. All Rights Reserved
 10
    スパイクアクセスの制御
    ア
    ク
    セ
    ス
    配信時間
    スパイクアクセス
    瞬間的に大きなアクセス
    

    View Slide

11. AbemaTV, Inc. All Rights Reserved
 11
    スパイクアクセスの制御
    ア
    ク
    セ
    ス
    配信時間
    スパイクアクセス
    瞬間的に大きなアクセス
    水平スケール
    瞬時にはスケール処理が間に合わない
    

    View Slide

12. AbemaTV, Inc. All Rights Reserved
 12
    スパイクアクセスの制御
    ア
    ク
    セ
    ス
    配信時間
    スパイクアクセス
    瞬間的に大きなアクセス
    水平スケール
    瞬時にはスケール処理が間に合わない
    フルキャパシティ
    常に瞬時負荷に備えると
    　コストの無駄が大きい
    

    View Slide

13. AbemaTV, Inc. All Rights Reserved
 13
    スパイクアクセスの制御
    ア
    ク
    セ
    ス
    配信時間
    スパイクアクセス
    瞬間的に大きなアクセス
    ▼ アクセス許容限界
    許容する限界を予め設定する
    水平スケール
    瞬時にはスケール処理が間に合わない
    フルキャパシティ
    常に瞬時負荷に備えると
    　コストの無駄が大きい
    

    View Slide

14. AbemaTV, Inc. All Rights Reserved
 14
    スパイクアクセスの制御
    ア
    ク
    セ
    ス
    配信時間
    スパイクアクセス
    瞬間的に大きなアクセス
    ▼ アクセス許容限界
    レート制限機構・仮想待機室を施す
    許容する限界を予め設定する
    水平スケール
    瞬時にはスケール処理が間に合わない
    フルキャパシティ
    常に瞬時負荷に備えると
    　コストの無駄が大きい
    

    View Slide

15. AbemaTV, Inc. All Rights Reserved
 15
    ライブ視聴ユーザーの行動予測
    番組上で予め定められたもの
    ・試合前解説
    ・CM
    競技上で予め定められたもの
    ・キックオフ
    ・ハーフタイム
    試合展開によるもの
    ・ゴール
    ・別試合の戦況
    

    View Slide

16. AbemaTV, Inc. All Rights Reserved
 16
    ライブ視聴ユーザーの行動予測
    番組上で予め定められたもの
    ・試合前解説
    ・CM
    競技上で予め定められたもの
    ・キックオフ
    ・ハーフタイム
    試合展開によるもの
    ・ゴール
    ・別試合の戦況
    

    View Slide

17. AbemaTV, Inc. All Rights Reserved
 17
    ライブ視聴ユーザーの行動予測
    番組上で予め定められたもの
    ・試合前解説
    ・CM
    競技上で予め定められたもの
    ・キックオフ
    ・ハーフタイム
    試合展開によるもの
    ・ゴール
    ・別試合の戦況
    

    View Slide

18. AbemaTV, Inc. All Rights Reserved
 18
    ライブ視聴ユーザーの行動予測
    番組上で予め定められたもの
    ・試合前解説
    ・CM
    競技上で予め定められたもの
    ・キックオフ
    ・ハーフタイム
    試合展開によるもの
    ・ゴール
    ・別試合の戦況
    

    View Slide

19. AbemaTV, Inc. All Rights Reserved
 19
    THE MATCH 2022 視聴実態
    Android
    5.7%
    iOS
    22.1%
    Fire TV
    24.9%
    Android TV
    17.6%
    デバイス
    分布
    Chromecast
    9.7%
    TVデバイス
    スマホ / タブレット/PC
    ブラウザ
    18.6%
    Nintendo
    Switch
    1.0%
    Apple TV
    0.5%
    

    View Slide

20. AbemaTV, Inc. All Rights Reserved
 20
    THE MATCH 2022 視聴実態
    1080p
    59.8%
    解像度取得
    分布
    240p
    4.3%
    720p
    27.8%
    480p
    6.1%
    180p
    1.3%
    Android
    5.7%
    iOS
    22.1%
    Fire TV
    24.9%
    Android TV
    17.6%
    デバイス
    分布
    Chromecast
    9.7%
    TVデバイス
    スマホ / タブレット/PC
    ブラウザ
    18.6%
    Nintendo
    Switch
    1.0%
    Apple TV
    0.5%
    

    View Slide

21. AbemaTV, Inc. All Rights Reserved
 21
    THE MATCH 2022 視聴実態
    1080p
    59.8%
    解像度取得
    分布
    240p
    4.3%
    720p
    27.8%
    480p
    6.1%
    180p
    1.3%
    Android
    5.7%
    iOS
    22.1%
    Fire TV
    24.9%
    Android TV
    17.6%
    デバイス
    分布
    Chromecast
    9.7%
    TVデバイス
    スマホ / タブレット/PC
    ブラウザ
    18.6%
    Nintendo
    Switch
    1.0%
    Apple TV
    0.5%
    地上デジタルテレビ放送
    BSデジタルハイビジョン(2K)放送
    同等以上の映像品質が必要
    

    View Slide

22. AbemaTV, Inc. All Rights Reserved
 22
    地上波レベルの高画質配信
    制作
    MAQS
    Media Asset Quality Strategists
    伝送 再生
    配信
    

    View Slide

23. AbemaTV, Inc. All Rights Reserved
 23
    ワールドカップ出力仕様
    画質重視
    STRIKER
    再生安定性重視
    DEFENDER
    エンコードパターン 解像度
    1920x1080
    1280x720
    854x480
    640x360
    59.94p
    59.94p
    426x240
    1920x1080
    1280x720
    854x480
    640x360
    426x240
    59.94p
    59.94p
    59.94p
    29.97p
    29.97p
    29.97p
    29.97p
    29.97p
    最大ビットレート 実平均ビットレート
    15,600,000
    10,500,000
    6,000,000
    2,800,000
    864,000
    9,500,000
    5,000,000
    2,700,000
    1,500,000
    800,000
    10,000,000
    6,700,000
    3,500,000
    2,000,000
    770,000
    8,300,000
    4,300,000
    2,200,000
    1,250,000
    740,000
    

    View Slide

24. AbemaTV, Inc. All Rights Reserved
 24
    ライブイベント
    チャンネル型
    24時間365日 提供
    マニフェストプレイアウト
    ライブ対応
    コメント
    リニア配信 PPV
    従来の配信機能ベース
    ライブイベント
    新規機能
    複数チャンネル型
    イベント提供 [ Update ]
    マニフェストプレイアウト
    ライブ対応
    コメント
    マルチアングル [ New ]
    イベント型 [ Update ]
    イベント提供
    プレイアウト [ Update ]
    　エンコーダー調整
    　安定性調整
    ライブ対応
    コメント
    マルチアングル
    スタッツ [ New ]
    応用 刷新
    コンテンツ特化の対応を施すことが困難 特化対応可能
    

    View Slide

25. AbemaTV, Inc. All Rights Reserved

    クラウド
    25
    運用改善 映像制作フローを高速化
    スタジオ
    過去素材
    保管NAS
    編集用
    PC
    スタジオ
    メディア収
    録
    素材管理
    System
    公開
    サービス
    管理ツール
    ABEMA
    制作会社A
    制作会社B
    オフィス内
    リモート
    オペレーション
    MAルーム
    完パケ制作
    クラウド格納
    クラウド
    アーカイブ
    クラウド編集
    作業用クラウド
    ストレージ
    クラウド納品
    MAM
    収録
    サーバ
    VTR制作
    事中切り出し
    VDI環境
    Workflow
    System
    リ
    モ
    I
    ト
    操
    作
    ア
    I
    カ
    イ
    ブ
    現地映像
    

    View Slide

26. AbemaTV, Inc. All Rights Reserved
 26
    ピークトラフィックの算出方式
    THE MATCH 2022 配信データ
    過去ワールドカップにおける
    地上波視聴率データ
    現在の出力仕様 解像度所得分布
    ユーザー帯域予測
    FIFAワールドカップ2022
    出力仕様
    1人あたりのビットレート
    対戦カードごとの
    注目度係数
    配信時間帯係数
    FIFAワールドカップ2022
    地上波視聴率予測
    FIFAワールドカップ2022
    解像度取得分布
    ピークトラフィック
    定常時トラフィック
    同時配信時/単独配信時
    地上波:インターネット 視聴比率
    同時配信時/単独配信時
    ABEMA視聴数:ライブ同時接続 比率
    ピーク同時接続数
    

    View Slide

27. AbemaTV, Inc. All Rights Reserved
 27
    ピークトラフィックの算出方式
    THE MATCH 2022 配信データ
    過去ワールドカップにおける
    地上波視聴率データ
    現在の出力仕様 解像度所得分布
    ユーザー帯域予測
    FIFAワールドカップ2022
    出力仕様
    1人あたりのビットレート
    対戦カードごとの
    注目度係数
    配信時間帯係数
    FIFAワールドカップ2022
    地上波視聴率予測
    FIFAワールドカップ2022
    解像度取得分布
    ピークトラフィック
    定常時トラフィック
    同時配信時/単独配信時
    地上波:インターネット 視聴比率
    同時配信時/単独配信時
    ABEMA視聴数:ライブ同時接続 比率
    ピーク同時接続数
    

    View Slide

28. AbemaTV, Inc. All Rights Reserved
 28
    ピークトラフィックの算出方式
    THE MATCH 2022 配信データ
    過去ワールドカップにおける
    地上波視聴率データ
    現在の出力仕様 解像度所得分布
    ユーザー帯域予測
    FIFAワールドカップ2022
    出力仕様
    1人あたりのビットレート
    対戦カードごとの
    注目度係数
    配信時間帯係数
    FIFAワールドカップ2022
    地上波視聴率予測
    FIFAワールドカップ2022
    解像度取得分布
    ピークトラフィック
    定常時トラフィック
    同時配信時/単独配信時
    地上波:インターネット 視聴比率
    同時配信時/単独配信時
    ABEMA視聴数:ライブ同時接続 比率
    ピーク同時接続数
    

    View Slide

29. AbemaTV, Inc. All Rights Reserved
 29
    ピークトラフィックの算出方式
    THE MATCH 2022 配信データ
    過去ワールドカップにおける
    地上波視聴率データ
    現在の出力仕様 解像度所得分布
    ユーザー帯域予測
    FIFAワールドカップ2022
    出力仕様
    1人あたりのビットレート
    対戦カードごとの
    注目度係数
    配信時間帯係数
    FIFAワールドカップ2022
    地上波視聴率予測
    FIFAワールドカップ2022
    解像度取得分布
    ピークトラフィック
    定常時トラフィック
    同時配信時/単独配信時
    地上波:インターネット 視聴比率
    同時配信時/単独配信時
    ABEMA視聴数:ライブ同時接続 比率
    ピーク同時接続数
    

    View Slide

30. AbemaTV, Inc. All Rights Reserved
 30
    ピークトラフィックの算出方式
    THE MATCH 2022 配信データ
    過去ワールドカップにおける
    地上波視聴率データ
    現在の出力仕様 解像度所得分布
    ユーザー帯域予測
    FIFAワールドカップ2022
    出力仕様
    1人あたりのビットレート
    対戦カードごとの
    注目度係数
    配信時間帯係数
    FIFAワールドカップ2022
    地上波視聴率予測
    FIFAワールドカップ2022
    解像度取得分布
    ピークトラフィック
    定常時トラフィック
    同時配信時/単独配信時
    地上波:インターネット 視聴比率
    同時配信時/単独配信時
    ABEMA視聴数:ライブ同時接続 比率
    ピーク同時接続数
    

    View Slide

31. AbemaTV, Inc. All Rights Reserved
 31
    それぞれの対策
    負荷対策
    機能の優先順位の整理
    コンポーネントごとの負荷係数算出
    キャパシティプランニング及び負荷試験
    各種制限機構の開発
    障害対策
    優先機能の稼働率目標の見直し
    クラウド上のリージョン冗長化
    CDNバランシング
    障害時復旧速度の改善
    攻撃対策
    脆弱性の分析
    DoS攻撃に対する防御機構の再設定
    発生時オペレーションの構築
    

    View Slide

32. AbemaTV, Inc. All Rights Reserved
 32
    それぞれの対策
    負荷対策
    機能の優先順位の整理
    コンポーネントごとの負荷係数算出
    キャパシティプランニング及び負荷試験
    各種制限機構の開発
    障害対策
    優先機能の稼働率目標の見直し
    クラウド上のリージョン冗長化
    CDNバランシング
    障害時復旧速度の改善
    攻撃対策
    脆弱性の分析
    DoS攻撃に対する防御機構の再設定
    発生時オペレーションの構築
    

    View Slide

33. AbemaTV, Inc. All Rights Reserved
 33
    それぞれの対策
    負荷対策
    機能の優先順位の整理
    コンポーネントごとの負荷係数算出
    キャパシティプランニング及び負荷試験
    各種制限機構の開発
    障害対策
    優先機能の稼働率目標の見直し
    クラウド上のリージョン冗長化
    CDNバランシング
    障害時復旧速度の改善
    攻撃対策
    脆弱性の分析
    DoS攻撃に対する防御機構の再設定
    発生時オペレーションの構築
    

    View Slide

34. AbemaTV, Inc. All Rights Reserved
 34
    それぞれの対策
    負荷対策
    機能の優先順位の整理
    コンポーネントごとの負荷係数算出
    キャパシティプランニング及び負荷試験
    各種制限機構の開発
    障害対策
    優先機能の稼働率目標の見直し
    クラウド上のリージョン冗長化
    CDNバランシング
    障害時復旧速度の改善
    攻撃対策
    脆弱性の分析
    DoS攻撃に対する防御機構の再設定
    発生時オペレーションの構築
    

    View Slide