Upgrade to Pro — share decks privately, control downloads, hide ads and more …

FIFA ワールドカップ 2022における、ABEMAの技術的挑戦 / The technical challenges of ABEMA in FIFA World Cup 2022

FIFA ワールドカップ 2022における、ABEMAの技術的挑戦 / The technical challenges of ABEMA in FIFA World Cup 2022

FIFA ワールドカップ カタール 2022における全試合無料中継を完遂した、ABEMAにおける大規模ライブ配信の備えと技術の全容についてお話しします。

https://developer.abema.io/2023/sessions/yAJhfNCXch/?utm_medium=social&utm_source=speakerdeck

CyberAgent
PRO

April 19, 2023
Tweet

More Decks by CyberAgent

Other Decks in Technology

Transcript

  1. AbemaTV, Inc. All Rights Reserved
 1

    View Slide

  2. AbemaTV, Inc. All Rights Reserved

    現地カメラ
    2
    ライブストリーミング機能の2つのフェイズ
    Phase1 | Contribution Phase2 | Distribution
    スタジオカメラ
    変換

    View Slide

  3. AbemaTV, Inc. All Rights Reserved
 3
    Contribution 構成
    Phase1 | Contribution
    制作拠点
    Production Base
    会場
    Venue
    クラウド
    Cloud

    View Slide

  4. AbemaTV, Inc. All Rights Reserved
 4
    Contribution 構成
    Phase1 | Contribution
    制作拠点
    Production Base
    会場
    Venue
    クラウド
    Cloud

    View Slide

  5. AbemaTV, Inc. All Rights Reserved
 5
    Contribution 構成
    Phase1 | Contribution
    制作拠点
    Production Base
    会場
    Venue
    クラウド
    Cloud

    View Slide

  6. AbemaTV, Inc. All Rights Reserved
 6
    Distribution 構成
    Phase2 | Distribution
    ABRトランスコード
    ABR Transcoder
    パッケージング
    Packager
    暗号化
    Encryptor
    マニピュレーション
    Manifest Manipulator
    クラウド
    CDN
    Contents Delivery Network
    プレイヤー
    Video Player

    View Slide

  7. AbemaTV, Inc. All Rights Reserved
 7
    Distribution 構成
    Phase2 | Distribution
    ABRトランスコード
    ABR Transcoder
    パッケージング
    Packager
    暗号化
    Encryptor
    マニピュレーション
    Manifest
    クラウド
    CDN
    Contents Delivery Network
    プレイヤー
    Video Player

    View Slide

  8. AbemaTV, Inc. All Rights Reserved
 8
    サービス機能とは
    ・Webサイト
    ・認証
    ・コンテンツカタログ
    など
    ・マルチアングル
    ・コメント
    ・スタッツ
    など
    ・ログ受信API
    ・データ基盤
    など
    サービス機能
    前提機能 視聴体験機能 分析機能

    View Slide

  9. AbemaTV, Inc. All Rights Reserved

    視聴における前提機能の最適化
    アプリケーション起動 視聴開始
    コンテンツカタログ選択
    認証
    必須機能
    ・お知らせ
    ・アンケート
    ・マイリスト
    ・おすすめ
    ・コメント
    ・スタッツ
    コンテンツ表示 再生

    View Slide

  10. AbemaTV, Inc. All Rights Reserved
 10
    スパイクアクセスの制御




    配信時間
    スパイクアクセス
    瞬間的に大きなアクセス

    View Slide

  11. AbemaTV, Inc. All Rights Reserved
 11
    スパイクアクセスの制御




    配信時間
    スパイクアクセス
    瞬間的に大きなアクセス
    水平スケール
    瞬時にはスケール処理が間に合わない

    View Slide

  12. AbemaTV, Inc. All Rights Reserved
 12
    スパイクアクセスの制御




    配信時間
    スパイクアクセス
    瞬間的に大きなアクセス
    水平スケール
    瞬時にはスケール処理が間に合わない
    フルキャパシティ
    常に瞬時負荷に備えると
     コストの無駄が大きい

    View Slide

  13. AbemaTV, Inc. All Rights Reserved
 13
    スパイクアクセスの制御




    配信時間
    スパイクアクセス
    瞬間的に大きなアクセス
    ▼ アクセス許容限界
    許容する限界を予め設定する
    水平スケール
    瞬時にはスケール処理が間に合わない
    フルキャパシティ
    常に瞬時負荷に備えると
     コストの無駄が大きい

    View Slide

  14. AbemaTV, Inc. All Rights Reserved
 14
    スパイクアクセスの制御




    配信時間
    スパイクアクセス
    瞬間的に大きなアクセス
    ▼ アクセス許容限界
    レート制限機構・仮想待機室を施す
    許容する限界を予め設定する
    水平スケール
    瞬時にはスケール処理が間に合わない
    フルキャパシティ
    常に瞬時負荷に備えると
     コストの無駄が大きい

    View Slide

  15. AbemaTV, Inc. All Rights Reserved
 15
    ライブ視聴ユーザーの行動予測
    番組上で予め定められたもの
    ・試合前解説
    ・CM
    競技上で予め定められたもの
    ・キックオフ
    ・ハーフタイム
    試合展開によるもの
    ・ゴール
    ・別試合の戦況

    View Slide

  16. AbemaTV, Inc. All Rights Reserved
 16
    ライブ視聴ユーザーの行動予測
    番組上で予め定められたもの
    ・試合前解説
    ・CM
    競技上で予め定められたもの
    ・キックオフ
    ・ハーフタイム
    試合展開によるもの
    ・ゴール
    ・別試合の戦況

    View Slide

  17. AbemaTV, Inc. All Rights Reserved
 17
    ライブ視聴ユーザーの行動予測
    番組上で予め定められたもの
    ・試合前解説
    ・CM
    競技上で予め定められたもの
    ・キックオフ
    ・ハーフタイム
    試合展開によるもの
    ・ゴール
    ・別試合の戦況

    View Slide

  18. AbemaTV, Inc. All Rights Reserved
 18
    ライブ視聴ユーザーの行動予測
    番組上で予め定められたもの
    ・試合前解説
    ・CM
    競技上で予め定められたもの
    ・キックオフ
    ・ハーフタイム
    試合展開によるもの
    ・ゴール
    ・別試合の戦況

    View Slide

  19. AbemaTV, Inc. All Rights Reserved
 19
    THE MATCH 2022 視聴実態
    Android
    5.7%
    iOS
    22.1%
    Fire TV
    24.9%
    Android TV
    17.6%
    デバイス
    分布
    Chromecast
    9.7%
    TVデバイス
    スマホ / タブレット/PC
    ブラウザ
    18.6%
    Nintendo
    Switch
    1.0%
    Apple TV
    0.5%

    View Slide

  20. AbemaTV, Inc. All Rights Reserved
 20
    THE MATCH 2022 視聴実態
    1080p
    59.8%
    解像度取得
    分布
    240p
    4.3%
    720p
    27.8%
    480p
    6.1%
    180p
    1.3%
    Android
    5.7%
    iOS
    22.1%
    Fire TV
    24.9%
    Android TV
    17.6%
    デバイス
    分布
    Chromecast
    9.7%
    TVデバイス
    スマホ / タブレット/PC
    ブラウザ
    18.6%
    Nintendo
    Switch
    1.0%
    Apple TV
    0.5%

    View Slide

  21. AbemaTV, Inc. All Rights Reserved
 21
    THE MATCH 2022 視聴実態
    1080p
    59.8%
    解像度取得
    分布
    240p
    4.3%
    720p
    27.8%
    480p
    6.1%
    180p
    1.3%
    Android
    5.7%
    iOS
    22.1%
    Fire TV
    24.9%
    Android TV
    17.6%
    デバイス
    分布
    Chromecast
    9.7%
    TVデバイス
    スマホ / タブレット/PC
    ブラウザ
    18.6%
    Nintendo
    Switch
    1.0%
    Apple TV
    0.5%
    地上デジタルテレビ放送
    BSデジタルハイビジョン(2K)放送
    同等以上の映像品質が必要

    View Slide

  22. AbemaTV, Inc. All Rights Reserved
 22
    地上波レベルの高画質配信
    制作
    MAQS
    Media Asset Quality Strategists
    伝送 再生
    配信

    View Slide

  23. AbemaTV, Inc. All Rights Reserved
 23
    ワールドカップ出力仕様
    画質重視
    STRIKER
    再生安定性重視
    DEFENDER
    エンコードパターン 解像度
    1920x1080
    1280x720
    854x480
    640x360
    59.94p
    59.94p
    426x240
    1920x1080
    1280x720
    854x480
    640x360
    426x240
    59.94p
    59.94p
    59.94p
    29.97p
    29.97p
    29.97p
    29.97p
    29.97p
    最大ビットレート 実平均ビットレート
    15,600,000
    10,500,000
    6,000,000
    2,800,000
    864,000
    9,500,000
    5,000,000
    2,700,000
    1,500,000
    800,000
    10,000,000
    6,700,000
    3,500,000
    2,000,000
    770,000
    8,300,000
    4,300,000
    2,200,000
    1,250,000
    740,000

    View Slide

  24. AbemaTV, Inc. All Rights Reserved
 24
    ライブイベント
    チャンネル型
    24時間365日 提供
    マニフェストプレイアウト
    ライブ対応
    コメント
    リニア配信 PPV
    従来の配信機能ベース
    ライブイベント
    新規機能
    複数チャンネル型
    イベント提供 [ Update ]
    マニフェストプレイアウト
    ライブ対応
    コメント
    マルチアングル [ New ]
    イベント型 [ Update ]
    イベント提供
    プレイアウト [ Update ]
     エンコーダー調整
     安定性調整
    ライブ対応
    コメント
    マルチアングル
    スタッツ [ New ]
    応用 刷新
    コンテンツ特化の対応を施すことが困難 特化対応可能

    View Slide

  25. AbemaTV, Inc. All Rights Reserved

    クラウド
    25
    運用改善 映像制作フローを高速化
    スタジオ
    過去素材
    保管NAS
    編集用
    PC
    スタジオ
    メディア収

    素材管理
    System
    公開
    サービス
    管理ツール
    ABEMA
    制作会社A
    制作会社B
    オフィス内
    リモート
    オペレーション
    MAルーム
    完パケ制作
    クラウド格納
    クラウド
    アーカイブ
    クラウド編集
    作業用クラウド
    ストレージ
    クラウド納品
    MAM
    収録
    サーバ
    VTR制作
    事中切り出し
    VDI環境
    Workflow
    System


    I




    I



    現地映像

    View Slide

  26. AbemaTV, Inc. All Rights Reserved
 26
    ピークトラフィックの算出方式
    THE MATCH 2022 配信データ
    過去ワールドカップにおける
    地上波視聴率データ
    現在の出力仕様 解像度所得分布
    ユーザー帯域予測
    FIFAワールドカップ2022
    出力仕様
    1人あたりのビットレート
    対戦カードごとの
    注目度係数
    配信時間帯係数
    FIFAワールドカップ2022
    地上波視聴率予測
    FIFAワールドカップ2022
    解像度取得分布
    ピークトラフィック
    定常時トラフィック
    同時配信時/単独配信時
    地上波:インターネット 視聴比率
    同時配信時/単独配信時
    ABEMA視聴数:ライブ同時接続 比率
    ピーク同時接続数

    View Slide

  27. AbemaTV, Inc. All Rights Reserved
 27
    ピークトラフィックの算出方式
    THE MATCH 2022 配信データ
    過去ワールドカップにおける
    地上波視聴率データ
    現在の出力仕様 解像度所得分布
    ユーザー帯域予測
    FIFAワールドカップ2022
    出力仕様
    1人あたりのビットレート
    対戦カードごとの
    注目度係数
    配信時間帯係数
    FIFAワールドカップ2022
    地上波視聴率予測
    FIFAワールドカップ2022
    解像度取得分布
    ピークトラフィック
    定常時トラフィック
    同時配信時/単独配信時
    地上波:インターネット 視聴比率
    同時配信時/単独配信時
    ABEMA視聴数:ライブ同時接続 比率
    ピーク同時接続数

    View Slide

  28. AbemaTV, Inc. All Rights Reserved
 28
    ピークトラフィックの算出方式
    THE MATCH 2022 配信データ
    過去ワールドカップにおける
    地上波視聴率データ
    現在の出力仕様 解像度所得分布
    ユーザー帯域予測
    FIFAワールドカップ2022
    出力仕様
    1人あたりのビットレート
    対戦カードごとの
    注目度係数
    配信時間帯係数
    FIFAワールドカップ2022
    地上波視聴率予測
    FIFAワールドカップ2022
    解像度取得分布
    ピークトラフィック
    定常時トラフィック
    同時配信時/単独配信時
    地上波:インターネット 視聴比率
    同時配信時/単独配信時
    ABEMA視聴数:ライブ同時接続 比率
    ピーク同時接続数

    View Slide

  29. AbemaTV, Inc. All Rights Reserved
 29
    ピークトラフィックの算出方式
    THE MATCH 2022 配信データ
    過去ワールドカップにおける
    地上波視聴率データ
    現在の出力仕様 解像度所得分布
    ユーザー帯域予測
    FIFAワールドカップ2022
    出力仕様
    1人あたりのビットレート
    対戦カードごとの
    注目度係数
    配信時間帯係数
    FIFAワールドカップ2022
    地上波視聴率予測
    FIFAワールドカップ2022
    解像度取得分布
    ピークトラフィック
    定常時トラフィック
    同時配信時/単独配信時
    地上波:インターネット 視聴比率
    同時配信時/単独配信時
    ABEMA視聴数:ライブ同時接続 比率
    ピーク同時接続数

    View Slide

  30. AbemaTV, Inc. All Rights Reserved
 30
    ピークトラフィックの算出方式
    THE MATCH 2022 配信データ
    過去ワールドカップにおける
    地上波視聴率データ
    現在の出力仕様 解像度所得分布
    ユーザー帯域予測
    FIFAワールドカップ2022
    出力仕様
    1人あたりのビットレート
    対戦カードごとの
    注目度係数
    配信時間帯係数
    FIFAワールドカップ2022
    地上波視聴率予測
    FIFAワールドカップ2022
    解像度取得分布
    ピークトラフィック
    定常時トラフィック
    同時配信時/単独配信時
    地上波:インターネット 視聴比率
    同時配信時/単独配信時
    ABEMA視聴数:ライブ同時接続 比率
    ピーク同時接続数

    View Slide

  31. AbemaTV, Inc. All Rights Reserved
 31
    それぞれの対策
    負荷対策
    機能の優先順位の整理
    コンポーネントごとの負荷係数算出
    キャパシティプランニング及び負荷試験
    各種制限機構の開発
    障害対策
    優先機能の稼働率目標の見直し
    クラウド上のリージョン冗長化
    CDNバランシング
    障害時復旧速度の改善
    攻撃対策
    脆弱性の分析
    DoS攻撃に対する防御機構の再設定
    発生時オペレーションの構築

    View Slide

  32. AbemaTV, Inc. All Rights Reserved
 32
    それぞれの対策
    負荷対策
    機能の優先順位の整理
    コンポーネントごとの負荷係数算出
    キャパシティプランニング及び負荷試験
    各種制限機構の開発
    障害対策
    優先機能の稼働率目標の見直し
    クラウド上のリージョン冗長化
    CDNバランシング
    障害時復旧速度の改善
    攻撃対策
    脆弱性の分析
    DoS攻撃に対する防御機構の再設定
    発生時オペレーションの構築

    View Slide

  33. AbemaTV, Inc. All Rights Reserved
 33
    それぞれの対策
    負荷対策
    機能の優先順位の整理
    コンポーネントごとの負荷係数算出
    キャパシティプランニング及び負荷試験
    各種制限機構の開発
    障害対策
    優先機能の稼働率目標の見直し
    クラウド上のリージョン冗長化
    CDNバランシング
    障害時復旧速度の改善
    攻撃対策
    脆弱性の分析
    DoS攻撃に対する防御機構の再設定
    発生時オペレーションの構築

    View Slide

  34. AbemaTV, Inc. All Rights Reserved
 34
    それぞれの対策
    負荷対策
    機能の優先順位の整理
    コンポーネントごとの負荷係数算出
    キャパシティプランニング及び負荷試験
    各種制限機構の開発
    障害対策
    優先機能の稼働率目標の見直し
    クラウド上のリージョン冗長化
    CDNバランシング
    障害時復旧速度の改善
    攻撃対策
    脆弱性の分析
    DoS攻撃に対する防御機構の再設定
    発生時オペレーションの構築

    View Slide