ペタバイト級の動画管理オペレーションを支えるCloud MAM開発

ABEMAでは年間数万本・数ペタバイト級の動画コンテンツが入稿され、「オオカミくんには騙されない」を代表作とする内製でのコンテンツ制作も盛んに行われています。

その中で高品質なアセットを効率的に提供することは事業成功の要であり、基幹業務とも言える部分となります。

また、昨今の社会的事情によりテレワーク化が促進され、従来のオフィスでの業務を前提としていた動画管理オペレーションについても変化が求められています。

本セッションではクラウドを活用したMedia Asset Management(MAM)に関する開発戦略と事例についてお話します。

https://developer.abema.io/2021/sessions/xenFwSUPSe/?utm_medium=social&utm_source=slideshare

Transcript

1. View Slide

2. Profile
   中澤 優一郎(nakazawa yuichiro)
   所属
   株式会社AbemaTV 開発本部
   コンテンツエンジニアリンググループ
   マネージャー
   経歴
   2012年入社 Amebaスマートフォンプラットフォーム
   2014年~ 株式会社マッチングエージェント
   2015年~ 株式会社AbemaTV
   

   View Slide

3. 関連セッション
   映像の高画質化・大容量化
   ・4K・8K/HDR/BT2020/HighFPS
   放送波のインターネット配信
   放送とインターネットの距離が縮まり
   パブリッククラウドやWeb技術の利活用がしやすい状況が整いつつある
   こちらのセッションで詳しく話して
   いるのでアーカイブを参照ください
   

   View Slide

4. 本日のアジェンダ
   ● コンテンツエンジニアリングチームについて
   ● ABEMAにおけるコンテンツサプライチェーンの成り立ち
   ● 現在までのCloud MAM開発
   ● 今後のCloud MAM開発
   

   View Slide

5. コンテンツエンジニアリング
   チームについて
   CHAPTER　01
   

   View Slide

6. コンテンツエンジニアリング
   放送業界とIT業界の間に位置するチーム
   コンテンツの品質定義を決定
   コンテンツストラテジスト x 1
   オペレーション設計
   オペレーション
   ワークフローデザイナ x 1
   データモデリング
   アーキテクト
   ソフトウェア開発
   ソフトウェアエンジニア x 7
   コスト
   動画インフラ x 1
   外部システムのSI
   

   View Slide

7. Inter BEE 2021
   interbee2021のAWS Sessionにて発表させていただきました。
   こちらもぜひ御覧ください
   

   View Slide

8. ABEMAにおける
   コンテンツサプライチェーンの
   成り立ち
   CHAPTER　02
   

   View Slide

9. ABEMAについて
   「リニア配信」・「オンデマンド配信」の二種類の配信形態を持つ
   「オリジナル制作番組」・調達番組の二種類のコンテンツ
   4Kオリジナル制作番組
   「会社は学校じゃねぇんだよ」
   2020 2Q決算資料より
   (https://www.cyberagent.co.jp/ir/library/results/)
   

   View Slide

10. VX Studio
    コンテンツ運用
    [開局当初]コンテンツサプライチェーン
    マーケティング
    オフィス拠点 コンテンツ配信
    制作
    コンテンツ
    プロバイダ
    法務
    サービス基盤
    納品
    アーカイブ
    権利確認
    素材発給
    編成・納品
    編集
    QC
    (QualityCheck)
    Transcode
    オンライン
    納品
    納品
    

    View Slide

11. 納品
    オフィス拠点を中心とした人的運用がメイン
    VX Studio
    コンテンツ運用
    [開局当初]コンテンツサプライチェーン
    マーケティング
    オフィス拠点 コンテンツ配信
    制作
    コンテンツ
    プロバイダ
    法務
    サービス基盤
    アーカイブ
    権利確認
    素材発給
    編成・納品
    編集
    QC
    (QualityCheck)
    Transcode
    オンライン
    納品
    納品
    

    View Slide

12. MAM(Media Asset Management)
    •コンテンツ資産(Media Asset)を管理するための機能群
    •クラウドに展開したもの
    アーカイブ
    メタデータ管理
    トランスコード
    ワークフロー
    販促管理
    ユーザー管理 品質管理
    編集
    Cloud MAM
    

    View Slide

13. コンテンツ資産(Media Asset) の構成要素
    非構造化データ 構造化データ
    アセット
    ● 動画ファイル
    ○ コンテナ
    ○ コーデック
    ● サムネイル
    ● 字幕テキスト
    (.vtt .srt etc...)
    メタデータ
    ● ラベル
    ● リレーション
    

    View Slide

14. Cloud MAMの導入による最適化
    VX Studio
    コンテンツ運用
    [開局当初]コンテンツサプライチェーン
    マーケティング
    オフィス拠点 コンテンツ配信
    制作
    コンテンツ
    プロバイダ
    法務
    サービス基盤
    アーカイブ
    権利確認
    素材発給
    編成・納品
    編集
    QC
    (QualityCheck)
    Transcode
    納品
    オンライン
    納品
    納品
    

    View Slide

15. 現在までの
    Cloud MAM 開発
    CHAPTER　03
    

    View Slide

16. Cloud MAM プロジェクトマップ
    MediaAsset(動画xデータ)としての価値の最大化
    高品質アセットの
    生成と提供
    データ品質の向上
    ・データフローの
    最適化
    オペレーションの
    高品質化
    Media Workflow
    Pipelineの実現
    放送素材の
    クラウド
    アーカイブ
    VDIによるリモー
    トオペレーション
    環境
    の実現
    コンテンツ特徴量
    の強化
    コスト最適化
    モニタリング
    システム
    信頼性向上
    2021年度目標
    Vision
    戦略目標
    

    View Slide

17. VX Studio
    コンテンツ運用
    [現在] コンテンツサプライチェーン
    Cloud MAM
    マーケティング
    オフィス拠点
    コンテンツ配信
    制作
    コンテンツ
    プロバイダ
    法務
    サービス基盤
    納品
    権利確認
    素材発給
    編成・納品
    納品
    VDI
    編集
    自宅
    QC
    オンライン
    納品
    Archive
    Storage
    Transcoder
    Auto QC
    Workflow
    Storage
    Metadata
    

    View Slide

18. Media Workflow Pipelineの実現
    マニュアルオペレーションの最小化
    ● 自動QCシステムとの結合
    ● エンコーダーとの結合
    クラウドソリューションを活用
    ● 技術選択の柔軟性
    ● 拠点外からの作業 Cloud QC
    System
    Application
    Workflow
    Encoder
    Encode QC
    (QualityCheck)
    Register
    

    View Slide

19. Workflow Integration
    Media Workflow Pipelineの実現
    コンテンツ
    運用
    Auto
    QC
    Encoder
    Archive
    Manual
    QC
    マーケティング
    コンテンツ配信
    アーカイブ
    法務
    サービス基盤
    Metadata
    要求品質・フォーマット
    はそれぞれ異なる
    Media Workflow Pipeline
    利用者ごとに異なるワークフローを提供
    コアロジックの
    共通化
    

    View Slide

20. AWS Step Functions state machine
    AWS Cloud
    事例紹介
    ID
    System
    AWS
    Elemental
    MediaConvert
    Auto QC
    System
    Amazon
    CloudFront
    AWS
    X-Ray
    作品プレビュー機能を生成するワークフロー
    Analyze Encode QC Register Store
    

    View Slide

21. 放送素材のクラウドアーカイブ
    放送素材の特徴
    ● 大容量
    ● アクセス頻度少
    ● 長期保存
    クラウド管理によるメリット
    ● データ損失リスクの最小化
    ○ HDDなどの物理媒体の廃止
    ● 再利用性の向上
    ○ 検索
    ● セキュリティ向上
    ○ オペレーションログ
    制作
    Cloud MAM
    放送素材
    ・完パケ
    ・白映像
    ・黒映像
    ・宣材写真
    アーカイブ
    Storage
    納品
    

    View Slide

22. 放送素材のクラウドアーカイブ
    AWS Cloud
    クラウドアーカイブシステム・アーキテクチャ図
    Operators Browser
    Amazon API Gateway
    Amazon Cognito
    Amazon DynamoDB
    AWS Lambda
    Amazon S3
    
    AWS Elemental
    MediaConvert
    Amazon S3
    
    Amazon OpenSearch Service
    (successor to
    Amazon Elasticsearch Service)
    Amazon WorkSpaces
    Amazon S3
    
    Amazon ECS
    

    View Slide

23. VDIによるリモートオペレーションの実現
    オペレーションをオフィス拠点に依存しない
    ● Amazon Workspacesを利用しリモート環境でのオペレーションを実現
    Before：オフィスワーク
    After：テレワーク
    チェック 編集 変換 システム登録
    納品
    ローカルPC トランスコーダー
    チェック 編集 変換
    納品
    Amazon WorkSpaces AWS Elemental
    MediaConvert
    システム登録
    

    View Slide

24. AWS Cloud
    VDIによるリモートオペレーションの実現
    社外（モバイル/その他）
    データセンター
    オフィス 社外（社用端末）
    社内システム
    周辺システム
    Amazon S3
    Amazon WorkSpaces
    セキュリティ
    ソフト
    Internet VPN
    

    View Slide

25. コンテンツ特徴量強化
    メタデータの整備によりユーザ機能への活用を促進する
    要件定義
    ● メタデータの可視化レポート
    ● ユーザー機能の課題
    データモデリング
    ● カテゴリなどのメタタグ情報の整備
    ● コンテンツ間の相関関係をモデリング
    オペレーション設計
    ● 入稿規定の整備
    活用
    ● レコメンド・検索などのユーザー機能への適用
    Vメタ
    レコメンド
    分析
    検索
    ユーザ機能
    オペレータ
    入稿規定
    PM
    活用
    データ
    モデリング
    オペレーショ
    ン設計
    要件定義
    Eng
    可視化
    レポート
    

    View Slide

26. ID
    体系
    不変
    メタデータ
    可変
    メタデータ
    コンテンツ特徴量強化
    Level 1
    ・シリーズ構造
    Level 2
    ・タイトル
    ・エピソードNo
    Level 3
    ・カテゴリ
    ・ジャンル
    ・ラベル
    ※movie
    BSeries
    BSeaso
    n
    BEpisod
    e
    parentOf parentOf
    parentOf
    Cast
    Staff
    Role
    Person
    Group
    groupBy
    groupBy
    groupBy
    compirationOf
    sourceOf
    コンテンツメタデータモデリング
    

    View Slide

27. コンテンツ特徴量強化
    可視化
    入稿定義
    入稿
    

    View Slide

28. コスト最適化
    Cloud Storageコスト
    ● 物理媒体 ➡ クラウドストレージへの移行でコスト増加
    ○ データの信頼性/利便性・コストのトレードオフ
    ○ AWS S3 DeepArchiveなどを活用し定常コストを抑える
    ○ コンテンツライフサイクルの整備
    その他システムコスト
    ● サーバーレスシステムへの移行
    

    View Slide

29. VX Studio
    コンテンツ運用
    [現在] コンテンツサプライチェーン
    Cloud MAM
    マーケティング
    オフィス拠点
    コンテンツ配信
    制作
    コンテンツ
    プロバイダ
    法務
    サービス基盤
    納品
    権利確認
    素材発給
    編成・納品
    納品
    VDI
    編集
    自宅
    QC
    Archive
    Storage
    Transcoder
    Auto QC
    Workflow
    Storage
    Metadata
    オンライン
    納品
    

    View Slide

30. 今後の
    Cloud MAM 開発
    CHAPTER　04
    

    View Slide

31. 今後の取り組み
    さらなるMAMの進化
    ● オフィスからの脱却
    ○ 制作からのクラウド納品実現
    ○ 高度編集領域へのVDIの適用
    ● MAMのカバー範囲の拡大
    ○ データフロー最適化
    ○ 機械学習領域との連携
    ○ メタデータの拡充
    セキュリティ
    ・監査ログの強化
    ・セキュアクライアントの導入
    ・コンプライアンス意識の啓蒙活動
    コスト最適化
    ・コンテンツライフサイクル
    ・適正品質でのアーカイブ
    

    View Slide

32. コンテンツ運用
    VX Studio
    [未来] コンテンツサプライチェーン
    Cloud MAM
    マーケティング
    コンテンツ配信
    制作
    コンテンツ
    プロバイダ
    法務
    サービス基盤
    Archive
    Storage
    権利確認
    素材発給
    編成・納品
    納品
    VDI
    Transcoder
    Auto QC
    Workflow
    Storage
    編集
    自宅
    QC
    Metadata
    機械学習
    メタデータ
    回線センター
    オンライン
    納品
    

    View Slide

33. View Slide