ペタバイト級の動画管理オペレーションを支えるCloud MAM開発

ABEMAでは年間数万本・数ペタバイト級の動画コンテンツが入稿され、「オオカミくんには騙されない」を代表作とする内製でのコンテンツ制作も盛んに行われています。

その中で高品質なアセットを効率的に提供することは事業成功の要であり、基幹業務とも言える部分となります。

また、昨今の社会的事情によりテレワーク化が促進され、従来のオフィスでの業務を前提としていた動画管理オペレーションについても変化が求められています。

本セッションではクラウドを活用したMedia Asset Management(MAM)に関する開発戦略と事例についてお話します。

https://developer.abema.io/2021/sessions/xenFwSUPSe/?utm_medium=social&utm_source=slideshare

Transcript

2. Profile 中澤 優一郎(nakazawa yuichiro) 所属 株式会社AbemaTV 開発本部 コンテンツエンジニアリンググループ マネージャー 経歴 2012年入社 Amebaスマートフォンプラットフォーム 2014年~ 株式会社マッチングエージェント 2015年~ 株式会社AbemaTV
3. 関連セッション 映像の高画質化・大容量化 ・4K・8K/HDR/BT2020/HighFPS 放送波のインターネット配信 放送とインターネットの距離が縮まり パブリッククラウドやWeb技術の利活用がしやすい状況が整いつつある こちらのセッションで詳しく話して いるのでアーカイブを参照ください
4. 本日のアジェンダ • コンテンツエンジニアリングチームについて • ABEMAにおけるコンテンツサプライチェーンの成り立ち • 現在までのCloud MAM開発 • 今後のCloud MAM開発
5. コンテンツエンジニアリング チームについて CHAPTER　01
6. コンテンツエンジニアリング 放送業界とIT業界の間に位置するチーム コンテンツの品質定義を決定 コンテンツストラテジスト x 1 オペレーション設計 オペレーション ワークフローデザイナ x 1 データモデリング アーキテクト ソフトウェア開発 ソフトウェアエンジニア x 7 コスト 動画インフラ x 1 外部システムのSI
7. Inter BEE 2021 interbee2021のAWS Sessionにて発表させていただきました。 こちらもぜひ御覧ください
8. ABEMAにおける コンテンツサプライチェーンの 成り立ち CHAPTER　02
9. ABEMAについて 「リニア配信」・「オンデマンド配信」の二種類の配信形態を持つ 「オリジナル制作番組」・調達番組の二種類のコンテンツ 4Kオリジナル制作番組 「会社は学校じゃねぇんだよ」 2020 2Q決算資料より (https://www.cyberagent.co.jp/ir/library/results/)
10. VX Studio コンテンツ運用 [開局当初]コンテンツサプライチェーン マーケティング オフィス拠点 コンテンツ配信 制作 コンテンツ プロバイダ 法務 サービス基盤 納品 アーカイブ 権利確認 素材発給 編成・納品 編集 QC (QualityCheck) Transcode オンライン 納品 納品
11. 納品 オフィス拠点を中心とした人的運用がメイン VX Studio コンテンツ運用 [開局当初]コンテンツサプライチェーン マーケティング オフィス拠点 コンテンツ配信 制作 コンテンツ プロバイダ 法務 サービス基盤 アーカイブ 権利確認 素材発給 編成・納品 編集 QC (QualityCheck) Transcode オンライン 納品 納品
12. MAM(Media Asset Management) •コンテンツ資産(Media Asset)を管理するための機能群 •クラウドに展開したもの アーカイブ メタデータ管理 トランスコード ワークフロー 販促管理 ユーザー管理 品質管理 編集 Cloud MAM
13. コンテンツ資産(Media Asset) の構成要素 非構造化データ 構造化データ アセット • 動画ファイル ◦ コンテナ ◦ コーデック • サムネイル • 字幕テキスト (.vtt .srt etc...) メタデータ • ラベル • リレーション
14. Cloud MAMの導入による最適化 VX Studio コンテンツ運用 [開局当初]コンテンツサプライチェーン マーケティング オフィス拠点 コンテンツ配信 制作 コンテンツ プロバイダ 法務 サービス基盤 アーカイブ 権利確認 素材発給 編成・納品 編集 QC (QualityCheck) Transcode 納品 オンライン 納品 納品
15. 現在までの Cloud MAM 開発 CHAPTER　03
16. Cloud MAM プロジェクトマップ MediaAsset(動画xデータ)としての価値の最大化 高品質アセットの 生成と提供 データ品質の向上 ・データフローの 最適化 オペレーションの 高品質化 Media Workflow Pipelineの実現 放送素材の クラウド アーカイブ VDIによるリモー トオペレーション 環境 の実現 コンテンツ特徴量 の強化 コスト最適化 モニタリング システム 信頼性向上 2021年度目標 Vision 戦略目標
17. VX Studio コンテンツ運用 [現在] コンテンツサプライチェーン Cloud MAM マーケティング オフィス拠点 コンテンツ配信 制作 コンテンツ プロバイダ 法務 サービス基盤 納品 権利確認 素材発給 編成・納品 納品 VDI 編集 自宅 QC オンライン 納品 Archive Storage Transcoder Auto QC Workflow Storage Metadata
18. Media Workflow Pipelineの実現 マニュアルオペレーションの最小化 • 自動QCシステムとの結合 • エンコーダーとの結合 クラウドソリューションを活用 • 技術選択の柔軟性 • 拠点外からの作業 Cloud QC System Application Workflow Encoder Encode QC (QualityCheck) Register
19. Workflow Integration Media Workflow Pipelineの実現 コンテンツ 運用 Auto QC Encoder Archive Manual QC マーケティング コンテンツ配信 アーカイブ 法務 サービス基盤 Metadata 要求品質・フォーマット はそれぞれ異なる Media Workflow Pipeline 利用者ごとに異なるワークフローを提供 コアロジックの 共通化
20. AWS Step Functions state machine AWS Cloud 事例紹介 ID System AWS Elemental MediaConvert Auto QC System Amazon CloudFront AWS X-Ray 作品プレビュー機能を生成するワークフロー Analyze Encode QC Register Store
21. 放送素材のクラウドアーカイブ 放送素材の特徴 • 大容量 • アクセス頻度少 • 長期保存 クラウド管理によるメリット • データ損失リスクの最小化 ◦ HDDなどの物理媒体の廃止 • 再利用性の向上 ◦ 検索 • セキュリティ向上 ◦ オペレーションログ 制作 Cloud MAM 放送素材 ・完パケ ・白映像 ・黒映像 ・宣材写真 アーカイブ Storage 納品
22. 放送素材のクラウドアーカイブ AWS Cloud クラウドアーカイブシステム・アーキテクチャ図 Operators Browser Amazon API Gateway Amazon Cognito Amazon DynamoDB AWS Lambda Amazon S3 <Storage bucket> AWS Elemental MediaConvert Amazon S3 <Proxy bucket> Amazon OpenSearch Service (successor to Amazon Elasticsearch Service) Amazon WorkSpaces Amazon S3 <Bucket for edit> Amazon ECS
23. VDIによるリモートオペレーションの実現 オペレーションをオフィス拠点に依存しない • Amazon Workspacesを利用しリモート環境でのオペレーションを実現 Before：オフィスワーク After：テレワーク チェック 編集 変換 システム登録 納品 ローカルPC トランスコーダー チェック 編集 変換 納品 Amazon WorkSpaces AWS Elemental MediaConvert システム登録
24. AWS Cloud VDIによるリモートオペレーションの実現 社外（モバイル/その他） データセンター オフィス 社外（社用端末） 社内システム 周辺システム Amazon S3 Amazon WorkSpaces セキュリティ ソフト Internet VPN
25. コンテンツ特徴量強化 メタデータの整備によりユーザ機能への活用を促進する 要件定義 • メタデータの可視化レポート • ユーザー機能の課題 データモデリング • カテゴリなどのメタタグ情報の整備 • コンテンツ間の相関関係をモデリング オペレーション設計 • 入稿規定の整備 活用 • レコメンド・検索などのユーザー機能への適用 Vメタ レコメンド 分析 検索 ユーザ機能 オペレータ 入稿規定 PM 活用 データ モデリング オペレーショ ン設計 要件定義 Eng 可視化 レポート
26. ID 体系 不変 メタデータ 可変 メタデータ コンテンツ特徴量強化 Level 1 ・シリーズ構造 Level 2 ・タイトル ・エピソードNo Level 3 ・カテゴリ ・ジャンル ・ラベル ※movie BSeries BSeaso n BEpisod e parentOf parentOf parentOf Cast Staff Role Person Group groupBy groupBy groupBy compirationOf sourceOf コンテンツメタデータモデリング
27. コンテンツ特徴量強化 可視化 入稿定義 入稿
28. コスト最適化 Cloud Storageコスト • 物理媒体 ➡ クラウドストレージへの移行でコスト増加 ◦ データの信頼性/利便性・コストのトレードオフ ◦ AWS S3 DeepArchiveなどを活用し定常コストを抑える ◦ コンテンツライフサイクルの整備 その他システムコスト • サーバーレスシステムへの移行
29. VX Studio コンテンツ運用 [現在] コンテンツサプライチェーン Cloud MAM マーケティング オフィス拠点 コンテンツ配信 制作 コンテンツ プロバイダ 法務 サービス基盤 納品 権利確認 素材発給 編成・納品 納品 VDI 編集 自宅 QC Archive Storage Transcoder Auto QC Workflow Storage Metadata オンライン 納品
30. 今後の Cloud MAM 開発 CHAPTER　04
31. 今後の取り組み さらなるMAMの進化 • オフィスからの脱却 ◦ 制作からのクラウド納品実現 ◦ 高度編集領域へのVDIの適用 • MAMのカバー範囲の拡大 ◦ データフロー最適化 ◦ 機械学習領域との連携 ◦ メタデータの拡充 セキュリティ ・監査ログの強化 ・セキュアクライアントの導入 ・コンプライアンス意識の啓蒙活動 コスト最適化 ・コンテンツライフサイクル ・適正品質でのアーカイブ
32. コンテンツ運用 VX Studio [未来] コンテンツサプライチェーン Cloud MAM マーケティング コンテンツ配信 制作 コンテンツ プロバイダ 法務 サービス基盤 Archive Storage 権利確認 素材発給 編成・納品 納品 VDI Transcoder Auto QC Workflow Storage 編集 自宅 QC Metadata 機械学習 メタデータ 回線センター オンライン 納品