Amazon S3マウントとAWS Elemental MediaConvertを活用した動画サムネイル自動生成の最適化

Transcript

1. NRI ネットコム TECH AND DESIGN STUDY #12 S3マウントとElemental MediaConvertを活用した 動画サムネイル自動生成の 最適化 NRI ネットコム株式会社　志水 友輔 #nncstudy 転載、複製、改変等は禁止します
2. S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 Web システムのPoC 、アーキテクトがおしごと 　AWS CDK/Cloud9/ChatGPT/ カメラ/ つけ麺 Blog: 志水 友輔 (しみず ゆうすけ) NRI ネットコム株式会社 / CLOUD ARCHITECT #nncstudy 転載、複製、改変等は禁止します
3. Amazon S3と Mountpoint for Amazon S3 S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 #nncstudy 転載、複製、改変等は禁止します
4. S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 S3とは 任意の量のデータを保存し、インターネットからア クセスできます。Web アプリケーションのバックエ ンドストレージ、データバックアップ、災害復旧、 アーカイブに役立ちます。 データの格納と取得 データの耐久性、可用性、アクセス制御を確保する 機能を提供します。データの自動バックアップ、ク ロスリージョンレプリケーション、バージョニン グ、アクセスコントロールリスト（ACL ）、バケッ トポリシー、IAM ポリシーが含まれます。 データ保護とセキュリティ #nncstudy 転載、複製、改変等は禁止します Amazon Simple Storage Service (Amazon S3)
5. S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 Mountpoint for Amazon S3の概要 Linux アプリケーションがS3 バケットに直接接続す るためのオープンソースのファイルクライアントで す。ls/cat/find/rm コマンドなどが利用可能です。 Mountpoint for Amazon S3 とは コンピューティングストレージの容量を消費せずに データを操作でき、ネットワーク帯域幅を有効活用 し、スループットを向上させることができます。 直接マウントのメリット Amazon Elastic Compute Cloud (Amazon EC2) S3 mount #nncstudy 転載、複製、改変等は禁止します Amazon Elastic Container Service (Amazon ECS) EC2
6. AWS Elemental MediaConvert S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 #nncstudy 転載、複製、改変等は禁止します
7. S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 Elemental MediaConvertの概要 AWS Elemental MediaConvert はブロードキャスト およびマルチスクリーン向けの高品質なVOD コンテ ンツ変換を提供。さらに、サムネイル生成機能も含 む。 高度な動画処理 動画処理のインフラを自動化し、冗長性とスケーラ ビリティを高めます。AWS コンソールまたはAPI で 簡単に操作可能。 自動リソース管理と信頼性 S3 S3 AWS Elemental MediaConvert #nncstudy 転載、複製、改変等は禁止します
8. S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 time time サムネイル生成の既存の課題 MediaConvert では、動画の長さに依存せず、固定 されたタイミングの画像しかサムネイルとして出力 できない。 固定タイミングのサムネイル #nncstudy 転載、複製、改変等は禁止します time time 1s 1s 1s 1s 1s 1s 1s 1s 1s 1s 1s 1s 1.5s 1.5s 1.5s 1.5s
9. S3マウントを活用した サムネイル生成の最適化 S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 #nncstudy 転載、複製、改変等は禁止します
10. S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 ECS 動画に応じた長さのサムネイル作成方法 ECS がS3 から動画を取得し、動画の長さを取得。そ の長さに応じてサムネイルのタイミングを計算し、 AWS Elemental MediaConvert に送信。 MediaConvert は指定されたタイミングでサムネイ ルを生成し、結果をS3 に保存。 ECS を利用したサムネイル生成 動画の情報取得をサーバで行い、その内容を MediaConvert へインプットして実行。これによ り、MediaConvert 単体では不可能な動作がサーバ を介して可能になります。 サーバを利用したサムネイル生成 S3 S3 Elemental MediaConvert #nncstudy 転載、複製、改変等は禁止します
11. S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 ECS S3マウントを利用して動画取得 S3 マウントを利用することで、ECS を経由せず、直 接S3 から動画の長さを取得できます。これにより、 サムネイル生成のタイミングを動画の長さに応じて 効率的に計算することが可能です。 効率的な動画情報取得 S3 マウントを使うことで、ネットワーク帯域幅を有 効活用し、データのスループットが向上します。こ れは特に、大量の動画データを処理する際に重要で す。 ネットワーク帯域幅の有効活用 S3 S3 Elemental MediaConvert ここをS3 マウント利用 #nncstudy 転載、複製、改変等は禁止します
12. やってみた S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 #nncstudy 転載、複製、改変等は禁止します
13. S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 ECS つくってみた Amazon EventBridge Scheduler CDK を使ってサクッとインフラを構築したかったの で、L3 construct がある、スケジュール実行のECS (ECS on EC2) を利用しました。これにより、ECS を EventBridge から起動することができました。 EventBridge からECS 起動 S3 S3 Elemental MediaConvert #nncstudy 転載、複製、改変等は禁止します
14. S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 つくってみた 動画ファイルの長さに応じてサムネイルを生成する には、動画の情報を取得し、それをMediaConvert のJob として設定する必要がありました。このプロセ スを自動化し、テンプレートをCDK から作成し、ジ ョブ実行はコンテナから行いました。 MediaConvert のJob 作成 #nncstudy 転載、複製、改変等は禁止します time ECS Elemental MediaConvert time 1.5s 1.5s 1.5s 1.5s 動画時間取得 分割時間設定(1.5s) サムネイル出力 .
15. S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 うごかしてみた #nncstudy 転載、複製、改変等は禁止します 10 5 分割 8 6 4 2 60 48 36 24 12 5 分割
16. S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 やってみて躓いた点 AWS Fargate ではprivileged モードでのコンテナ実 行が不可能で、S3 マウントができません。この問題 を解決するために、EC2 インスタンス上でコンテナ をprivileged モードで実行しました。 Fargate の未対応 boto3, ffprobe, s3 mount コマンドが利用できる Ubuntu またはAmazon Linux 環境の構築が必要でし たが、ベースのイメージをどれにするかが難しかっ たです。最終的に、ffmpeg のUbuntu イメージをベ ースに選択しました。 コンテナ環境の構築 #nncstudy 転載、複製、改変等は禁止します S3 Fargate
17. まとめと今後の展望 S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 #nncstudy 転載、複製、改変等は禁止します
18. S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 まとめ S3 マウント、MediaConvert 、コンテナ利用による 動画の長さに合わせたサムネイル生成のプロセスを 詳細に検討。CDK 利用のインフラ構築、コンテナ環 境の構築、遭遇した課題と解決方法についても触れ ました。 プロセスの詳細解説 動画長に応じたサムネイル生成の最適化に焦点、 AWS のサービス活用した構成と実装を紹介。S3 マウ ント活用のデータ取得、MediaConvert を用いたサ ムネイル生成プロセスを中心に議論。 AWS サービス活用の検討 ECS S3 S3 Elemental MediaConvert #nncstudy 転載、複製、改変等は禁止します EventBridge Scheduler
19. S3 マウントとElemental MediaConvert を活用した動画サムネイル自動生成の最適化 ECS 今後の展望 今後、ネットワーク帯域が効率的に利用されている か検証することが重要。特に、S3 マウントを使用し て動画データを取得する際のネットワーク利用状況 を検証し、必要に応じて最適化を行います。 ネットワーク帯域の効率的利用の検証 ECS にファイル名や分割数をインプットし、サムネ イル出力を自動化する目的で、SQS -> EventBridge Pipes -> ECS の新構成を検討中です。この変更によ り、より柔軟かつ効率的な動画処理が可能になる予 定です。 サムネイル作成の自動化 S3 EventBridge Pipes #nncstudy 転載、複製、改変等は禁止します Amazon Simple Queue Service (Amazon SQS)