Share
Embed
Transcript
191 slides
-
動画技術関連レポート 株式会社 AbemaTV 五藤 佑典 | 山田 岳人 | 岸
良 | 福永 亘 2024 -
五藤 佑典 YUSUKE GOTO https://ygoto3.com/ @ygoto3_ • California State University,
San Bernardino グラフィックデザイン専攻 Career History 1. Graphic / Web Designer 2. Marketer 3. Web Engineer 4. Video Engineer 5. Technical Product Manager • CyberAgent Developer Expert @(株)サイバーエージェント • Director of Device Engineering @(株)AbemaTV -
◦ AbemaTV Content Engineering ◦ 2012年株式会社サイバーエージェント入社 ◦ 「Ameba」や「OPENREC」等の開発を担当 ◦ 2021年4月より「AbemaTV」
山田 岳人 (Gakuto Yamada) @gactocat @gactocat -
◦ AbemaTV ビジネスデベロップメント本部 開発局局長 ◦ 2011年株式会社サイバーエージェント入社 ◦ 「アメブロ」や「ガールフレンド ( 仮
)」,「オルタナティブガールズ」 等の開発を担当。 ◦ 2017年9月より「AbemaTV」広告本部に参画。 福永 亘 (Wataru Fukunaga) @wataru420 -
自己紹介 ◦ IT業界大手企業でのソフトウェア開発、 3G携帯網の開 発を経て、 ◦ 2011年株式会社サイバーエージェント入社。 ◦ 「アメーバブログアプリ」、「 Simplog」の
開 発 、「755」で CTOを担当。 ◦ 2018 年 2 月 より「Abema」に 参 画 し、 ContentsEngineeringチームを立ち上げ ◦ 2021年10月 Abema Data Centerを立ち上げ 岸 良 (Makoto Kishi) Data Div Principal Engineer -
アジェンダ • Ice Break • 米国の次世代デジタル放送標準規格 ATSC 3.0 の進化 •
米国動画ビジネスのマネタイズ事情 • 生成 AI は制作の現場でどう使われ始めているか • フェイク - 生成 AI がもたらすリスクと対策 • 脅威を増す Piracy と対策技術 • 映像コーデックの進化 • Immersive Video の今 • 次世代ストリーミングプロトコルの DRM • ANN による品質評価技術 • 広告関連技術の可能性 • 大手ソリューションメーカーから見るトレンド • 実用性を探るバーチャルプロダクション • メディア・サプライチェーンを進化させる技術たち • 世界最小の放送用カメラ -
NAB Show 2024 4/13 - 4/17 米国ラスベガス開催のNAB Show 2024 に行って来ました
NAB Show 全米放送事業者協会が主催するメディ ア、エンターテインメント、テクノロジーに 関する世界最大規模の展示会 今年の実績 参加者数:61,000+ 展示社数:約 1,300 -
Motivation AbemaTV を始めとするサイバーエージェントの動画事業を技術的に前進させる • 業界トレンドの定点観測 • アメリカを中心とする技術標準化の動向キャッチアップ • 複数の海外パートナー会社との一挙ミーティング •
業界先端企業の将来への見解や実践例などの情報収集 • 汎用ソリューションの進化状況の確認 • 以前に目をつけていた技術の進化状況の確認 -
DDaaS DDaaS = Data Distribution as a Service • ATSC
3.0 上で顧客情報を 使った放送を実現 ◦ デバイスへの信号送信/コ ンテンツ分布 ◦ 動的広告挿入に必要な 機能 -
DDaaS と MMT で ATSC 3.0 で動的広告挿入を実現する ATSC 3.0 上でデバイス情報を
使った動的広告挿入を行う • 技術コンポーネント ◦ DDaaS ◦ MMT -
決定ルールに従った広告挿入を MMT で実施 MMT = MPEG Media Transport • MPEG
が制定する次世代メディアトラ ンスポートの標準規格 • コンテンツが伝送される経路が複数で も同期可能 ◦ MPEG-2 Transport Stream では想定して いなかったユースケースに対応 ◦ 放送/通信両対応 -
決定ルールに従った広告挿入を MMT で実施 広告挿入 • 広告ファイルは ATSC 3.0 がサポートするファイル伝送プロトコル ROUTE
を使って事前にテレビデバイスに送信 • 番組の映像/音声データは MPU というデータ形式で再生プレイヤー に送信 • 広告を制御するためのマーカー情報などは ATSC 3.0 がサポートする もう 1 つの伝送プロトコルである MMTP で再生プレイヤーに送信 • MMTP にはパッケージングされたコンテンツを構成する情報やその取 得先が示された MP Table というアセットテーブルがあり、再生プレイ ヤーは MP Table の情報から事前にテレビデバイスに送信されている 広告ファイルをリクエスト • -
決定ルールに従った広告挿入を MMT で実施 広告挿入 • 広告ファイルは ATSC 3.0 がサポートするファイル伝送プロトコル ROUTE
を使って事前にテレビデバイスに送信 • 番組の映像/音声データは MPU というデータ形式で再生プレイヤー に送信 • 広告を制御するためのマーカー情報などは ATSC 3.0 がサポートする もう 1 つの伝送プロトコルである MMTP で再生プレイヤーに送信 • MMTP にはパッケージングされたコンテンツを構成する情報やその取 得先が示された MP Table というアセットテーブルがあり、再生プレイ ヤーは MP Table の情報から事前にテレビデバイスに送信されている 広告ファイルをリクエスト • 再生プレイヤーは取得した広告ファイルを提示時間情報に従って挿入 する -
MPU Media Processing Unit • MMT で規定される映像/音声 の蓄積向きデータ形式 • ISOBMFF
形式で表現 ◦ MPU のメタデータを ftyp / mmpu / moov などの box に格納 ◦ MMT の伝送用データ形式である MFT(Media Fragment Unit)を mdat に格納 -
MMTP による広告のシグナリング MMTP = MMT Protocol • MMT でのデータ送受信のためのプロトコル MMTP
でどう動的な広告をシグナルするか 1. 使えるサービスの一覧情報である Service List Table に MMTP 2. 選択されたサービスから Service Layer Signaling → User Service Description → MP Table と参照 3. MP Table からサービスを構成するアセット情報を取 得 4. 動画プレイヤーはアセット情報を使って広告をリクエ スト -
ATSC 3.0 の動的広告挿入技術 • 次世代デジタル放送 ATSC 3.0 でも FAST や
AVOD に近い形の動的広告挿入が できるように • 動的広告挿入ができるという点がインターネット動画配信が放送に対して優位だっ たのは過去のものになりつつある ◦ もちろん、依然としてインターネット動画配信が放送より自由で柔軟な広告商品を表現できるプラッ トフォームである -
放送局と OTT の融合 NBCU はこの NAB Show の期間中に ATSC3.0 によるよりパーソナライズドさ
れた視聴体験を提供することを発表。 同社は OTT サービスの Peacock も保 有している。 ※Using NextGen TV, NBCU Stations Announce Hyperlocal Capabilities https://www.forbes.com/sites/bradadgate/2024/04/16/using-nextg en-tv-nbcu-stations-announce-hyperlocal-capabilities/ -
マネタイズの変化 NBC Peacock、CBS Paramount+、ATSC3.0の 普及 放送局のOTT化 サブスクから 複合型への変化 FASTの加熱 TVデバイスメーカーによる
FASTプラットフォームの増 加 VIZIO Watch Free +、 Samsung Samsung TV+... Netflix、Disney等による広 告付き有料プランの展開等 ・FAST、チャンネルをつくって売るコストの定価 ・新たな広告表現の広がり 発生している変化 -
媒体各社が考える広告業界の課題 -ラウンドテーブルのサマリー ・1st Party Data の重要性 引き続き広告主は 1st Party Data
の取得に課題感 ・クリーンルームへの意識 膨大なデータをクリーンルームで管理している ・LookaLikeModel の課題 類推拡張モデルへの取り組み ・計測の課題 CTV やカーデバイスの計測に対する課題 ・Personal から Persona へ 日需要生活の状況で視聴者を捉える -
購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告
メタデータ管 理 -
SONY A2 Production • AIによるコンテンツ解析 ◦ スポーツ向けAIモデルでシーンでの盛り上 がりをタイムラインにプロット ◦ MLで歓声やボールの音などを利用して判定
◦ 原稿や記事の文字起こし • タイムラインの自動同期 • 音声解析 ◦ ナレーション、背景音楽などを分離 -
フェイスリプレイスメント Manifest (2023) 4シーズンにわたって配信されたドラマで、子 役が年をとって顔が変わってしまったため別の 子役の顔を置き換えた • 別の子役 (Driver) に演技をさせてシーズ
ン1の子役の顔 (Source) に置き換える • 学習データにシーズン1の映像を使用 • 顔だけでなくボイストラッキングを使用 して声も置き換えている -
1枚の顔写真から頭部をモデリング ONE-SHOT 3D HEAD REENACTMENT VOODOO 3D により1枚の顔写真から頭部を置 き換えた3Dモデリングを生成する •
Source の顔写真1枚だけを使用している • 任意の角度で映像を生成できる arXiv:2312.04651v1 -
ディープフェイクまとめ • Source と Driver の分離は制作コストと撮影効率に大きなメリットがある • ディープフェイク技術は映像制作で広く利用されていく • エンコーダ
(Driver) とデコーダ (Source) を別々にトレーニングすることが重要 • AI が生成したコンテンツを管理するための洗練されたインターフェイスが必要になる • 2年以内に AI による完全な映画制作が実現する -
購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告
メタデータ管 理 -
リップシンク THE CHAMPION (2022) ポーランド語の映画の吹き替えに使用 • 英語で吹き替える声優の口の動き撮影 • ポーランド語を喋る役者の口 (Source)
に 声優の口 (Driver) の動きをあてる -
字幕・吹替技術 • MLでの翻訳でルールベースのものより 高品質 • 英語必須ではなく翻訳可能 • 音素ベース、声道モデリングなどの機械 学習モデル、フォルマント合成などを使 い、同じ人の声を別の言語に変換可能
• 言語プロキシのように音声分析と切り替 える部分を切り出して、オフラインチュー ニングできる -
購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告
メタデータ 管理 エモーショナル ターゲティング -
コンテンツ解析 • VIONLABS ◦ シーン毎に感情、ムードなどのメタをつける ◦ ジャンル特化のモデルにしないで1モデルで頑張 ろうとしている ◦ ニュースが苦手だったがトランスクリプトを実施
している https://speakerdeck.com/cyberagentdevelopers/nab-show-2023-report -
購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告
メタデータ 管理 ライブ クリッピング -
CMS における LLM への期待 • LLM への期待領域 ◦ コンテンツ制作の強化 ◦
ユーザーエンゲージメントと収益性 ◦ 業務合理化と生産性の向上 • CMS において期待されているポイント ◦ 複雑な質問の理解 ◦ 行動に対する洞察 ◦ 状況に応じた推薦 ◦ プライバシー、権利の確保 ◦ 外部メタデータの活用 -
CMS における LLM への期待 • LLM への期待領域 ◦ コンテンツ制作の強化 ◦
ユーザーエンゲージメントと収益性 ◦ 業務合理化と生産性の向上 • CMS において期待されているポイント ◦ 複雑な質問の理解 ◦ 行動に対する洞察 ◦ 状況に応じた推薦 ◦ プライバシー、権利の確保 ◦ 外部メタデータの活用 -
AI アシストのクリッピング SnapStream • ライブソース動画のクリッピングを AI でアシスト ◦ 音声の自動書き起こし ◦
書き起こし文字をクリックで再生位置 ◦ 書き起こし文字を選択して SNS 投稿 • 入力プロトコル ◦ RTMP / HLS / SRT etc. • 入力時間ベースの課金体系 • 日本語は未サポート -
AI アシストのセールスツール作成 SPECai by ENCO • プロンプトベースの Spec Spots 作成ツール
◦ Spec Spot = 広告セールスのために作るプロトタイプ広告 • アウトプットはかなり自然 ◦ 数秒で制作 ◦ パっと聞いた品質は本番広告にも使えそう ◦ 実際の広告イメージを印象づけるに十分 • 声/スクリプトのカスタマイズ • GPT4 ベースの AI エンジン -
AI アシストのセールスツール作成 SPECai by ENCO の言語サポート • 英語/スペイン語対応 • 試しに日本語を試したが、
やはり全然ダメ • SPECai に限らず、NAB Show で見かける AI ソリューションは まず英語/スペイン語/フランス語など メジャー言語からサポートされる ◦ 日本語サポートは大抵ロードマップ上 -
AI によるコンプライアンス管理 SpherexAI • 動画ソースに各国のコンプライアンス基準に応じた自動タグづけ ◦ 暴力表現や性的表現など • 日本のコンプライアンス基準へも対応 ◦
日本のコンプライアンス基準のモデルを持っている ◦ 日本語には対応していないので、日本語音声に対する検出はできない ▪ ※ 日本語のサポートもロードマップにはある • ソースの尺と同等の時間で処理可能 • 処理対象の尺に応じた従量課金体系 -
ディープフェイク検知技術が生成 AI 時代の動画編集の鍵 今後増えるディープフェイク(DF)によるリスク • AI 生成によるコンテンツが増え、 DF を気づかず編集に取り込んでしまう 情報操作リスクがネックに
• AI の生成技術に対するだけじゃなく DF 検出の仕組みセットでの準備が ポイントに -
AI-Generated メディアのリアルさ Michael J. Fox ? Christopher Lloyd ? from
“Back to the Future” -
AI-Generated メディアのリアルさ Michael J. Fox -> Tom Cole Christopher Lloyd
-> Robert Downey Jr. -
手動でのディープフェイク検知 どのあたりを見るか • 顔/体/髪周辺の歪みやボケ • 動画の中の不自然な動き、体や 顔のパーツ位置のずれ • 一致しない影や光のカラーバラ ンス
• 音声のトーン/ピッチ/リズムの 不自然さや感情の欠如 -
Reality Defender のディープフェイク検知ソリューション マルチモーダルな ディープフェイク検知ソリューション • ニューラルネットワークを利用して AI に偽造された画像、動画、音声、テ キストメディアを検知
◦ シグネチャに基づいて偽のメディア情報 と本当のものを分類 -
ディープフェイク検知技術が生成 AI • 今後確実に増える生成 AI によるコンテンツ制作の恩恵を受けるには ディープフェイクが作り出すリスクと共存することが必要条件に • ディープフェイク検知技術の進化は生成 AI
技術と同時に進化する必要がある • Reality Defender は最先端の生成 AI 技術者とコラボレーションし、足並みを揃え た検知技術の進化に貢献している -
C2PA による出所・来歴管理 コンテンツの真正性を証明するための技術標準の開発団体 • ディープフェイクや生成 AI の登場でメディア企業の対応が必須になる • の
AI 規制法や の大統領令でコンテンツの認証が義務付けられる • 2024年は で国政選挙がある選挙イヤーで重要性が増している • 社会インフラになる ABEMA にとっても重要 参加企業 -
C2PA の仕組み コンテンツの作成・改変 • コンテンツの作成者、作成日時、場所、使用 されたツール等のメタデータをアセットに埋 め込んで秘密鍵でデジタル署名する コンテンツの検証 • C2PA
に技術準拠したコンテンツには、 「content credentials」マークを付ける • 公開鍵を用いてコンテンツの署名を検証し、 出所・来歴を検証できる -
来歴チェーンのツリー表示 コンテンツの来歴チェーン全体を表示する • コンテンツの来歴をツリー構造で表示 • C2PA に対応する素材は個々のマニフェスト や成分を検査する • C2PA
非対応の素材を可視化する → アセットの信頼性はメディア企業と消費者にとっ てのメリットであり、メディア企業が率先して対応す ることに意味がある -
AWS ワークロードによる C2PA マニフェスト生成 C2PA マニフェスト生成の事例紹介 • Fargate や Lambda
のワークロードで C2PA マ ニフェストを生成する事例が紹介される • OSS の C2PA CLI を使って署名を生成する -
マニフェスト生成のコストとリードタイム C2PA マニフェスト生成のコストとリードタイム • 1コンテンツの平均実行時間が 15秒 • 10,000コンテンツの合計コストが $26.84 •
アセットのダウンロードとハッシュ化のプロセス が処理時間の大部分を占める -
購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告
メタデータ管 理 Piracy 対策 -
違法視聴被害の深刻化 米国の違法視聴被害は年間 292 億ドル(約 4.5 兆円)相当 • 特に問題になっているのが CDN Leeching(CDN
経由のサービス乗っ取り) ◦ 課金の減益 ◦ 収益に無関係の CDN トラフィックコスト増加 CDN 乗っ取り 正規ユーザー 課金コンテンツ -
違法視聴被害の深刻化 CDN Leeching への対策 • トークン無効化などの運用の自動化アルゴリズムの導入が必須 ◦ 手動オペレーションによる運用はコスト無限増 ◦ 主な自動運用手段
▪ 機械学習による違法利用トークンの検知と無効化の自動化 ▪ ランダムなトークン無効化による大規模不正利用のブロック • 不正視聴が増えれば増える程無効化頻度が高くなる -
違法視聴被害の深刻化 CDN Leeching への対策 • トークン無効化などの運用の自動化アルゴリズムの導入が必須 ◦ 手動オペレーションによる運用はコスト無限増 ◦ 主な自動運用手段
▪ 機械学習による違法利用トークンの検知と無効化の自動化 ▪ ランダムなトークン無効化による大規模不正利用のブロック • 不正視聴が増えれば増える程無効化頻度が高くなる -
CTA WAVE の Common Access Token • CTA WAVE が策定する動画配信向けアクセストークン仕様
• 複数の CDN で共通して運用可能 • Piracy 対策に PoR という概念を導入 -
CTA WAVE の Common Access Token • PoR により、10,000 人以上に不
正に利用されているトークンは 1 秒以内にブロックされる • 正規ユーザーが 5 分以内にトー クンが更新される確率は 2% 未満 -
CTA WAVE の Common Access Token • PoR により、10,000 人以上に不
正に利用されているトークンは 1 秒以内にブロックされる • 正規ユーザーが 5 分以内にトー クンが更新される確率は 2% 未満 微量な偏りの追加で 不正利用を大きく阻害 -
購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告
メタデータ管 理 ラストマイル コーデック -
Codec-based Ad Tech MainConcept から提案されたコーデックレベルの広告パーソナライゼーション • オーバーレイ広告の出し分けを部分的再エンコード ◦ 映像全体を再エンコードするより高速に処理 •
コーデックの機能別に再エンコード処理を効率化 ◦ 次世代コーデックの新機能を活用している -
Codec-based Ad Tech AVC / HEVC / AV1 / VVC
でできる部分再エンコード • 差し替えたい領域を含むスライスを再エンコード -
Codec-based Ad Tech HEVC / AV1 / VVC でできる部分再エンコード •
差し替えたい領域をカバーするマクロブロックの再エンコード -
Codec-based Ad Tech Codec-based Ad が持つ可能性 • 本編内容に沿う広告は購買意欲を高める可能性 ◦ 広告が本編の視聴を邪魔するではなくなり、興味を拡張させる存在に
• 再エンコード処理負荷が十分に低ければオーバーレイ映像挿入の新たな選択肢に ◦ 現在のオーバーレイ広告挿入はデバイス側の処理で UI として載せているが、デバイスの機能や処 理性能に依存した挿入精度 ◦ サーバーサイドオーバーレイ広告挿入の利点は、どのデバイスにも一定の挿入精度で配信可能 -
VVC マルチレイヤー符号化をサポートしたエンコーダー MainConcept • VVC/H.266 Encoder SDK ◦ VVC マルチレイヤー符
号化をサポートした現 時点で市場唯一のソフ トウェアエンコーダー • ハードウェアエンコー ダーは市場にまだない -
MPEG-5 LCEVC • コーデックに依存しないコーデック強化 • n 世代コーデックの符号効率を n+1 世代と同等 に強化
• n 世代コーデックと同等の複雑性を保ちながら • ソフトウェア実装可能でバッテリー消費が少ない 強化コーデック https://www.lcevc.org/how-lcevc-works/ -
前衛的な技術仕様 • SBTVD TV 3.0 は前衛的な技術仕様の採用で注目を集める • 技術的なユースケースの考え方は参考にするべきところが多い https://forumsbtvd.org.br/tv3_0/ TV
3.0 は Video Enhancement 技術として LCEVC を採用 -
SBTVD TV 3.0 はなぜ LCEVC を選択しているか ブラジルが抱えるデジタル・ディバイド • 次世代デジタル放送への移行はそれを加速させる懸念がある •
次世代の標準技術の照準を IT の恩恵を受けにくい人々に合わせることもできる が、次世代技術への移行は裕福で技術に精通した人々がより高品質な情報に触 れていくためのチャンスでもある -
SBTVD TV 3.0 はなぜ LCEVC を選択しているか 高品質な映像とアクセシビリティの両立が要件 LCEVC はデコード処理のオーバーヘッドが低い TV
メーカーにとって VVC マルチレイヤーを導入するより 経済的なメリットが大きくなると考え、 LCEVC を選択している -
購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告
メタデータ管 理 Immersive Video -
Immersive Video のためのコーデック MV-HEVC • MV = Multi View •
HEVC の拡張ツールの 1 つとして 2014 年に仕様策定 • WWDC 2023 で発表された Apple Vision Pro では MV-HEVC が採用されている -
MV-HEVC MV-HEVC エンコード Multi-cam キャプチャ 実世界 Multi View 映像 符号化
再生 MV-HEVC デコード -
MV-HEVC の基本概念 P B B B P B I B
B B P B B B -
MV-HEVC の基本概念 P B B B P B I B
B B P B B B View 2 View 1 複数の View がレイヤー状に構成 1 レイヤー 1 View -
MV-HEVC の基本概念 P B B B P B I B
B B P B B B View 2 (View 1 に依存) View 1 (基本映像) 予測情報はレイヤーを 跨いで参照 -
MV-HEVC の基本概念 P B B B P B I B
B B P B B B View 2 (View 1 に依存) View 1 (基本映像) 複数の View が 連動した動きを補償した 視差を符号化する -
HEVC と ISO-BMFF を利用した相互運用性 Apple HEVC Stereo Video Interoperability Profile
• 制作と再生が最適に立体動画(Stereoscopic video)ファイ ルを運用するべく Apple が提案するプロファイル • 2023 年 6 月に草案提出/現在ベータ版 • 普及が進むコーデック(HEVC)とコンテナフォーマット (ISOBMFF)をプロファイルに含むことで、立体動画に適した 圧縮効率と情報の伝送を実現しようとしている https://developer.apple.com/av-foundation/HEVC-Stereo-Video-Profile.pdf -
相互運用性を高める工夫 3D 再生に対応していないデコーダーも 2D として再生できるように • プロファイル自体は両目向けの映 像情報を運ぶが、左目向け View を基本
View とすることを推奨 左目向け 基本 View 右目向け 追加レイヤー https://developer.apple.com/av-foundation/HEVC-Stereo-Video-Profile.pdf -
相互運用性を高める工夫 3D 再生に対応していないデコーダーも 2D として再生できるように • 基本 View か 3D
再生向けの追加 レイヤー View かは NAL ユニットの ヘッダー ID で識別 https://developer.apple.com/av-foundation/HEVC-Stereo-Video-Profile.pdf -
相互運用性を高める工夫 3D 再生に対応していないデコーダーも 2D として再生できるように • 3D として参照する情報は SEI メッセージを使って伝える
• SEI 情報を無視しても 2D としては 問題なく再生 ◦ SEI = Supplemental Enhancement Information(補足的な強化情報)はサ ポートが必須ではない 3D 参照情報 https://developer.apple.com/av-foundation/HEVC-Stereo-Video-Profile.pdf -
映像拡張表現に対応する ISO-BMFF ファイルに Video Extended Usage があることを示 すための新規 box 「vexu」
• この box がファイルがステレオ映像として拡張 情報を持っていることを示す • 右目/左目それぞれに対する情報など ステレオ映像として表現を拡張するための情 報が格納される • 即時に再生しなくてもいい映像トラック情報を 持つことができる https://developer.apple.com/av-foundation/HEVC-Stereo-Video-Profile.pdf -
映像拡張表現に対応する HLS 映像が立体映像であることを示すための 新規属性 「REQ-VIDEO-LAYOUT」 • HLS v12 draft 14
で提案 • プレイリストの #EXT-X-STREAM-INF タグ が指す映像ストリームがステレオかどうか を示す #EXTM3U #EXT-X-VERSION:12 ... #EXT-X-STREAM-INF:BANDWIDTH=19 500000, CODECS="hvc1.2.20000000.H150.B0, ec-3", ... REQ-VIDEO-LAYOUT="CH-STEREO" 3D/prog_index.m3u8 -
世界最大の球体建築物 • 81,300 m2 • 高さ: 112 m • 幅:157
m • 収容可能人数: 17,500 人 • 総工費: 2.3億ドル(約 340 億円) -
購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告
メタデータ管 理 ストリーミング プロトコル -
DRM for MOQT • MOQT(Media over QUIC Transpprt)の IETF 仕様に
DRM の要件を入れる取り組み ◦ castLabs tech lead Thasso Griebel 氏が推進 https://www.ietf.org/proceedings/interim-2024-moq-01/bluesheets/bluesheets-interim-2024-moq-01-202402071630-00.txt 2024.02 の IETF interim-meeting MOQ の参加者一覧 -
MOQT 基本 MOQT = Media Over QUIC Transport • QUIC
上に構成されるストリーミング伝 送プロトコル ◦ 生の QUIC 上もしくは WebTransport も含 めた形で構成可能 https://datatracker.ietf.org/meeting/interim-2023-moq-08/materials/slides-interim-2023-moq-08-sessa-moq-transport-01 -
MOQT 基本 MOQT = Media Over QUIC Transport • 実際のメディアデータ(ペイロード)を
どのように制御するかを定義 ◦ Opaque to payload = ペイロードの中身は 定義しない ◦ ペイロードの定義は MOQT オブジェクトと してマップ可能なストリーミングフォーマッ トに委ねる https://datatracker.ietf.org/meeting/interim-2023-moq-08/materials/slides-interim-2023-moq-08-sessa-moq-transport-01 -
MOQT 基本 MOQT オブジェクトにマップ可能な ストリーミングフォーマット • WARP ◦ CMAF パッケージを伝送するためのストリーミング
フォーマット • LOC ◦ Low Overhead Media Container ◦ 映像や音声向けの低オーバーヘッドのメディアコ ンテナフォーマット ◦ WebCodecs API に最適化 ▪ WebCodecs でエンコードしたデータを そのままペイロードとして使用 https://datatracker.ietf.org/meeting/interim-2024-moq-01/materials/slides-interim-2024-moq-01-sessa-moq-denver-interim-01 -
DRM for MOQT • MOQT における DRM の必要性 ◦ QUIC
が担保するのはネットワーク層でのセキュリティ担保 ▪ TLS/DTLS 相当 ◦ End-to-End のセキュリティはどのように担保するか ▪ DRM の検討が必要 -
DRM for MOQT に対する提案 by Thasso Griebel MOQT 上でどのように DRM
をシグナルするか • Common Catalog Format の catalog と track フィー ルド両者に encryption 属性を追加して表現 • 鍵の識別子/マッピングなどの必要最小限の情報 ◦ それでも Key rotation や Clear leads には対応 LOC のような低オーバーヘッドのストリーミングフォーマット でどうやって DRM に必要な情報を付与するか • 復号に必要な初期化ベクター情報など ◦ CMAF senc box に含まれる情報 • WARP は CMAF を含んでいるので、そのまま利用可 能 https://datatracker.ietf.org/meeting/interim-2024-moq-02/materials/slides-interim-2024-moq-02-sessa-content-protection-for-moq-00 -
DRM for MOQT の今後 • DRM に関する仕様の議論は大体難航する • 仕様が通るかどうかは別問題だが、提案した DRM
for MOQT の仕様の実装自体 は難しいものではない • Thasso Griebel さんは IBC 2024 のタイミングでは DRM for MOQT に関する 何らかのデモを実施できるようにしたいと考えている -
Video Compression Score ANN での圧縮による劣化のスコアリング • ANN = Artificial Neural
Network = 人工ニューラルネットワーク • 圧縮済コンテンツの映像品質スコアを予測する目的で学習されたモデル ◦ 空間的特徴と時間的特徴が異なる大量のメディアコンテンツに対してトレーニング ◦ エンコーディングのパラメーター設定値が full-reference 型の Netflix VMAF(Video Multimethod Assessment Fusion)スコアに相関するようにマッピングされるように学習 -
Video Compression Score の手法としての優位性 • Non-referential ◦ 参照映像が存在しないユースケースに対してもリアルタイム監視可能 ▪ ライブ配信、ビデオ会議、セキュリティポリシーが強いアプリケーション
• 自動化可能なオブジェクト評価 ◦ 品質制御 ◦ トラブルシューティング • ストリーム特性を軸としたコンテンツの特性評価 • Netflix VMAF と相関する指標 ◦ 既存の評価軸をリアルタイム監視に応用できる -
Video Compression Score モデルのトレーニング トレーニングプロセス トレーニングセット ANN トレーニング 学習後 ANN
モデル パラメーター Full-reference 映像品質スコア スコアの測定 パラメーター 学習後 ANN モデル Compression Score (Non-referential) -
Video Compression Score の精度 Video Compression Score (= CS) と
VMAF のスコアは高い相関関係 -
購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告
メタデータ管 理 -
エッジコンピューティング • Akamaiの事例と活用のヒント ◦ Akamai Geckoの活用ユースケース ◦ トランスコーディング ◦ データトランスフォーメーション
◦ AdInsersion Akamai Gecko -
SONYブース • 制作から配信までのシステムを 持つSONYは比較的 NAB全体 の傾向を体現しているのでコン タクトの上、早めにアテンドして もらった。 • 機材のIP化が終わり、動画スト
レージがクラウド環境へシフトし て、素材の活用、効率化の方 向に向かっている印象 -
SONYブース • スポーツライブ ◦ クラウドスイッチャー ◦ AIによる自動ハイライト生成 ▪ シーンでの盛り上がりをタイ ムラインにプロット
▪ MLで歓声やボールの音など を利用 ◦ クリップの共有 -
機能のコンポーネント化 • IP化、クラウド化が進み各機能が大手の企業で も全体パッケージ主体からコンポーネント化が 進んだ • 部分的にSaaS利用できたり、コンパクトな放映 システムとして切り出したソリューションがあちこ ちに出展されている •
成長期〜成熟期に入り、機能や接続性を売りに 競争化して、使う側も選んで組み合わせる世界 になった -
ワークフローと可視化 • インジェスト状態やトランスコード、 QCなど のコンテンツの処理の流れの可視化が標 準機能になっている • MAM、CRMのような部分ではワークフ ローによる可視化もかなり進んだ •
BatonのORION OTTは、全体におけるノン サンプリングでの品質の劣化ポイントの可 視化にも期待できる -
購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告
メタデータ管 理 バーチャル プロダクション -
Pros / Cons デメリットも明確にあり、用途に応じて使い分ける形になる 項目 Pros Cons 制作コスト • 演者の拘束時間が短くて済む
• ロケ地への移動費や宿泊費が不要 • 美術セットの制作費が削減できる • 高価な機材が必要 • 技術習得に時間がかかる 撮影効率 • 季節や天候、時間帯に左右されない • 危険なシーンも安全に撮影できる • 複数シーンを連続して撮影できる • 撮影前の入念な準備が必要 • 限られた空間での撮影となる 表現力 • 現実では再現困難な映像を表現できる • 臨場感のある映像を制作できる • リアリティの演出が難しい その他 • 環境に優しい • データの管理・共有が容易 • 専門知識を持つ人材の不足 -
購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告
メタデータ管 理 コンテンツ提供フローの全体 -
• アセット管理を中心として、制作や調達から始まり、配信や収益化に至るま で、シームレスに連携するためのエコシステム • 導入サイクルの長い一枚岩の完全なインフラストラクチャを構築するのでは なく、個別最適なシステムを連携して市場動向の変化に素早く対応する Media Supply Chain の重要性
Media Supply Chain Production Asset Management Broadcast Archive Analyze Report Catalog CMS Marketing Advtizing Rights Management -
AudioShake による会話・BGM・SE の分離 コンテンツワークフローで会話、BGM、SEを分離する • 分離前と比較して文字起こしの精度が 15% 向上する • 会話を抜き取って翻訳することで吹き替えを実現する
• BGM のみを削除することで権利問題に対応する Dialog BGM SE Dub SingleTrack -
Intelligent QC アーキテクチャ Step Functions による QC 統合 • ML
/ AI を活用したコンプライアンスやプロビ ナンス、言語など 各 QC のソリューションを Step Functions で柔軟に統合 • ABEMA でもワークフロー管理を Step Functions に移行していく方針 -
PROTON CAM NAB Show 2024 直前に PROTON Camera Innovations 社がローンチした
世界最小の放送用カメラ • サイズ 28mm x 28mm • 重量 24g(レンズ付けて 36g) • 消費電力 2.5W • 最大出力 1080p 60fps • 価格 $1,300 • ユースケース 1:ドローン撮影 ◦ サイズ/重量/消費電力が致命的な問題になりやすい条件に最適 • ユースケース 2:選手や演者の間近にマウントしての撮影 ◦ スポーツ:テニスのネット、サッカーのゴールに付けての撮影 ◦ リアリティショー:出演者の間近にマウントしても邪魔にならない ◦ オーストラリアで 12 個の PROTON CAM を救急車につけてさまざまな角度で怪我人の様子を撮影した実績 -
まとめ • 今年のトレンドワードも間違いなく AI だった • 生成/支援 AI や ML
による動画業界での活用は領域問わず地道に広がっている • ただし、生成 AI の活用はどの領域も明確なガイドラインがなく、 模索は続いている • AI によるコンテンツクリエイションが直接活きてくるまでにはもう少し時間が必要 • AI コンテンツクリエイションが当たり前の世界になるためには、 ディープフェイクが社会を乱さない条件としてその検知技術の進化が重要 • 新しい映像表現や広告表現のための技術も進化を続けているが、 今後の AI / ML の進化と交差するポイントにも注目が当たる