NAB Show 2024 動画技術関連レポート/ NAB Show 2024 Report

Transcript

1. 動画技術関連レポート 株式会社 AbemaTV 五藤 佑典 | 山田 岳人 | 岸 良 | 福永 亘 2024
2. 五藤 佑典 YUSUKE GOTO https://ygoto3.com/ @ygoto3_ • California State University, San Bernardino グラフィックデザイン専攻 Career History 1. Graphic / Web Designer 2. Marketer 3. Web Engineer 4. Video Engineer 5. Technical Product Manager • CyberAgent Developer Expert @（株）サイバーエージェント • Director of Device Engineering @（株）AbemaTV
3. in Video Technology and Product Design
4. ◦ AbemaTV Content Engineering ◦ 2012年株式会社サイバーエージェント入社 ◦ 「Ameba」や「OPENREC」等の開発を担当 ◦ 2021年4月より「AbemaTV」 山田 岳人 (Gakuto Yamada) @gactocat @gactocat
5. ◦ AbemaTV ビジネスデベロップメント本部 開発局局長 ◦ 2011年株式会社サイバーエージェント入社 ◦ 「アメブロ」や「ガールフレンド ( 仮 )」,「オルタナティブガールズ」 等の開発を担当。 ◦ 2017年9月より「AbemaTV」広告本部に参画。 福永 亘 (Wataru Fukunaga) @wataru420
6. 自己紹介 ◦ IT業界大手企業でのソフトウェア開発、 3G携帯網の開 発を経て、 ◦ 2011年株式会社サイバーエージェント入社。 ◦ 「アメーバブログアプリ」、「 Simplog」の 開 発 、「755」で CTOを担当。 ◦ 2018 年 2 月 より「Abema」に 参 画 し、 ContentsEngineeringチームを立ち上げ ◦ 2021年10月 Abema Data Centerを立ち上げ 岸　良 (Makoto Kishi) Data Div Principal Engineer
7. アジェンダ • Ice Break • 米国の次世代デジタル放送標準規格 ATSC 3.0 の進化 • 米国動画ビジネスのマネタイズ事情 • 生成 AI は制作の現場でどう使われ始めているか • フェイク - 生成 AI がもたらすリスクと対策 • 脅威を増す Piracy と対策技術 • 映像コーデックの進化 • Immersive Video の今 • 次世代ストリーミングプロトコルの DRM • ANN による品質評価技術 • 広告関連技術の可能性 • 大手ソリューションメーカーから見るトレンド • 実用性を探るバーチャルプロダクション • メディア・サプライチェーンを進化させる技術たち • 世界最小の放送用カメラ
8. Ice Break
9. NAB Show 2024 4/13 - 4/17 米国ラスベガス開催のNAB Show 2024 に行って来ました NAB Show 全米放送事業者協会が主催するメディ ア、エンターテインメント、テクノロジーに 関する世界最大規模の展示会 今年の実績 参加者数：61,000+ 展示社数：約 1,300
10. Motivation AbemaTV を始めとするサイバーエージェントの動画事業を技術的に前進させる • 業界トレンドの定点観測 • アメリカを中心とする技術標準化の動向キャッチアップ • 複数の海外パートナー会社との一挙ミーティング • 業界先端企業の将来への見解や実践例などの情報収集 • 汎用ソリューションの進化状況の確認 • 以前に目をつけていた技術の進化状況の確認
11. 米国の次世代デジタル放送標準規格 ATSC 3.0 の進化
12. ATSC 3.0 の動的広告挿入技術 • インターネット動画配信が放送に対して優位な点の 1 つに広告挿入を動的に行い やすいことが挙げられる • 米国の次世代デジタル放送がいかにして動的広告挿入を実現しようとしているか
13. ATSC 3.0 で動的広告挿入を実現する ATSC 3.0 上でデバイス情報を 使った動的広告挿入を行う • 技術コンポーネント ◦ DDaaS ◦ MMT
14. ATSC 3.0 で動的広告挿入を実現する ATSC 3.0 上でデバイス情報を 使った動的広告挿入を行う • 技術コンポーネント ◦ DDaaS ◦ MMT
15. DDaaS DDaaS = Data Distribution as a Service • ATSC 3.0 上で顧客情報を 使った放送を実現 ◦ デバイスへの信号送信／コ ンテンツ分布 ◦ 動的広告挿入に必要な 機能
16. Sinclair の DDaaS Broadspan by Sinclair
17. Sinclair の DDaaS Broadspan by Sinclair • ファイルベースの広告登録 • 広告配信のスケジューリング • 地域別の配信
18. DDaaS と MMT で ATSC 3.0 で動的広告挿入を実現する ATSC 3.0 上でデバイス情報を 使った動的広告挿入を行う • 技術コンポーネント ◦ DDaaS ◦ MMT
19. 決定ルールに従った広告挿入を MMT で実施 MMT = MPEG Media Transport • MPEG が制定する次世代メディアトラ ンスポートの標準規格 • コンテンツが伝送される経路が複数で も同期可能 ◦ MPEG-2 Transport Stream では想定して いなかったユースケースに対応 ◦ 放送／通信両対応
20. 決定ルールに従った広告挿入を MMT で実施 広告挿入 • 広告ファイルは ATSC 3.0 がサポートするファイル伝送プロトコル ROUTE を使って事前にテレビデバイスに送信 • 番組の映像／音声データは MPU というデータ形式で再生プレイヤー に送信 • 広告を制御するためのマーカー情報などは ATSC 3.0 がサポートする もう 1 つの伝送プロトコルである MMTP で再生プレイヤーに送信 • MMTP にはパッケージングされたコンテンツを構成する情報やその取 得先が示された MP Table というアセットテーブルがあり、再生プレイ ヤーは MP Table の情報から事前にテレビデバイスに送信されている 広告ファイルをリクエスト • 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
21. 決定ルールに従った広告挿入を MMT で実施 広告挿入 • 広告ファイルは ATSC 3.0 がサポートするファイル伝送プロトコル ROUTE を使って事前にテレビデバイスに送信 • 番組の映像／音声データは MPU というデータ形式で再生プレイヤー に送信 • 広告を制御するためのマーカー情報などは ATSC 3.0 がサポートする もう 1 つの伝送プロトコルである MMTP で再生プレイヤーに送信 • MMTP にはパッケージングされたコンテンツを構成する情報やその取 得先が示された MP Table というアセットテーブルがあり、再生プレイ ヤーは MP Table の情報から事前にテレビデバイスに送信されている 広告ファイルをリクエスト • 再生プレイヤーは取得した広告ファイルを提示時間情報に従って挿入 する
22. MPU Media Processing Unit • MMT で規定される映像／音声 の蓄積向きデータ形式 • ISOBMFF 形式で表現 ◦ MPU のメタデータを ftyp / mmpu / moov などの box に格納 ◦ MMT の伝送用データ形式である MFT（Media Fragment Unit）を mdat に格納
23. MMTP による広告のシグナリング MMTP = MMT Protocol • MMT でのデータ送受信のためのプロトコル MMTP でどう動的な広告をシグナルするか 1. 使えるサービスの一覧情報である Service List Table に MMTP 2. 選択されたサービスから Service Layer Signaling → User Service Description → MP Table と参照 3. MP Table からサービスを構成するアセット情報を取 得 4. 動画プレイヤーはアセット情報を使って広告をリクエ スト
24. ATSC 3.0 の動的広告挿入技術 • 次世代デジタル放送 ATSC 3.0 でも FAST や AVOD に近い形の動的広告挿入が できるように • 動的広告挿入ができるという点がインターネット動画配信が放送に対して優位だっ たのは過去のものになりつつある ◦ もちろん、依然としてインターネット動画配信が放送より自由で柔軟な広告商品を表現できるプラッ トフォームである
25. 米国動画ビジネスのマネタイズ事情
26. ATSC3.0の事業メリット 4K配信 字幕放送 緊急災害情報 5Gによる高速移動中受信 ユーザーメリット 事業メリット 視聴データ取得 ターゲティング広告 12の放送局でコンソーシアム結成
27. 放送局と OTT の融合 NBCU はこの NAB Show の期間中に ATSC3.0 によるよりパーソナライズドさ れた視聴体験を提供することを発表。 同社は OTT サービスの Peacock も保 有している。 ※Using NextGen TV, NBCU Stations Announce Hyperlocal Capabilities https://www.forbes.com/sites/bradadgate/2024/04/16/using-nextg en-tv-nbcu-stations-announce-hyperlocal-capabilities/
28. マネタイズの変化 NBC Peacock、CBS Paramount+、ATSC3.0の 普及 放送局のOTT化 サブスクから 複合型への変化 FASTの加熱 TVデバイスメーカーによる FASTプラットフォームの増 加 VIZIO Watch Free +、 Samsung Samsung TV+... Netflix、Disney等による広 告付き有料プランの展開等 ・FAST、チャンネルをつくって売るコストの定価 ・新たな広告表現の広がり 発生している変化
29. プレイアウト企業の FAST対応 すでに簡単にリニアチャンネルが作成できるソリューションは沢山存在している。 また各社はCM以外にもL字等のフォーマットにも対応してきている。 Thunderstorm Harmonic VOSad NEA
30. Chのパーソナライズドにも対応 Amagiはパーソナライズドされた 番組表の構築にも対応している。
31. 媒体各社が考える広告業界の課題 -ラウンドテーブルのサマリー ・1st Party Data の重要性 　引き続き広告主は 1st Party Data の取得に課題感 ・クリーンルームへの意識 　膨大なデータをクリーンルームで管理している ・LookaLikeModel の課題 　類推拡張モデルへの取り組み ・計測の課題 　CTV やカーデバイスの計測に対する課題 ・Personal から Persona へ 　日需要生活の状況で視聴者を捉える
32. 生成 AI は制作の現場で どう使われ始めているか
33. 購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告 メタデータ管 理
34. SONY A2 Production • AIによるコンテンツ解析 ◦ スポーツ向けAIモデルでシーンでの盛り上 がりをタイムラインにプロット ◦ MLで歓声やボールの音などを利用して判定 ◦ 原稿や記事の文字起こし • タイムラインの自動同期 • 音声解析 ◦ ナレーション、背景音楽などを分離　
35. ディエイジング カイル・マクラクラン演じるキャラクターの過 去の回想シーンに使用された • 撮影時65歳だったカイル・マクラクラン を30代にディエイジングする • 30代のカイル・マクラクランの映像を学 習データに使用した Fallout (2024)
36. フェイスリプレイスメント Manifest (2023) 4シーズンにわたって配信されたドラマで、子 役が年をとって顔が変わってしまったため別の 子役の顔を置き換えた • 別の子役 (Driver) に演技をさせてシーズ ン1の子役の顔 (Source) に置き換える • 学習データにシーズン1の映像を使用 • 顔だけでなくボイストラッキングを使用 して声も置き換えている
37. 1枚の顔写真から頭部をモデリング ONE-SHOT 3D HEAD REENACTMENT VOODOO 3D により1枚の顔写真から頭部を置 き換えた3Dモデリングを生成する • Source の顔写真1枚だけを使用している • 任意の角度で映像を生成できる arXiv:2312.04651v1
38. ディープフェイクまとめ • Source と Driver の分離は制作コストと撮影効率に大きなメリットがある • ディープフェイク技術は映像制作で広く利用されていく • エンコーダ (Driver) とデコーダ (Source) を別々にトレーニングすることが重要 • AI が生成したコンテンツを管理するための洗練されたインターフェイスが必要になる • 2年以内に AI による完全な映画制作が実現する
39. 購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告 メタデータ管 理
40. 生成AIによる補正 • 言語吹き替えによる リップシンクの補正 や、アイシンクなど 違和感のない動画 補正が実現できて いる • Quicklinkのアイシ ンクのデモ 　
41. リップシンク THE CHAMPION (2022) ポーランド語の映画の吹き替えに使用 • 英語で吹き替える声優の口の動き撮影 • ポーランド語を喋る役者の口 (Source) に 声優の口 (Driver) の動きをあてる
42. 字幕・吹替技術 • MLでの翻訳でルールベースのものより 高品質 • 英語必須ではなく翻訳可能 • 音素ベース、声道モデリングなどの機械 学習モデル、フォルマント合成などを使 い、同じ人の声を別の言語に変換可能 • 言語プロキシのように音声分析と切り替 える部分を切り出して、オフラインチュー ニングできる
43. ABEMA における字幕・吹替技術の活用 字幕 吹替 音を出せない環境化のユーザーニーズ 通勤時・子育て中等 字幕を読めない状況のニーズ ながら視聴・視力悪い人向け deepdub.aiは字幕化から吹替ま でAIで実現できる。 POCに向けて進行開始
44. 購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告 メタデータ 管理 エモーショナル ターゲティング
45. 感情の分析とメタ化 ・シーンごとの感情分析まで可能に ・ワンモデルでメタ化、様々な応用が可能に コンテンツ分析の進化 シーン毎のメタ化と感情分析 エモーショナル ターゲティング CMチャンスサジェスト レコメンド活用 トレイラー生成
46. コンテンツ解析 • VIONLABS ◦ シーン毎に感情、ムードなどのメタをつける ◦ ジャンル特化のモデルにしないで1モデルで頑張 ろうとしている ◦ ニュースが苦手だったがトランスクリプトを実施 している 　 https://speakerdeck.com/cyberagentdevelopers/nab-show-2023-report
47. 購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告 メタデータ 管理 ライブ クリッピング
48. CMS における LLM への期待 • LLM への期待領域 ◦ コンテンツ制作の強化 ◦ ユーザーエンゲージメントと収益性 ◦ 業務合理化と生産性の向上 • CMS において期待されているポイント ◦ 複雑な質問の理解 ◦ 行動に対する洞察 ◦ 状況に応じた推薦 ◦ プライバシー、権利の確保 ◦ 外部メタデータの活用　
49. CMS における LLM への期待 • LLM への期待領域 ◦ コンテンツ制作の強化 ◦ ユーザーエンゲージメントと収益性 ◦ 業務合理化と生産性の向上 • CMS において期待されているポイント ◦ 複雑な質問の理解 ◦ 行動に対する洞察 ◦ 状況に応じた推薦 ◦ プライバシー、権利の確保 ◦ 外部メタデータの活用　
50. AI アシストのクリッピング SnapStream • ライブソース動画のクリッピングを AI でアシスト ◦ 音声の自動書き起こし ◦ 書き起こし文字をクリックで再生位置 ◦ 書き起こし文字を選択して SNS 投稿 • 入力プロトコル ◦ RTMP / HLS / SRT etc. • 入力時間ベースの課金体系 • 日本語は未サポート
51. AI アシストのセールスツール作成 SPECai by ENCO • プロンプトベースの Spec Spots 作成ツール ◦ Spec Spot = 広告セールスのために作るプロトタイプ広告 • アウトプットはかなり自然 ◦ 数秒で制作 ◦ パっと聞いた品質は本番広告にも使えそう ◦ 実際の広告イメージを印象づけるに十分 • 声／スクリプトのカスタマイズ • GPT4 ベースの AI エンジン
52. AI アシストのセールスツール作成 SPECai by ENCO の言語サポート • 英語／スペイン語対応 • 試しに日本語を試したが、 やはり全然ダメ • SPECai に限らず、NAB Show で見かける AI ソリューションは まず英語／スペイン語／フランス語など メジャー言語からサポートされる ◦ 日本語サポートは大抵ロードマップ上
53. AI アシストのセールスツール作成 SPECai by ENCO のアウトプットデモ
54. AI によるコンプライアンス管理 SpherexAI • 動画ソースに各国のコンプライアンス基準に応じた自動タグづけ ◦ 暴力表現や性的表現など
55. AI によるコンプライアンス管理 SpherexAI • 動画ソースに各国のコンプライアンス基準に応じた自動タグづけ ◦ 暴力表現や性的表現など • 日本のコンプライアンス基準へも対応 ◦ 日本のコンプライアンス基準のモデルを持っている ◦ 日本語には対応していないので、日本語音声に対する検出はできない ▪ ※ 日本語のサポートもロードマップにはある • ソースの尺と同等の時間で処理可能 • 処理対象の尺に応じた従量課金体系
56. AI によるコンプライアンス管理
57. フェイク - 生成 AI がもたらすリスクと対策
58. ディープフェイク検知技術が生成 AI 時代の動画編集の鍵 今後増えるディープフェイク（DF）によるリスク • AI 生成によるコンテンツが増え、 DF を気づかず編集に取り込んでしまう 情報操作リスクがネックに • AI の生成技術に対するだけじゃなく DF 検出の仕組みセットでの準備が ポイントに
59. AI-Generated メディアのリアルさ Michael J. Fox ? Christopher Lloyd ? from “Back to the Future”
60. AI-Generated メディアのリアルさ Michael J. Fox -> Tom Cole Christopher Lloyd -> Robert Downey Jr.
61. 手動でのディープフェイク検知 どのあたりを見るか • 顔／体／髪周辺の歪みやボケ • 動画の中の不自然な動き、体や 顔のパーツ位置のずれ • 一致しない影や光のカラーバラ ンス • 音声のトーン／ピッチ／リズムの 不自然さや感情の欠如
62. 現在のディープフェイク検知サイクル
63. Reality Defender のディープフェイク検知ソリューション
64. Reality Defender のディープフェイク検知ソリューション マルチモーダルな ディープフェイク検知ソリューション • ニューラルネットワークを利用して AI に偽造された画像、動画、音声、テ キストメディアを検知 ◦ シグネチャに基づいて偽のメディア情報 と本当のものを分類
65. Reality Defender のディープフェイク検知ソリューション マルチモーダルな検知 • 画像 • 動画 • 音声 • テキスト
66. Reality Defender のディープフェイク検知ソリューション マルチモーダルな検知 • 画像 • 動画 • 音声 • テキスト
67. Reality Defender のディープフェイク検知ソリューション マルチモーダルな検知 • 画像 • 動画 • 音声 • テキスト
68. Reality Defender のディープフェイク検知ソリューション マルチモーダルな検知 • 画像 • 動画 • 音声 • テキスト
69. 多くの特許技術を利用し、 複数のモデルを組み合わせて ディープフェイク検知の堅牢性を向上 ディープフェイク検知技術が生成 AI 時代の動画編集の鍵 どのモーダルの検知でも 95% 前後の精度
70. ディープフェイク検知技術が生成 AI • 今後確実に増える生成 AI によるコンテンツ制作の恩恵を受けるには ディープフェイクが作り出すリスクと共存することが必要条件に • ディープフェイク検知技術の進化は生成 AI 技術と同時に進化する必要がある • Reality Defender は最先端の生成 AI 技術者とコラボレーションし、足並みを揃え た検知技術の進化に貢献している
71. ディープフェイク/生成AI に対抗する来歴管理
72. C2PA による出所・来歴管理 コンテンツの真正性を証明するための技術標準の開発団体 • ディープフェイクや生成 AI の登場でメディア企業の対応が必須になる • 󰎾 の AI 規制法や 󰑔 の大統領令でコンテンツの認証が義務付けられる • 2024年は 󰏝 󰏅 󰑔 で国政選挙がある選挙イヤーで重要性が増している • 社会インフラになる ABEMA にとっても重要 参加企業
73. C2PA の仕組み コンテンツの作成・改変 • コンテンツの作成者、作成日時、場所、使用 されたツール等のメタデータをアセットに埋 め込んで秘密鍵でデジタル署名する コンテンツの検証 • C2PA に技術準拠したコンテンツには、 「content credentials」マークを付ける • 公開鍵を用いてコンテンツの署名を検証し、 出所・来歴を検証できる
74. やってみた C2PA の認証ツールにファイルをアップロードすることでコンテンツの来歴を確認できる
75. 来歴チェーンのツリー表示 コンテンツの来歴チェーン全体を表示する • コンテンツの来歴をツリー構造で表示 • C2PA に対応する素材は個々のマニフェスト や成分を検査する • C2PA 非対応の素材を可視化する → アセットの信頼性はメディア企業と消費者にとっ てのメリットであり、メディア企業が率先して対応す ることに意味がある
76. AWS ワークロードによる C2PA マニフェスト生成 C2PA マニフェスト生成の事例紹介 • Fargate や Lambda のワークロードで C2PA マ ニフェストを生成する事例が紹介される • OSS の C2PA CLI を使って署名を生成する
77. マニフェスト生成のコストとリードタイム C2PA マニフェスト生成のコストとリードタイム • 1コンテンツの平均実行時間が 15秒 • 10,000コンテンツの合計コストが $26.84 • アセットのダウンロードとハッシュ化のプロセス が処理時間の大部分を占める
78. 脅威を増す Piracy と対策技術
79. 購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告 メタデータ管 理 Piracy 対策
80. 違法視聴被害の深刻化 米国の違法視聴被害は年間 292 億ドル（約 4.5 兆円）相当 • 特に問題になっているのが CDN Leeching（CDN 経由のサービス乗っ取り） ◦ 課金の減益 ◦ 収益に無関係の CDN トラフィックコスト増加 CDN 乗っ取り 正規ユーザー 課金コンテンツ
81. 違法視聴被害の深刻化 CDN Leeching への対策 • トークン無効化などの運用の自動化アルゴリズムの導入が必須 ◦ 手動オペレーションによる運用はコスト無限増 ◦ 主な自動運用手段 ▪ 機械学習による違法利用トークンの検知と無効化の自動化 ▪ ランダムなトークン無効化による大規模不正利用のブロック • 不正視聴が増えれば増える程無効化頻度が高くなる
82. 違法視聴被害の深刻化 CDN Leeching への対策 • トークン無効化などの運用の自動化アルゴリズムの導入が必須 ◦ 手動オペレーションによる運用はコスト無限増 ◦ 主な自動運用手段 ▪ 機械学習による違法利用トークンの検知と無効化の自動化 ▪ ランダムなトークン無効化による大規模不正利用のブロック • 不正視聴が増えれば増える程無効化頻度が高くなる
83. CTA WAVE の Common Access Token • CTA WAVE が策定する動画配信向けアクセストークン仕様 • 複数の CDN で共通して運用可能 • Piracy 対策に PoR という概念を導入
84. PoR Probability of Rejection • 有効なトークンをランダムに拒否する • 直近に拒否されたトークンは拒否する
86. CTA WAVE の Common Access Token • PoR により、10,000 人以上に不 正に利用されているトークンは 1 秒以内にブロックされる • 正規ユーザーが 5 分以内にトー クンが更新される確率は 2% 未満
87. CTA WAVE の Common Access Token • PoR により、10,000 人以上に不 正に利用されているトークンは 1 秒以内にブロックされる • 正規ユーザーが 5 分以内にトー クンが更新される確率は 2% 未満 微量な偏りの追加で 不正利用を大きく阻害
88. 映像コーデックの進化
89. 購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告 メタデータ管 理 ラストマイル コーデック
90. Codec-based Ad Tech MainConcept から提案されたコーデックレベルの広告パーソナライゼーション • オーバーレイ広告の出し分けを部分的再エンコード ◦ 映像全体を再エンコードするより高速に処理 • コーデックの機能別に再エンコード処理を効率化 ◦ 次世代コーデックの新機能を活用している
91. Codec-based Ad Tech AVC / HEVC / AV1 / VVC でできる部分再エンコード • 差し替えたい領域を含むスライスを再エンコード
92. Codec-based Ad Tech HEVC / AV1 / VVC でできる部分再エンコード • 差し替えたい領域をカバーするマクロブロックの再エンコード
93. Codec-based Ad Tech VVC でできる部分再エンコード • 差し替えたい動画を別レイヤーにエンコード • VVC のマルチレイヤー機能でデコード時にオーバーレイされる
95. Codec-based Ad Tech Codec-based Ad が持つ可能性 • 本編内容に沿う広告は購買意欲を高める可能性 ◦ 広告が本編の視聴を邪魔するではなくなり、興味を拡張させる存在に • 再エンコード処理負荷が十分に低ければオーバーレイ映像挿入の新たな選択肢に ◦ 現在のオーバーレイ広告挿入はデバイス側の処理で UI として載せているが、デバイスの機能や処 理性能に依存した挿入精度 ◦ サーバーサイドオーバーレイ広告挿入の利点は、どのデバイスにも一定の挿入精度で配信可能
96. VVC マルチレイヤー符号化をサポートしたエンコーダー MainConcept • VVC/H.266 Encoder SDK ◦ VVC マルチレイヤー符 号化をサポートした現 時点で市場唯一のソフ トウェアエンコーダー • ハードウェアエンコー ダーは市場にまだない
97. もう 1 つのマルチレイヤー符号化技術 …
98. もう 1 つのマルチレイヤー符号化技術 …
99. MPEG-5 LCEVC • コーデックに依存しないコーデック強化 • n 世代コーデックの符号効率を n+1 世代と同等 に強化 • n 世代コーデックと同等の複雑性を保ちながら • ソフトウェア実装可能でバッテリー消費が少ない 強化コーデック https://www.lcevc.org/how-lcevc-works/
100. ブラジルの次世代デジタル放送規格 SBTVD TV 3.0 さまざまな PoC を経て 2025 年にロールアウト https://forumsbtvd.org.br/tv3_0/
101. 前衛的な技術仕様 • SBTVD TV 3.0 は前衛的な技術仕様の採用で注目を集める • 技術的なユースケースの考え方は参考にするべきところが多い https://forumsbtvd.org.br/tv3_0/
102. 前衛的な技術仕様 • SBTVD TV 3.0 は前衛的な技術仕様の採用で注目を集める • 技術的なユースケースの考え方は参考にするべきところが多い https://forumsbtvd.org.br/tv3_0/ TV 3.0 は Video Enhancement 技術として LCEVC を採用
104. LCEVC エンコーダー MainConcept
106. SBTVD TV 3.0 はなぜ LCEVC を選択しているか ブラジルが抱えるデジタル・ディバイド • 次世代デジタル放送への移行はそれを加速させる懸念がある • 次世代の標準技術の照準を IT の恩恵を受けにくい人々に合わせることもできる が、次世代技術への移行は裕福で技術に精通した人々がより高品質な情報に触 れていくためのチャンスでもある
107. SBTVD TV 3.0 はなぜ LCEVC を選択しているか 高品質な映像とアクセシビリティの両立が要件
108. SBTVD TV 3.0 はなぜ LCEVC を選択しているか 高品質な映像とアクセシビリティの両立が要件 LCEVC はデコード処理のオーバーヘッドが低い
109. SBTVD TV 3.0 はなぜ LCEVC を選択しているか 高品質な映像とアクセシビリティの両立が要件 LCEVC はデコード処理のオーバーヘッドが低い TV メーカーにとって VVC マルチレイヤーを導入するより 経済的なメリットが大きくなると考え、 LCEVC を選択している
110. Immersive Video の今
111. 購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告 メタデータ管 理 Immersive Video
112. Immersive Video のためのコーデック MV-HEVC • MV = Multi View • HEVC の拡張ツールの 1 つとして 2014 年に仕様策定 • WWDC 2023 で発表された Apple Vision Pro では MV-HEVC が採用されている
113. MV-HEVC MV-HEVC エンコード Multi-cam キャプチャ 実世界 Multi View 映像 符号化 再生 MV-HEVC デコード
114. MV-HEVC の基本概念 P B B B P B I B B B P B B B
115. MV-HEVC の基本概念 P B B B P B I B B B P B B B View 2 View 1 複数の View がレイヤー状に構成 1 レイヤー 1 View
116. MV-HEVC の基本概念 P B B B P B I B B B P B B B View 2 （View 1 に依存） View 1 （基本映像） 予測情報はレイヤーを 跨いで参照
117. MV-HEVC の基本概念 P B B B P B I B B B P B B B View 2 （View 1 に依存） View 1 （基本映像） 複数の View が 連動した動きを補償した 視差を符号化する
118. HEVC と ISO-BMFF を利用した相互運用性 Apple HEVC Stereo Video Interoperability Profile • 制作と再生が最適に立体動画（Stereoscopic video）ファイ ルを運用するべく Apple が提案するプロファイル • 2023 年 6 月に草案提出／現在ベータ版 • 普及が進むコーデック（HEVC）とコンテナフォーマット （ISOBMFF）をプロファイルに含むことで、立体動画に適した 圧縮効率と情報の伝送を実現しようとしている https://developer.apple.com/av-foundation/HEVC-Stereo-Video-Profile.pdf
119. 相互運用性を高める工夫 3D 再生に対応していないデコーダーも 2D として再生できるように https://developer.apple.com/av-foundation/HEVC-Stereo-Video-Profile.pdf
120. 相互運用性を高める工夫 3D 再生に対応していないデコーダーも 2D として再生できるように • プロファイル自体は両目向けの映 像情報を運ぶが、左目向け View を基本 View とすることを推奨 左目向け 基本 View 右目向け 追加レイヤー https://developer.apple.com/av-foundation/HEVC-Stereo-Video-Profile.pdf
121. 相互運用性を高める工夫 3D 再生に対応していないデコーダーも 2D として再生できるように • 基本 View か 3D 再生向けの追加 レイヤー View かは NAL ユニットの ヘッダー ID で識別 https://developer.apple.com/av-foundation/HEVC-Stereo-Video-Profile.pdf
122. 相互運用性を高める工夫 3D 再生に対応していないデコーダーも 2D として再生できるように • 3D として参照する情報は SEI メッセージを使って伝える • SEI 情報を無視しても 2D としては 問題なく再生 ◦ SEI = Supplemental Enhancement Information（補足的な強化情報）はサ ポートが必須ではない 3D 参照情報 https://developer.apple.com/av-foundation/HEVC-Stereo-Video-Profile.pdf
123. 映像拡張表現に対応する ISO-BMFF ファイルに Video Extended Usage があることを示 すための新規 box 「vexu」 • この box がファイルがステレオ映像として拡張 情報を持っていることを示す • 右目／左目それぞれに対する情報など ステレオ映像として表現を拡張するための情 報が格納される • 即時に再生しなくてもいい映像トラック情報を 持つことができる https://developer.apple.com/av-foundation/HEVC-Stereo-Video-Profile.pdf
124. 映像拡張表現に対応する HLS 映像が立体映像であることを示すための 新規属性 「REQ-VIDEO-LAYOUT」 • HLS v12 draft 14 で提案 • プレイリストの #EXT-X-STREAM-INF タグ が指す映像ストリームがステレオかどうか を示す #EXTM3U #EXT-X-VERSION:12 ... #EXT-X-STREAM-INF:BANDWIDTH=19 500000, CODECS="hvc1.2.20000000.H150.B0, ec-3", ... REQ-VIDEO-LAYOUT="CH-STEREO" 3D/prog_index.m3u8
125. MV-HEVC エンコーダー MainConcept
126. Sphere MSG（Madison Square Garden）社がラスベガスに建築した 超巨大球体型の複合アリーナ施設
127. 世界最大の球体建築物 • 81,300 m2 • 高さ： 112 m • 幅：157 m • 収容可能人数： 17,500 人 • 総工費： 2.3億ドル（約 340 億円）
128. Sphere 内壁外壁が LED • 世界最大＆最高解像度 • プログラマブル ライティング
129. https://speakerdeck.com/cyberagentdevelopers/nab-show-2023-report 去年はまだ建築中でした
130. Sphere 世界最大級の Immersive Show を見て来ました
131. Immersive Video とは異なるが もう 1 つ新たな動画表現の可能性を紹介
132. マルチビュー ◦ Tiledmediaによるマルチスクリーンの体験 ◦ スポーツなどの視聴体験に役立つか
133. 次世代ストリーミングプロトコルの DRM
134. 購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告 メタデータ管 理 ストリーミング プロトコル
135. DRM
136. DRM
137. DRM https://speakerdeck.com/cyberagentdevelopers/nab-show-2023-report castLabs の DRM for WebRTC に関しては 昨年もレポート
138. DRM
139. DRM for MOQT • MOQT（Media over QUIC Transpprt）の IETF 仕様に DRM の要件を入れる取り組み ◦ castLabs tech lead Thasso Griebel 氏が推進 https://www.ietf.org/proceedings/interim-2024-moq-01/bluesheets/bluesheets-interim-2024-moq-01-202402071630-00.txt 2024.02 の IETF interim-meeting MOQ の参加者一覧
140. MOQT 基本 MOQT = Media Over QUIC Transport • QUIC 上に構成されるストリーミング伝 送プロトコル ◦ 生の QUIC 上もしくは WebTransport も含 めた形で構成可能 https://datatracker.ietf.org/meeting/interim-2023-moq-08/materials/slides-interim-2023-moq-08-sessa-moq-transport-01
141. MOQT 基本 MOQT = Media Over QUIC Transport • 実際のメディアデータ（ペイロード）を どのように制御するかを定義 ◦ Opaque to payload = ペイロードの中身は 定義しない ◦ ペイロードの定義は MOQT オブジェクトと してマップ可能なストリーミングフォーマッ トに委ねる https://datatracker.ietf.org/meeting/interim-2023-moq-08/materials/slides-interim-2023-moq-08-sessa-moq-transport-01
142. MOQT 基本 MOQT オブジェクトにマップ可能な ストリーミングフォーマット • WARP ◦ CMAF パッケージを伝送するためのストリーミング フォーマット • LOC ◦ Low Overhead Media Container ◦ 映像や音声向けの低オーバーヘッドのメディアコ ンテナフォーマット ◦ WebCodecs API に最適化 ▪ WebCodecs でエンコードしたデータを そのままペイロードとして使用 https://datatracker.ietf.org/meeting/interim-2024-moq-01/materials/slides-interim-2024-moq-01-sessa-moq-denver-interim-01
143. DRM for MOQT • MOQT における DRM の必要性 ◦ QUIC が担保するのはネットワーク層でのセキュリティ担保 ▪ TLS/DTLS 相当 ◦ End-to-End のセキュリティはどのように担保するか ▪ DRM の検討が必要
144. DRM for MOQT に対する提案 by Thasso Griebel MOQT 上でどのように DRM をシグナルするか • Common Catalog Format の catalog と track フィー ルド両者に encryption 属性を追加して表現 • 鍵の識別子／マッピングなどの必要最小限の情報 ◦ それでも Key rotation や Clear leads には対応 LOC のような低オーバーヘッドのストリーミングフォーマット でどうやって DRM に必要な情報を付与するか • 復号に必要な初期化ベクター情報など ◦ CMAF senc box に含まれる情報 • WARP は CMAF を含んでいるので、そのまま利用可 能 https://datatracker.ietf.org/meeting/interim-2024-moq-02/materials/slides-interim-2024-moq-02-sessa-content-protection-for-moq-00
145. DRM for MOQT の今後 • DRM に関する仕様の議論は大体難航する • 仕様が通るかどうかは別問題だが、提案した DRM for MOQT の仕様の実装自体 は難しいものではない • Thasso Griebel さんは IBC 2024 のタイミングでは DRM for MOQT に関する 何らかのデモを実施できるようにしたいと考えている
146. ANN による品質評価技術の進化
147. 動画コンテンツの品質を高く保つ難易度が上がっている • コンテンツ品質に対して高まり続けるユーザーの期待値に応えるためには 最新の圧縮技術への対応が不可欠 • 多様な環境にコンテンツを届けるためには異なるビットレート、フォーマット、帯域を 想定して圧縮技術を使い分けことも選択肢 • そもそも増え続けるコンテンツ量
148. 動画品質監視の重要度が上がっている 動画コンテンツの品質を高く保つことの難易度が上がっている
149. 動画品質監視の重要度が上がっている 動画コンテンツの品質を高く保つことの難易度が上がっている コンテンツ品質は顧客満足度とリテンション率に影響度が高くなっている
150. 動画品質監視の重要度が上がっている 動画コンテンツの品質を高く保つことの難易度が上がっている 動画品質監視の重要度が高くなっている コンテンツ品質は顧客満足度とリテンション率に影響度が高くなっている
151. 圧縮による劣化 劣化の要因はコンテンツの時間／空間的な複雑性 • ニュースのような同一フレーム内もフレーム間も変化が少ないコンテンツより、カー レースのような動きが速く、オブジェクトの構造や材質も細かいコンテンツの方が複 雑で高いビットを要求する • コンテンツに適切なビットを触れない場合もあるので、エンコーディング手段自体を 変更して順応させる必要もある • これらが適切に処理できていないと、ブロックノイズ／ぼやけ／ちらつきなどのノイ ズを生む
152. Video Compression Score ANN での圧縮による劣化のスコアリング • ANN = Artificial Neural Network = 人工ニューラルネットワーク • 圧縮済コンテンツの映像品質スコアを予測する目的で学習されたモデル ◦ 空間的特徴と時間的特徴が異なる大量のメディアコンテンツに対してトレーニング ◦ エンコーディングのパラメーター設定値が full-reference 型の Netflix VMAF（Video Multimethod Assessment Fusion）スコアに相関するようにマッピングされるように学習
153. Video Compression Score の手法としての優位性 • Non-referential ◦ 参照映像が存在しないユースケースに対してもリアルタイム監視可能 ▪ ライブ配信、ビデオ会議、セキュリティポリシーが強いアプリケーション • 自動化可能なオブジェクト評価 ◦ 品質制御 ◦ トラブルシューティング • ストリーム特性を軸としたコンテンツの特性評価 • Netflix VMAF と相関する指標 ◦ 既存の評価軸をリアルタイム監視に応用できる
154. Video Compression Score の学習データ・バリエーション 機械学習のキーは適切な学習データ
155. Video Compression Score の学習対象パラメーター 学習対象のパラメーター選択 • エンコーディング結果に特に影響が あると評価したパラメーターを選択 • パラメーターと品質スコアをペアで ANN モデルをトレーニング
156. Video Compression Score モデルのトレーニング トレーニングプロセス トレーニングセット ANN トレーニング 学習後 ANN モデル パラメーター Full-reference 映像品質スコア スコアの測定 パラメーター 学習後 ANN モデル Compression Score (Non-referential)
157. Video Compression Score の精度 Video Compression Score (= CS) と VMAF のスコアは高い相関関係
158. 広告関連技術の可能性
159. 購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告 メタデータ管 理
160. 動画解析 • コンテンツの分析精度の向上 ◦ 最適なCMチャンスのサジェスト、シーンごとのターゲティング、演者の特定等 ◦ Rekognition、vionlabs、mimir　これらはMAMツールと連携可能
161. 新フォーマット • 新フォーマット ◦ Liveスポーツ向け広告の導入スピード向上 ◦ L字等のフォーマットの一般化と購買体験の実現
162. 計測 • 次世代計測SDKの登場 • Datazoom • OMSDK対応 • 独自で計測機能実装が不要に
163. エッジコンピューティング • Akamaiの事例と活用のヒント ◦ Akamai Geckoの活用ユースケース ◦ トランスコーディング ◦ データトランスフォーメーション ◦ AdInsersion Akamai Gecko
164. 大手ソリューションメーカーから見る トレンド
165. SONYブース • 制作から配信までのシステムを 持つSONYは比較的 NAB全体 の傾向を体現しているのでコン タクトの上、早めにアテンドして もらった。 • 機材のIP化が終わり、動画スト レージがクラウド環境へシフトし て、素材の活用、効率化の方 向に向かっている印象
166. SONYブース • 報道ワークフロー ◦ クラウド収録が一般化 ◦ 追いかけ編集 ◦ 素材の切り出し ◦ 素材共有化
167. SONYブース • 制作ワークフロー ◦ メタ情報の連携 ◦ 編集のクラウド化
168. SONYブース • スポーツライブ ◦ クラウドスイッチャー ◦ AIによる自動ハイライト生成 ▪ シーンでの盛り上がりをタイ ムラインにプロット ▪ MLで歓声やボールの音など を利用 ◦ クリップの共有
169. 機能のコンポーネント化 • IP化、クラウド化が進み各機能が大手の企業で も全体パッケージ主体からコンポーネント化が 進んだ • 部分的にSaaS利用できたり、コンパクトな放映 システムとして切り出したソリューションがあちこ ちに出展されている • 成長期〜成熟期に入り、機能や接続性を売りに 競争化して、使う側も選んで組み合わせる世界 になった
170. AWSによるLiveNews構築例 • 会場内のスタジオと東の州拠点を使い、いく つかのベンダーソリューションを組み合わせ て実現したNewsのデモ • SIENNAというソフトスイッチャーを使ってイ ンジェストラインもソフト制御していた
171. ワークフローと可視化 • インジェスト状態やトランスコード、 QCなど のコンテンツの処理の流れの可視化が標 準機能になっている • MAM、CRMのような部分ではワークフ ローによる可視化もかなり進んだ • BatonのORION OTTは、全体におけるノン サンプリングでの品質の劣化ポイントの可 視化にも期待できる
172. ストレージ領域の動向 • クラウド化したことで需要が減った訳では なく活性化している • 収録現場用の高耐久ストレージ • カメラ向けの高速カード • DCのHDD監視や交換予測などに AI利用 が活用されている模様
173. トレンド傾向まとめ • 大手ベンダーもクラウド化が浸透し、機能毎の 切り出しSaaSも出てきており、クラウドストレー ジをベースにした柔軟な組み替え提案ができる フェーズに入った。OTTに放送業界側が追いつ いてきている印象 • AIによる動画解析も当たり前に利用されており、 どこに何を目的とするか？が現場に即している と使われる製品差異となっている • 来年には実用が爆発的に増えそう
174. 実用性を探るバーチャルプロダクション
175. 購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告 メタデータ管 理 バーチャル プロダクション
176. バーチャルプロダクションの動向 展示が多くまだトレンド。実用性を探っている段階という感じ SONY VUStudio カメラと照明を一気通貫で作れる のが SONY の強み NAB の中央ロビーで体験型の ブースが展示されていた
177. Pros / Cons デメリットも明確にあり、用途に応じて使い分ける形になる 項目 Pros Cons 制作コスト • 演者の拘束時間が短くて済む • ロケ地への移動費や宿泊費が不要 • 美術セットの制作費が削減できる • 高価な機材が必要 • 技術習得に時間がかかる 撮影効率 • 季節や天候、時間帯に左右されない • 危険なシーンも安全に撮影できる • 複数シーンを連続して撮影できる • 撮影前の入念な準備が必要 • 限られた空間での撮影となる 表現力 • 現実では再現困難な映像を表現できる • 臨場感のある映像を制作できる • リアリティの演出が難しい その他 • 環境に優しい • データの管理・共有が容易 • 専門知識を持つ人材の不足
178. Media Supply Chain を進化させる技術
179. 購入 編集 QC マスタ リング 編成 制作 配信 視聴 広告 メタデータ管 理 コンテンツ提供フローの全体
180. • アセット管理を中心として、制作や調達から始まり、配信や収益化に至るま で、シームレスに連携するためのエコシステム • 導入サイクルの長い一枚岩の完全なインフラストラクチャを構築するのでは なく、個別最適なシステムを連携して市場動向の変化に素早く対応する Media Supply Chain の重要性 Media Supply Chain Production Asset Management Broadcast Archive Analyze Report Catalog CMS Marketing Advtizing Rights Management
181. Media Supply Chain 展示やセッションを通して “Media Supply Chain“ という用語は特別なキーワードではなく、 一般用語として使われている
182. Dalet と異なるアプローチ vs
183. 音源分離のワークフロー統合 シングルトラック音源をマルチトラックに分離する 音源分離 翻訳&文字起こし
184. AudioShake による会話・BGM・SE の分離 コンテンツワークフローで会話、BGM、SEを分離する • 分離前と比較して文字起こしの精度が 15% 向上する • 会話を抜き取って翻訳することで吹き替えを実現する • BGM のみを削除することで権利問題に対応する Dialog BGM SE Dub SingleTrack
185. Intelligent QC テクニカル QC に加えてコンプライアンス、プロビナンス、言語を統合した品質を保証する
186. Intelligent QC アーキテクチャ Step Functions による QC 統合 • ML / AI を活用したコンプライアンスやプロビ ナンス、言語など 各 QC のソリューションを Step Functions で柔軟に統合 • ABEMA でもワークフロー管理を Step Functions に移行していく方針
187. 世界最小の放送用カメラ
188. PROTON CAM NAB Show 2024 直前に PROTON Camera Innovations 社がローンチした 世界最小の放送用カメラ • サイズ 28mm x 28mm • 重量 24g（レンズ付けて 36g） • 消費電力 2.5W • 最大出力 1080p 60fps • 価格 $1,300 • ユースケース 1：ドローン撮影 ◦ サイズ／重量／消費電力が致命的な問題になりやすい条件に最適 • ユースケース 2：選手や演者の間近にマウントしての撮影 ◦ スポーツ：テニスのネット、サッカーのゴールに付けての撮影 ◦ リアリティショー：出演者の間近にマウントしても邪魔にならない ◦ オーストラリアで 12 個の PROTON CAM を救急車につけてさまざまな角度で怪我人の様子を撮影した実績
189. PROTON CAM 展示デモ • 小さいながらも ノイズがない 映像品質
190. まとめ • 今年のトレンドワードも間違いなく AI だった • 生成／支援 AI や ML による動画業界での活用は領域問わず地道に広がっている • ただし、生成 AI の活用はどの領域も明確なガイドラインがなく、 模索は続いている • AI によるコンテンツクリエイションが直接活きてくるまでにはもう少し時間が必要 • AI コンテンツクリエイションが当たり前の世界になるためには、 ディープフェイクが社会を乱さない条件としてその検知技術の進化が重要 • 新しい映像表現や広告表現のための技術も進化を続けているが、 今後の AI / ML の進化と交差するポイントにも注目が当たる
191. ありがとうございました