Tweet
Tweet

Slide 1

Slide 1 text

動画技術関連レポート 株式会社 AbemaTV 五藤 佑典 | 山中 勇成 | 保坂 麻友 | 東 和宏 2023

Slide 2

Slide 2 text

五藤 佑典 YUSUKE GOTO https://ygoto3.com/ @ygoto3_ ● California State University, San Bernardino グラフィックデザイン専攻 Career History 1. Graphic / Web Designer 2. Marketer 3. Web Engineer 4. Video Engineer 5. Technical Product Manager ● CyberAgent Developer Expert @（株）サイバーエージェント ● Technical Product Manager @（株）AbemaTV CTV 事業部

Slide 3

Slide 3 text

in Video Technology and Product Design

Slide 4

Slide 4 text

自己紹介 山中 勇成
 株式会社AbemaTV 開発本部 コンテンツ配信チーム シニア映像配信エンジニア
 2017年新卒入社。入社から配信基盤の開発に携わっている。
 直近ではインジェストフローを改善するSUPERBIRDプロジェクトを遂行。
 趣味で中継車でスイッチング、映像システムの構築をしていたりする。
 


Slide 5

Slide 5 text

自己紹介 保坂　麻友 コンテンツエンジニアリング、技術局（兼務） 2012年　WOWOW　新卒入社 音楽ライブ・フェス等の中継 VE、TD （Summer Sonic、Rock in Japan、嵐、安室奈美恵　等） スタジオ番組TD （スポーツ、特番、アカデミー賞、トニー賞　等） 4Kドキュメンタリー番組　 DIT スタジオ設備更新 収録センター設備構築 2022年　AbemaTV 入社 スポーツ番組TM ワークフロー改善等

Slide 6

Slide 6 text

自己紹介 東　和宏 コンテンツエンジニアリング インフラエンジニア 2012年4月　CyberAgent新卒入社 ・データセンター、プライベートクラウド運用 ・パブリッククラウド運用 2023年1月　AbemaTV異動 ※業務としては2020年ごろからお手伝いしてた 担当領域： サーバ、ストレージ、 MAMシステム、 クラウドを活用した動画運用システム

Slide 7

Slide 7 text

アジェンダ ● Ice Break ● 米国動画関連トレンド ● ATSC 3.0 ● Codec ● 多重伝送プロトコル ● DRM for WebRTC ● Video over IP ● Playout & MAM ● Monitoring ● AI ソリューション ● Cinema camera ● Virtual Production ● Remote Production ● Media Supply Chain ● Dolby Live ● NAB Show 2023 よもやま話

Slide 8

Slide 8 text

Ice Break

Slide 9

Slide 9 text

NAB Show 2023 4/15 - 19 米国ラスベガス開催の NAB Show 2023 に行って来ました NAB Show 全米放送事業者協会が主催するメディ ア、エンターテインメント、テクノロ ジーに関する世界最大規模の展示会 今年の実績 参加者数：65,013 米国外からの参加者数：17,446 展示社数：1,208

Slide 10

Slide 10 text

Motivation AbemaTV を始めとするサイバーエージェントの動画事業を技術的に前進させる ● 業界トレンドの定点観測 ● アメリカを中心とする技術標準化の動向キャッチアップ ● 複数の海外パートナー会社との一挙ミーティング ● 業界先端企業の将来への見解や実践例などの情報収集 ● 汎用ソリューションの進化状況の確認 ● 以前に目をつけていた技術の進化状況の確認

Slide 11

Slide 11 text

NAB Show 100 周年

Slide 12

Slide 12 text

SPHERE ● MSG（Madison Square Garden）社が建築中の大型アリーナ ○ 17,500 人収容可能 ○ 内壁外壁が 世界最大＆最高解像度 の LED ■ プログラマブル ライティング https://www.thespherevegas.com/

Slide 13

Slide 13 text

SPHERE ● 世界最大の球体建築物 ○ 81,300 m2 ○ 高さ：112 m ○ 幅：157 m

Slide 14

Slide 14 text

SPHERE ● 世界最大の球体建築物 ○ 81,300 m2 ○ 高さ：112 m ○ 幅：157 m 派手な建造物が多いラスベガスの中でも 目立つ存在になる期待大

Slide 15

Slide 15 text

米国動画関連トレンド

Slide 16

Slide 16 text

米国の動画ストリーミングトレンド CBS 元 CTO Robert P. Seidel 氏から米国の放送・配信動向を伺った ● 米国では配信業者、メーカー含めて全てで厳しい ● やっと Netflix が黒字化。自社制作していないと厳しい現状。権利で戦っている会社は今後も厳しい状況が 続くと予想

Slide 17

Slide 17 text

米国の動画ストリーミングトレンド ● コロナ禍以降、サブスクリプション経済が加速 ● いつでも、どこでも、どんなデバイスでも視聴できる需要が高まる ● コンテンツプロバイダーや配信事業者は買収や業務提携などで 規模拡大を模索 ○ Netflix、Amazon Prime、Disney+ などとグローバルで競争する規模に なるには 2 億規模以上のサブスクライブ数は必要

Slide 18

Slide 18 text

米国の動画ストリーミングトレンド コード・カッティングの流れは継続している ● Pay-TV サブスクライブ数の減少 ○ 2022 年前年から 8% 減少 ○ 2023 年も 8% 減少見込み ○ 2027 年には Pay-TV サブスクライブ数は 6,000 万になる予測 ■ 全盛期（2010 年） 1 億

Slide 19

Slide 19 text

米国の動画ストリーミングトレンド 主要な放送局やケーブル TV 会社は DTC（Direct-to-Consumer）ストリーミングサービスを提供 ● 多くのサービスが Netflix へのコンテンツ提供を止め始めている ○ Disney、NBCU、HBO など

Slide 20

Slide 20 text

米国の動画ストリーミングトレンド リニア TV の視聴者のうち 58% が 55 歳以上の視聴者 ● この層を取り込む上での FAST の重要性

Slide 21

Slide 21 text

FAST FAST ● Free Ad-Supported Streaming TV ● 無料のリニア動画配信 ● 広告収益モデル ● 地上波のように番組表を持つ ● Tubi／Pluto TV／Freevee／Roku Channel など米国ほか世界中で増加

Slide 22

Slide 22 text

FAST FAST ● Free Ad-Supported Streaming TV ● 無料のリニア動画配信 ● 広告収益モデル ● 地上波のように番組表を持つ ● Tubi／Pluto TV／Freevee／Roku Channel など米国ほか世界中で増加 ● 日本では 2015 年から ABEMA が FAST モデルでサービス開始している

Slide 23

Slide 23 text

グローバル動画関連トレンド FAST は既にグローバルトレンド

Slide 24

Slide 24 text

グローバル動画関連トレンド FAST は既にグローバルトレンド OTT サービスも放送局も FAST に集中

Slide 25

Slide 25 text

グローバル動画関連トレンド FAST は既にグローバルトレンド OTT サービスも放送局も FAST に集中 ソリューションの汎用化

Slide 26

Slide 26 text

汎用 FAST ソリューション TVCoins ● D2C（Direct-to-Consumer） FAST プラットフォーム ● レベニューシェアモデル 広告プラットフォーム付き ● 生配信／VOD ● CTV／モバイル ● Android／iOS／Roku

Slide 27

Slide 27 text

汎用 FAST ソリューション TVCoins ● D2C（Direct-to-Consumer） FAST プラットフォーム ● レベニューシェアモデル 広告プラットフォーム付き ● 生配信／VOD ● CTV／モバイル ● Android／iOS／Roku 提案から市場投入まで 最短 10 日

Slide 28

Slide 28 text

汎用 FAST ソリューション TVCoins ● ホワイトレーベル ○ 自身のブランドでサービス展開 ● 広告マネタイズ ○ 機械学習による広告ターゲティング／売上最大化 ○ 売上、挿入、支払い、売上分配の管理 ● マネージドサービス ○ 用意するものは自身のコンテンツ

Slide 29

Slide 29 text

汎用 FAST ソリューション TVCoins ● マネージドサービス ○ 視聴者管理 ○ CMS ○ インジェスト機能 ○ 広告管理 ○ 分析機能 ○ CDN ○ アプリ（15 種のプラットフォームサポート）

Slide 30

Slide 30 text

汎用 FAST ソリューション

Slide 31

Slide 31 text

汎用 FAST ソリューション

Slide 32

Slide 32 text

In-car エンターテイメント

Slide 33

Slide 33 text

In-car エンターテイメント Automotive 技術の進化 動画ドメインの次なる市場は In-car エンターテイメント https://www.ces.tech/topics/topics/vehicle-technology.aspx

Slide 34

Slide 34 text

In-car エンターテイメント 現在のファクト ● US の運転手は 1 日平均 61.3 分間運転する（2021 年） AAA Foundation for Trafic Safety, American Driving Survey, 2020–2021 ● 2020年 55.6 分 → 2021 年 61.3 分 増加傾向 https://aaafoundation.org/wp-content/uploads/2022/11/AAAFTS_Research-Brief_2022-American-Driving-Survey2020-2021.pdf

Slide 35

Slide 35 text

In-car エンターテイメント 2030 年までに全車両の 32% が EV（Electric Vehicle）に Electric vehicles Setting a course for 2030, Deloitte, 2020 https://www2.deloitte.com/us/en/insights/focus/future-of-mobility/electric-vehicle-trends-2030.html

Slide 36

Slide 36 text

In-car エンターテイメント CARIAD ● フォルクスワーゲングループ ● インフォテインメント体験の ブランド統一プラットフォーム のための会社

Slide 37

Slide 37 text

In-car エンターテイメント CARIAD の Android Automotive OS 向けの App Ecosystem ● 2023 年 7 月から既に市場に出ている いくつかの Audi のモデルにリリース ● Porsche、Volkswagen などのブランドも 順次対象となる ● Mobile World Congress 2023 で ワールドプレミア実施 https://cariad.technology/de/en/news/stories/launch-application-store-for-volkswagen-group.html

Slide 38

Slide 38 text

In-car エンターテイメント Automotive ソフトウェアでは Android OS がより重要になる ● 2026 年までに 4,000 万台以上の車両に Android OS が搭載される

Slide 39

Slide 39 text

In-car エンターテイメント 2 種類の Android

Slide 40

Slide 40 text

In-car エンターテイメント 2 種類の Android ● Android Auto ○ スマートフォン／ミラーリングで使用 ○ 自社ブランド化するためのスキニング不可

Slide 41

Slide 41 text

In-car エンターテイメント 2 種類の Android ● Android Auto ○ スマートフォン／ミラーリングで使用 ○ 自社ブランド化するためのスキニング不可 ● Android Automotive OS ○ ヘッドセットで直接動作（スマートフォン不要） ○ 車両自体の機能を操作（車両の UX を柔軟に拡張可能） ○ 自社ブランド化するためのスキニング可能

Slide 42

Slide 42 text

In-car エンターテイメント 2 種類の Android ● Android Auto ○ スマートフォン／ミラーリングで使用 ○ 自社ブランド化するためのスキニング不可 ● Android Automotive OS ○ ヘッドセットで直接動作（スマートフォン不要） ○ 車両自体の機能を操作（車両の UX を柔軟に拡張可能） ○ 自社ブランド化するためのスキニング可能 CARIAD の App Store は Android Automotive OS 対象

Slide 43

Slide 43 text

In-car エンターテイメント Android Automotive OS で何ができるようになるのか？ ● 既存のモバイルや Connected TV 向けアプリの移植 ○ 既存の FAST サービスや OTT サービスが車内で楽しめる ● コンテンツプロバイダーにとっての新しい販路が生まれる ● オーディオシステムの利便性強化 ● その他新しいユースケース …

Slide 44

Slide 44 text

In-car エンターテイメント

Slide 45

Slide 45 text

ATSC 3.0

Slide 46

Slide 46 text

ATSC 3.0 ATSC 3.0 ● 米国で導入を進めている次世代テレビ放送規格 ● Advanced Television Systems Committee 3.0 ATSC 3.0 の普及率 ● 米全世帯の 60％ が受信可能に ● 導入スピードが鈍化

Slide 47

Slide 47 text

ATSC 3.0 ATSC 3.0 ● 米国で導入を進めている次世代テレビ放送規格 ● Advanced Television Systems Committee 3.0 ATSC 3.0 の普及率 ● 米全世帯の 60％ が受信可能に ● 導入スピードが鈍化 普及加速が求められている

Slide 48

Slide 48 text

ATSC 3.0 ATSC 3.0 の収益貢献 ● 教育 ○ ATSC 3.0 の Datacasting 機能を 使ったソリューション ○ インターネット環境を 持っていない家庭でも リモート学習を可能に

Slide 49

Slide 49 text

ATSC 3.0 ATSC 3.0 の収益貢献 ● 警報 ○ 2022.09.13 Santa Rosa ○ マグニチュード 4.4 ○ 時間 ■ 発生から 4.5 秒後に USGS （アメリカ地質調査所）発火 ■ 全警報範囲 15 秒以内

Slide 50

Slide 50 text

ATSC 3.0 Hybrid Delivery & Virtual Channels Virtual Channels ● 地上波とインターネットの両者をハイブリッドに使って より多くのチャンネル数を提供する ○ 1 チャンネルに必要な地上波の帯域を最小限に抑える ○ 他の地上波チャンネルと一緒に EPG に並べられる ○ A/344 のような ATSC 3.0 のアプリケーション機能を 利用できる ○ CDN のログにより視聴者分析が可能になる

Slide 51

Slide 51 text

ATSC 3.0 Hybrid Delivery & Virtual Channels どうハイブリッドか ● 地上波でシグナリングを送信 ● インターネットで MPEG-DASH のセグメント （映像／音声／キャプション） を送信

Slide 52

Slide 52 text

ATSC 3.0 Hybrid Delivery & Virtual Channels インターネットの利用範囲が増えると セキュリティ懸念が増える

Slide 53

Slide 53 text

ATSC 3.0 Hybrid Delivery & Virtual Channels Virtual Channels のセキュリティ ● A3SA（ATSC 3.0 Security Authority） DRM ● IP ジオロケーションによるフィルター ○ IP ジオロケーションの精度によっては 正当な視聴者が視聴できないリスク

Slide 54

Slide 54 text

ATSC 3.0 Hybrid Delivery & Virtual Channels Virtual Channels のセキュリティ ● A3SA（ATSC 3.0 Security Authority） DRM ● IP ジオロケーションによるフィルター ○ IP ジオロケーションの精度によっては 正当な視聴者が視聴できないリスク ● 地上波からのシグナリングに限定したマニフェストファイル（MPD）の受信

Slide 55

Slide 55 text

ATSC 3.0 Hybrid Delivery & Virtual Channels ● https://www.atsc.org/wp-content/uploads/2021/01/A331-2021-Signaling-Delivery-Sync-FEC.pdf

Slide 56

Slide 56 text

ATSC 3.0 Hybrid Delivery & Virtual Channels https://speakerdeck.com/ygoto3/nab-show-2022-report

Slide 57

Slide 57 text

ATSC 3.0 Hybrid Delivery & Virtual Channels ● https://www.atsc.org/wp-content/uploads/2021/01/A331-2021-Signaling-Delivery-Sync-FEC.pdf

Slide 58

Slide 58 text

SLT - Service List Tables ● シグナリングの時点で ブロードバンドを要求 … ATSC 3.0 Hybrid Delivery & Virtual Channels

Slide 59

Slide 59 text

ATSC 3.0 Hybrid Delivery & Virtual Channels Virtual Channel のセキュリティ ● A3SA（ATSC 3.0 Security Authority） DRM ● IP ジオロケーションによるフィルター ○ IP ジオロケーションの精度によっては 正当な視聴者が視聴できないリスク ● 地上波からのシグナリングに限定したマニフェストファイル（MPD）の受信 ● Base URL のローリング ○ CDN から Base URL を動的に生成 ○ 生成された Base URL は一定時間で失効

Slide 60

Slide 60 text

SLS - Service Layer Signaling ● MPD 内 BaseURL 要素が 示す URL を期限内だけ有 効化してセキュリティ制御 https://cdn.example.com/knxgld3 … ATSC 3.0 Hybrid Delivery & Virtual Channels

Slide 61

Slide 61 text

SLS - Service Layer Signaling ● USBD（User Service Bundle Description）で User Service の Broadband Physical layer は HTTP TCP/IP unicast を使うことが示される audio-0-96000- audio-1-96000- data-0-50000- video-3000000- ATSC 3.0 Hybrid Delivery & Virtual Channels

Slide 62

Slide 62 text

ATSC 3.0 Hybrid Delivery & Virtual Channels WPBT のデプロイ例

Slide 63

Slide 63 text

Codec

Slide 64

Slide 64 text

VVC VVC の採用状況 ● ARIB ISDB ○ 次世代デジタル放送に向けて VVC Main 10 と Multilayer Main 10 プロ ファイルを調査中 ● ATSC ○ ATSC 標準セットに VVC を指定 ● CTA Wave ○ CTA-5001-E : Web Application Video Ecosystem - Content Specification に VVC プロファイルを追加済

Slide 65

Slide 65 text

VVC VVC の採用状況 ● DASH-IF ○ 2022 年 DASH-IF Interoperability Points に VVC プロファイル追加 ● DVB ○ 2022 年 次世代映像コーデック群に VVC 採用 https://speakerdeck.com/ygoto3/ibc-2022-report

Slide 66

Slide 66 text

VVC VVC の採用状況 ● SBTVD ○ 2021 年メイン映像コーデックとして VVC を選択 ○ 仕様草案作成中 ● SCTE ○ 2023 年 SCTE 281-1 / SCTE 281-2 に VVC 採用 https://speakerdeck.com/ygoto3/nab-show-2022-report

Slide 67

Slide 67 text

VVC MC-IF VVC technical guidelines ● Media Coding Industry Forum が開発する VVC の技術ガイドライン ● 目的 ○ VVC 設定のベストプラクティスのガイド ○ VVC 利用における相互運用性促進

Slide 68

Slide 68 text

VVC MC-IF VVC technical guidelines

Slide 69

Slide 69 text

VVC MC-IF VVC technical guidelines ● 開発中 ● 2023 Q2 末にリリース予定

Slide 70

Slide 70 text

VVC VVdeC ● Fraunhofer が開発する ソフトウェアデコーダー ● 高速

Slide 71

Slide 71 text

VVC Wasm on Firefox で動く VVdeC のデモ

Slide 72

Slide 72 text

AV1 Meta と Netflix の AV1 カバレッジ状況 ● Meta：iPhone による Facebook Reels 視聴時間の 70% ● Netflix：エンコード済カタログの 30%

Slide 73

Slide 73 text

AV1 AV1 と Connected TV ● Netflix は 2021 年から Connected TV に AV1 で配信 ○ 結果 ■ 映像品質が 10 VMAF 向上 ■ 4K による総視聴時間が 5% 向上（4K 対象セッションのみ） ■ 再生開始遅延を 2% 短縮 ■ 同品質での帯域消費を 30% 低減

Slide 74

Slide 74 text

MPEG-5 LCEVC MPEG-5 LCEVC ● コーデックに依存しないコーデック強化 ● n 世代コーデックの符号効率を n+1 世代と同等に強化 ● n 世代コーデックと同等の複雑性を保ちながら ● ソフトウェア実装可能でバッテリー消費が少ない強化コー デック

Slide 75

Slide 75 text

MPEG-5 LCEVC ● エコシステム拡大 ○ NAB Show 2023 時点で 32 社が LCEVC をサポート ■ 昨年から 12 社増

Slide 76

Slide 76 text

LC3plus LC3plus ● LC3 の後継コーデック ● LC3（Low Complexity Communication Codecs） ○ 次世代 Bluetooth LE Audio の必須コーデック ○ Bluetooth Classic Audio の標準コーデックである SBC と比較して ■ 高圧縮効率／高音質 ■ 低遅延 ● SBC - 数百 ms ● LC3 - 7.5ms * n または 10ms * n パケットサイズをアイソクロナス転送

Slide 77

Slide 77 text

LC3plus LC3plus ● LC3plus = ETSI（欧州電気通信標準化機構）による標準化（TS 103 634） ○ LC3 = Bluetooth SIG による規格 ● LC3 の性質に加え ○ 超高性能パケット損失補間 - Advanced Packet Loss Concealment ○ FEC - Forward Error Correction ○ Bluetootn A2DP プロファイルサポート ● パケットサイズ 2.5ms／5ms／10ms による低遅延化

Slide 78

Slide 78 text

LC3plus LC3plus の 超高性能パケット損失補間 処理を体感

Slide 79

Slide 79 text

LC3plus LC3plus の 超高性能パケット損失補間 処理を体感 MOS 通りの聴きやすさ

Slide 80

Slide 80 text

LC3plus https://www.jas-audio.or.jp/news/post17967

Slide 81

Slide 81 text

多重伝送プロトコル

Slide 82

Slide 82 text

EFP - Elastic Frame Protocol MPEG-2 TS （Transport Stream） ● 多重伝送のデファクト・プロトコル EFP（Elastic Frame ProtocolｊＬ） ● MPEG-2 TS に対するオープンソースの代替品

Slide 83

Slide 83 text

EFP - Elastic Frame Protocol

Slide 84

Slide 84 text

EFP - Elastic Frame Protocol 現代の IP 伝送においては MPEG-2 TS は無駄が多い

Slide 85

Slide 85 text

EFP - Elastic Frame Protocol 現代の IP 伝送においては MPEG-2 TS は無駄が多い EFP より IP 伝送に最適な プロトコル

Slide 86

Slide 86 text

EFP - Elastic Frame Protocol 多重伝送プロトコルの機能 ● 多重化（映像／音声／サブタイトル） ● フレーミング ● ストリームの同期 ● メタデータ／コンテンツの信号 ● エラー検出／補正

Slide 87

Slide 87 text

EFP - Elastic Frame Protocol 多重伝送プロトコルの機能 ● 多重化（映像／音声／サブタイトル） ● フレーミング ● ストリームの同期 ● メタデータ／コンテンツの信号 ● エラー検出／補正 しかし、これらの機能は場合によって ほかのプロトコルがカバーしている ● RTP：タイムスタンプ ● PTP：時刻同期 ● SDP / NMOS：メタデータ

Slide 88

Slide 88 text

EFP - Elastic Frame Protocol EFP が解決する MPEG-2 TS の問題 ● オーバーヘッド ○ MPEG-2 TS はモダンインターネットでは不要なオーバーヘッドがある ■ sync byte (0x47) ■ スタートコード ■ 188 バイト固定の TS パケット ■ CBR のための null スタッフィング ■ table-of-contents の繰り返し

Slide 89

Slide 89 text

EFP - Elastic Frame Protocol EFP が解決する MPEG-2 TS の問題 ● タイムスタンプ ○ MPEG-2 TS は 33 ビット ■ 26.5 時間周期で繰り返す ○ EFP は 64 ビット ■ 絶対時間を記述可能 ■ CMAF セグメントのタイムスタンプに合う

Slide 90

Slide 90 text

EFP - Elastic Frame Protocol EFP が解決する MPEG-2 TS の問題 ● バッファーモデル ○ MPEG-2 TS は複雑 ■ ハードウェアの小さいバッファサイズをサポート ○ EFP ではバッファーモデルを指定していない ■ モダンな伝送プロトコルであれば十分にカバーできる ● SRT ● RIST

Slide 91

Slide 91 text

EFP - Elastic Frame Protocol https://github.com/agilecontent/efp

Slide 92

Slide 92 text

DRM for WebRTC

Slide 93

Slide 93 text

DRM for WebRTC WebRTC のセキュリティ課題 ● コンテンツは TLS 暗号のみで守られている ● TLS には複数のコンテンツの露出点がある ○ SFU（Selective Forwarding Units）では復号された動画が露出 ○ 再生クライアントでのコピーやキャプチャー、外部出力の露出

Slide 94

Slide 94 text

DRM for WebRTC https://castlabs.com/news/webrtc-drm-end-to-end-security/ TLS が保護するのはソケットのエンドポイント間のみ

Slide 95

Slide 95 text

DRM for WebRTC WebRTC のセキュリティ課題 ● コンテンツは TLS 暗号のみで守られている ● TLS には複数のコンテンツの露出点がある ○ SFU（Selective Forwarding Units）では復号された動画が露出 ○ 再生クライアントでのコピーやキャプチャー、外部出力の露出 WebRTC によるプレミアムコンテンツの配信には E2EE（End-to-End Encryption） が求められている

Slide 96

Slide 96 text

DRM for WebRTC castLabs DRMtoday for WebRTC

Slide 97

Slide 97 text

DRM for WebRTC DRMtoday for WebRTC ● castLabs が提供する WebRTC 用の E2EE DRM ソリューション ● Encryptor / Transformer / Licensing server の 3 つの コンポーネントで提供 https://castlabs.com/news/webrtc-drm-end-to-end-security/

Slide 98

Slide 98 text

DRM for WebRTC DRMtoday for WebRTC 1. Encryptor が鍵生成 2. Encryptor から Lisensing server に鍵送信 3. Encryptor が鍵で動画フレームを暗号化 4. Encryptor が動画フレームを WebRTC パイプラインに送出 5. Transformer が WebRTC パイプラインから 動画フレーム受信 6. Transformer が CDM で動画フレームを復号 https://castlabs.com/news/webrtc-drm-end-to-end-security/

Slide 99

Slide 99 text

DRM for WebRTC DRMtoday for WebRTC ● ISO Common Encryption ‘cenc’ ● 部分サンプル暗号 ○ VCL（video coding layer） のみ暗号化 ○ 諸々のヘッダー（SPS/PPS など）は 変更されない

Slide 100

Slide 100 text

DRM for WebRTC DRMtoday for WebRTC ● ISO Common Encryption ‘cenc’ ● 部分サンプル暗号 ○ VCL（video coding layer） のみ暗号化 ○ 諸々のヘッダー（SPS/PPS など）は 変更されない Encryptor から出力された 暗号動画フレームと 通常の動画フレームは 識別不能

Slide 101

Slide 101 text

DRM for WebRTC DRMtoday for WebRTC ● ISO Common Encryption ‘cenc’ ● 部分サンプル暗号 ○ VCL（video coding layer） のみ暗号化 ○ 諸々のヘッダー（SPS/PPS など）は 変更されない Encryptor から出力された 暗号動画フレームと 通常の動画フレームは 識別不能 伝送手段に依存しない

Slide 102

Slide 102 text

DRM for WebRTC EZDRM WebRTC-DRM

Slide 103

Slide 103 text

DRM for WebRTC EZDRM WebRTC-DRM こちらも WebRTC 向け DRM ソリューションだが 性質が異なる

Slide 104

Slide 104 text

DRM for WebRTC EZDRM WebRTC-DRM ● 任意の WebRTC のメディアワークフローに導入可能 ● 動画プレイヤーに依存しないソリューション ● 仕組みの詳細は NDA

Slide 105

Slide 105 text

Video over IP

Slide 106

Slide 106 text

● 各社がST 2110対応製品をリリース ○ ブラマジが安価なST 2110コンバーターを発売 ■ 安価に技術調査やPoCが行いやすくなった Video over IP

Slide 107

Slide 107 text

● AJA からは Dante AV 規格で映像・音声のエンコーダー・デコーダーが発表 ○ JPEG 2000ベース ○ ST 2110の複雑なクロック制御などが不要、ルーティングが簡単にできるとこ ろが売り Video over IP

Slide 108

Slide 108 text

● Viz (Newtek) は “NDI connecting the videoverse” というテーマで、 加速する映像の世界を、教育、セキュリティなどの分野に広げていく方針を発表 Video over IP

Slide 109

Slide 109 text

● ST2110 ○ 非圧縮IP伝送のスタンダードになっていきそう ○ ST2022-6 は、ST2110に置き換わっていくのではないか ● Dante AV ○ Danteシリーズなので組み込みやすさはあるが、映像と音声を 切り離して考えられなくなりそう ○ 個人的にどうなるか、どういう使われ方をしていくのかが気になる ● NDI ○ 方針としても教育・セキュリティ系となると、 高品質なプロダクションでどこまで使われていくかは疑問 Video over IP まとめ

Slide 110

Slide 110 text

Playout & MAM

Slide 111

Slide 111 text

Coralbay ● マイクロサービスで構築されたプレイアウトソリューション ○ 複数チャンネルの出力を管理することができる ○ 簡易MAMなども備えており、素材管理やクリップも可能 ○ UIが割りかし良くできていて、勉強になる

Slide 112

Slide 112 text

Carric ● MAMソリューション ○ ワークフローを構築することが可能 ○ Macなど、あらゆるマシンにエージェントをインストールすると、 ファイル転送を行いffmpegを走らせてエンコードを処理してくれる

Slide 113

Slide 113 text

Encoding

Slide 114

Slide 114 text

Bitmovin ● 彼らのエンコーディングバックボーンでは、短い動画はリアルタイムで、60分を超 える動画も3分以内で行える ● AWSよりも少ないビットレートでVMAFの高いスコアが出ることも強調

Slide 115

Slide 115 text

Bitmovin ● Smart-chunking ○ Iフレームの位置制御で、些細だが品質が上がる ● Super-resolution ○ SDから4Kのアップコンに使えるBicubicより綺麗になる

Slide 116

Slide 116 text

Bitmovin

Slide 117

Slide 117 text

Haivision ● Pro460 ○ 6回線のキャリアを束ねるモバイルエンコーダーの発表 ○ ただしエンコードはH.264なので、LiveUのボンディングと異なり、 同じストリームを複数回線に冗長化させて載せておくようなイメージ ● StreamHub ○ Makito をまとめて管理できるコンソール

Slide 118

Slide 118 text

Kiloview ● P3 ○ 5G 4回線のキャリアをボンディングして伝送できるモバイルエンコーダー ○ 受信側はフリーのKiloLink Serverを使用することが可能

Slide 119

Slide 119 text

CDN

Slide 120

Slide 120 text

ATEME ● CDN Selector ○ クライアントでスイッチングするCDNセレクタ ○ 外部のCDNともコストや帯域のメトリクスを見て、データを渡してもらえればスイッ チ可能とのこと

Slide 121

Slide 121 text

Synamedia ● Fluid EdgeCDN ○ オンプレのCDNのキャパシティを超えそうになったら、 パブリックCDNにオフロードしてくれる製品

Slide 122

Slide 122 text

Monitoring

Slide 123

Slide 123 text

TAG ● WebRTCでの出力をサポート ● 各出力ポイントをプローブして、品質を比較する機能を発表 ○ ただし、動かすのに結構なGPUを必要とするらしく、展開方法を悩んで いた ● TAGをGrafanaで可視化するデモも行われていた

Slide 124

Slide 124 text

Cinegy ● ソフトウェアベースの、簡易MAM、レコーダー、MVなどを出している会社（Softron のような） ● Multiviewerは、SDI/NDI/RTPなど豊富な入力と柔軟な構成が可能

Slide 125

Slide 125 text

AIソリューション

Slide 126

Slide 126 text

Magnifi ● AI/MLベースの自動ハイライト生成 ● Liveのインジェストから、選手名、シーンなどを自動タグ付けしてクリップにする ● フィルターで任意のClipを選択したらバンパーやオーバーレイをして動画に書き出し、ダウン ロードやSNSへのアップロードがそのままできる ● 学習モデルの追加コストが安いのが売りらしい

Slide 127

Slide 127 text

SixFloor ● ハイライトの自動生成ソリューション ● インジェストしているライブエンコーダーの映像から自動的にハイライトを生成 ○ メタ（選手情報）などもデータとして生成 ● デモではそのままアプリケーションに通知を行っていた

Slide 128

Slide 128 text

Blackmagic DaVinci Resolve ● 映像編集ソフトで音声からの自動字幕生成もサポート ○ NAB時点では英語のみだったが、後に日本語もサポートされた ● リモートモニタリングもサポート

Slide 129

Slide 129 text

etc 〜面白かったものなど〜

Slide 130

Slide 130 text

AWS ● Broadcast Liveブースで、クラウドスイッチングやMedia Servicesの 新機能のデモを発表 ○ AWS Elemental MediaConnect Gateway ○ AWS Elemental MediaPackage Low Latency HLS

Slide 131

Slide 131 text

AWS ● AWS Elemental MediaTailorとTripleliftのスプリットスクリーンのデモ

Slide 132

Slide 132 text

OBSBOT ● マイクスタンドの先につけられるくらい小型のPTZカメラと配信アプリ ○ アプリで各カメラを操作することができ、俯瞰のカメラから向けたい方向などをタップで選択 可能

Slide 133

Slide 133 text

● ラップトップ上部の2眼カメラにより、アイトラッキングして裸眼で3Dに 見えるラップトップを展示 ASUS ProArt

Slide 134

Slide 134 text

● 地味に新製品を多く出していた ○ 4Kからクロップを大画面で行えるスイッチャー ○ 4Kのポータブルスイッチャー ■ 設定用のモニターがついて、細かい設定を変えられるようになってた ○ 4K HDR H.265レコーダーなど... datavideo

Slide 135

Slide 135 text

● マクロを割り当てて操作できるパネルを作っている ○ Tバーがつけられたり、1Uモデルもある ○ サポートしているデバイスがおおい ○ 日本の代理店はまだないとのこと Xkeys

Slide 136

Slide 136 text

Cinema camera

Slide 137

Slide 137 text

シネマ機材のブロードキャスト使用 ● ブロードキャスト、中継業界のマーケットが大きい ● 今までいろいろな機材を駆使して使用していたシネマカメラが中継、スタジオ にて使用しやすくなる機材が充実

Slide 138

Slide 138 text

シネマ機材のブロードキャスト使用 ● FUJINON、CANONがPLマウントの箱型レンズを展示（ハンディ用も販売予定あり） ● ARRIの展示もシネマでなくスタジオライクになっており、 FUJINONの新作レンズが設置されていた ● PROTECHはシネマカメラをシステムカメラの様に使えるための伝送装置を発表

Slide 139

Slide 139 text

Virtual Production

Slide 140

Slide 140 text

バーチャルプロダクション ● セットを捨てるということに配慮したSDG’sの観点からバーチャルプロダクションが 発展 ● Amazon studio、FOX等のスタジオもほぼバーチャルプロダクション仕様 ● 課題となっていたマルチカム対応を各社が発表 ● マルチカムが可能になったことにより、スタジオシステムとしての使用が現実的に なった。セットチェンジの時間が短縮、狭い空間が広く見える等利点があるので常 設スタジオを作るというのも候補かも？

Slide 141

Slide 141 text

バーチャルプロダクション ● Vizrt、SONY、Ross videoがマルチカムバーチャルプロダクションを発表 ● SONYはLEDもsony製のためLEDはSW連動、camRETやSWモニターには合成された画が出ている ● Vizrt、Ross videoはGohstFrameを使用し、240PのLEDを60Pずつ違うカメラの連動する映像を表示し、 カメラのシャッタースピードを調整することによりマルチカムを実現。最大 4台まで。 ● 共同展示等でもバーチャルプロダクションが多かった

Slide 142

Slide 142 text

other

Slide 143

Slide 143 text

ROHDE & SCHWATZ ● Prisme（MV）：モニタリングの機能を備えたマルチビューワ。 SDI/IP、様々なコー デックに対応。また複数の Prismon を、SDM(Scalable DistributedMultiviewer) と呼ばれる、オーケストレーションを機能を搭載することでより大規模なマルチ ビューとモニタリングが可能。ソフトウェア定義のソリューションとなり、クラウドや オンプレ環境などで柔軟に利用可能。 ● Clipstar（マスタリング）：IMF や DCP などのマスタリングをするための機器。 様々なフォーマットに対応しており、 R&S 専用のハードウェアボードを搭載し、安 定した処理を行うことが可能。

Slide 144

Slide 144 text

MTI ● cortex convetソフトに新機能追加 ①AIを使った変換：I→P変換のインターレース解除、 2997⇄2398 コマ補完 ②QC機能追加：画素抜けの検知 (演出上のものと区別可能 ) ③字幕：テキストを入れておくとそれと本編の言葉を照合して単語ごとにタイムラインに並べる そのほか前からできている様々な基本的な変換は可能

Slide 145

Slide 145 text

Remote Production

Slide 146

Slide 146 text

クラウドを利用したリモートプロダクション ● コロナを受けリモートプロダクションが発達 ● ポスプロシステムをリモートプロダクションできるようにするシステムやソフトが充実 ● スタジオ、中継の現場技術のリモートプロダクションについても発表多数。ただ、ま だ実績が多くなく、今後の発展に期待という印象 ● ポスプロは工夫すれば取り入れられるものがありそうだが、スタジオ、現場リモプロ はまだ発展を待った方が良さそう

Slide 147

Slide 147 text

Remote Production　スタジオ・中継「Riedel」 ● SW、SLOWが可能なリモートプロダクション ● カメラインカム含めたインカムシステムもリモートプロダクション可能にする予定 ● SWのコンパネ開発予定 ● インカムまでの提案は Riedelのみ

Slide 148

Slide 148 text

Remote Production　スタジオ・中継「SONY」 ● クラウドSWを発表、しかしSWの切り替えレスポンスの遅さ等まだ開発段階 ● MEを基盤追加で自由に変更できる SWの発表！ こちらがメインで結局オンプレだが IPの利点を生かしたSW

Slide 149

Slide 149 text

Remote Production　スタジオ・中継　その他メーカー 共通事項として、レスポンスのディレイが課題 通 ● Grass Valley ● evertz

Slide 150

Slide 150 text

Remote Production（SONY）　 ● M2 Live　：　現場クラウドシステム ● C3 portal　：　素材伝送共有 ● Ci Media Cloud　：　クラウド素材管理システム

Slide 151

Slide 151 text

Remote Production　post production（AWS）　 ● AWSのクラウド編集でdavinci resolveの通信速度が早くなった。 ● 全体的にまだモニターへの返しにラグが大きいので細かい完パケ作業やグレーディング作業に関してはレ スポンスの速度の課題が残る。 ● メーカー横断で機能を追加できれば、可能性があるのではないか？

Slide 152

Slide 152 text

クラウド統合制作環境(AWS展示)

Slide 153

Slide 153 text

クラウド統合制作環境(AWS展示)

Slide 154

Slide 154 text

REMOTE PRODUCTION CONFERENCE 二日間で23セッションが開催された。その中から以下に参加 4/16 ● Cloud Editorial: Tools for Remote Editing　　※参考になった ● Remote Media Collaboration Using the Cloud　　※参考になった ● Remote Collaboration and the Creative Pipeline: Technologies, Methodologies, and Best Practices 4/17 ● Increased Collaboration with NAS Solutions for Small Business & Content Creation ● Working with DaVinci Resolve in the Cloud ● How to Master Remote Production ※別バージョンのYoutubeあり

Slide 155

Slide 155 text

REMOTE PRODUCTION CONFERENCE ● クラウド編集のクライアント環境 ○ 有線LANを使用し、クラウドとのレイテンシーは 50ms以下にすること ● ライブレビュー＆承認フロー ○ リモートにおいて製作者コラボレーションツールは必須　 ○ そのためのツールが出揃ってきたので規模感次第でソリューションを選択 個人利用 小規模 大規模 Dropbox Replay Adobe frame.io MediaSilo MOXION Louper.io Evercast clearview flex

Slide 156

Slide 156 text

REMOTE PRODUCTION CONFERENCE ● クラウドを利用した動画制作について ○ 工程のどこまでをクラウド化するのか　マスタリングの工程にはまだ早いか？ ○ データを手元にダウンロードしない、または意識させないソリューション データはクラウド、作業はローカル 　　　　クラウド上で全て簡潔させる DaVinci Resolve Cloud Store クラウド素材共有あり 10G インターフェースを備えた NAS PCoIPを用いたクラウド VDIソリューションとクラウ ドストレージの組み合わせ bebop technology リモートプロダクションに必 要な機能を全てSaaSとし て提供

Slide 157

Slide 157 text

Remote Production関連で気になった製品 ● クラウド動画共有　LucidLink ● 高速ファイル転送　MASV ● ファイル同期　Resilio ● ネットワークインフラ統合管理・監視システム　 Skyline dataminer ● リモートプロダクション SaaS　Bebop ● エンドロール作成　ENDCRAWL ● クラウド編集　Blackbird Video 今のファイル共有の課題に貢献できる可能性あり

Slide 158

Slide 158 text

Media Supply Chain

Slide 159

Slide 159 text

メディアサプライチェーンとは 先に紹介したリモートプロダクションからの素材インジェスト、 MAMでのタイトルの作成・管理、メタデータ管理、 その他のコンテンツ保護、ロイヤリティ管理、自動 QC、ローカライゼーション処理、パッケージング処理 などのシステムをそれぞれを得意とするシステム同士が効率的かつシームレスに連携し、コンテンツを 迅速かつ正確に視聴者に届けるための技術の組み合わせ 展示されたソリューションの数としては、 QC製品に関してはほぼ変化がなかったが MAM製品は数多く の製品が展示されていた MAM製品名：Dalet, sdvi Rally, AVECO, NOMAD, Ci Media Cloud, ATELIERE, Cantemo etc… 特定の製品を売るのではなく、メディアサプライチェーンを要件に合わせて提案する会社が増加

Slide 160

Slide 160 text

MAM 出展ブース ● sdvi 2023 Sustainability Champion Award

Slide 161

Slide 161 text

メディアサプライチェーン(AWS展示) ● ラジオ音声を同じ声色で多言語化 するデモを展示　AI/ML活用した自動翻訳、自動音声生成 こんにちわ Hello Bonjour Γειά σου

Slide 162

Slide 162 text

COGNITIVE AI -VIDEO TO METADATA (VIONLABS) ● ビデオからメタデータを生成する AIソリューション ● 独自のロジックで生成されるフィンガープリント情報からメタデータを生成するため、動画データは 最初のみしか必要としない ● キーワード、ジャンル、ネガ /ポジなど感情などの 1000個以上の特徴点を抽出 ホラー コメディ

Slide 163

Slide 163 text

Dolby Live

Slide 164

Slide 164 text

Dolby Live 視察 ● 客席1ブロック毎に、センター、 L/R、バックL/Rのスピーカー配置のため音がいい ● カメラはHD仕様、画出しのモニターのピクセルが大きく映像にはこだわっていない ● 空間が狭いので生で演者を視認しやすい、演出が全体的に大きいため画出しの映像がきれいでなくても きにならない。 ● ターゲットをどこに照準を当てるかでお金をかける装置のターゲットが変わると感じた

Slide 165

Slide 165 text

ありがとうございました