NAB Show 2023 動画技術関連レポート / NAB Show 2023 Report

Transcript

1. 動画技術関連レポート 株式会社 AbemaTV 五藤 佑典 | 山中 勇成 | 保坂 麻友 | 東 和宏 2023
2. 五藤 佑典 YUSUKE GOTO https://ygoto3.com/ @ygoto3_ • California State University, San Bernardino グラフィックデザイン専攻 Career History 1. Graphic / Web Designer 2. Marketer 3. Web Engineer 4. Video Engineer 5. Technical Product Manager • CyberAgent Developer Expert @（株）サイバーエージェント • Technical Product Manager @（株）AbemaTV CTV 事業部
3. in Video Technology and Product Design
4. 自己紹介 山中 勇成
 株式会社AbemaTV 開発本部 コンテンツ配信チーム シニア映像配信エンジニア
 2017年新卒入社。入社から配信基盤の開発に携わっている。
 直近ではインジェストフローを改善するSUPERBIRDプロジェクトを遂行。
 趣味で中継車でスイッチング、映像システムの構築をしていたりする。
 

5. 自己紹介 保坂　麻友 コンテンツエンジニアリング、技術局（兼務） 2012年　WOWOW　新卒入社 音楽ライブ・フェス等の中継 VE、TD （Summer Sonic、Rock in Japan、嵐、安室奈美恵　等） スタジオ番組TD （スポーツ、特番、アカデミー賞、トニー賞　等） 4Kドキュメンタリー番組　 DIT スタジオ設備更新 収録センター設備構築 2022年　AbemaTV 入社 スポーツ番組TM ワークフロー改善等
6. 自己紹介 東　和宏 コンテンツエンジニアリング インフラエンジニア 2012年4月　CyberAgent新卒入社 ・データセンター、プライベートクラウド運用 ・パブリッククラウド運用 2023年1月　AbemaTV異動 ※業務としては2020年ごろからお手伝いしてた 担当領域： サーバ、ストレージ、 MAMシステム、 クラウドを活用した動画運用システム
7. アジェンダ • Ice Break • 米国動画関連トレンド • ATSC 3.0 • Codec • 多重伝送プロトコル • DRM for WebRTC • Video over IP • Playout & MAM • Monitoring • AI ソリューション • Cinema camera • Virtual Production • Remote Production • Media Supply Chain • Dolby Live • NAB Show 2023 よもやま話
8. Ice Break
9. NAB Show 2023 4/15 - 19 米国ラスベガス開催の NAB Show 2023 に行って来ました NAB Show 全米放送事業者協会が主催するメディ ア、エンターテインメント、テクノロ ジーに関する世界最大規模の展示会 今年の実績 参加者数：65,013 米国外からの参加者数：17,446 展示社数：1,208
10. Motivation AbemaTV を始めとするサイバーエージェントの動画事業を技術的に前進させる • 業界トレンドの定点観測 • アメリカを中心とする技術標準化の動向キャッチアップ • 複数の海外パートナー会社との一挙ミーティング • 業界先端企業の将来への見解や実践例などの情報収集 • 汎用ソリューションの進化状況の確認 • 以前に目をつけていた技術の進化状況の確認
11. NAB Show 100 周年
12. SPHERE • MSG（Madison Square Garden）社が建築中の大型アリーナ ◦ 17,500 人収容可能 ◦ 内壁外壁が 世界最大＆最高解像度 の LED ▪ プログラマブル ライティング https://www.thespherevegas.com/
13. SPHERE • 世界最大の球体建築物 ◦ 81,300 m2 ◦ 高さ：112 m ◦ 幅：157 m
14. SPHERE • 世界最大の球体建築物 ◦ 81,300 m2 ◦ 高さ：112 m ◦ 幅：157 m 派手な建造物が多いラスベガスの中でも 目立つ存在になる期待大
15. 米国動画関連トレンド
16. 米国の動画ストリーミングトレンド CBS 元 CTO Robert P. Seidel 氏から米国の放送・配信動向を伺った • 米国では配信業者、メーカー含めて全てで厳しい • やっと Netflix が黒字化。自社制作していないと厳しい現状。権利で戦っている会社は今後も厳しい状況が 続くと予想
17. 米国の動画ストリーミングトレンド • コロナ禍以降、サブスクリプション経済が加速 • いつでも、どこでも、どんなデバイスでも視聴できる需要が高まる • コンテンツプロバイダーや配信事業者は買収や業務提携などで 規模拡大を模索 ◦ Netflix、Amazon Prime、Disney+ などとグローバルで競争する規模に なるには 2 億規模以上のサブスクライブ数は必要
18. 米国の動画ストリーミングトレンド コード・カッティングの流れは継続している • Pay-TV サブスクライブ数の減少 ◦ 2022 年前年から 8% 減少 ◦ 2023 年も 8% 減少見込み ◦ 2027 年には Pay-TV サブスクライブ数は 6,000 万になる予測 ▪ 全盛期（2010 年） 1 億
19. 米国の動画ストリーミングトレンド 主要な放送局やケーブル TV 会社は DTC（Direct-to-Consumer）ストリーミングサービスを提供 • 多くのサービスが Netflix へのコンテンツ提供を止め始めている ◦ Disney、NBCU、HBO など
20. 米国の動画ストリーミングトレンド リニア TV の視聴者のうち 58% が 55 歳以上の視聴者 • この層を取り込む上での FAST の重要性
21. FAST FAST • Free Ad-Supported Streaming TV • 無料のリニア動画配信 • 広告収益モデル • 地上波のように番組表を持つ • Tubi／Pluto TV／Freevee／Roku Channel など米国ほか世界中で増加
22. FAST FAST • Free Ad-Supported Streaming TV • 無料のリニア動画配信 • 広告収益モデル • 地上波のように番組表を持つ • Tubi／Pluto TV／Freevee／Roku Channel など米国ほか世界中で増加 • 日本では 2015 年から ABEMA が FAST モデルでサービス開始している
23. グローバル動画関連トレンド FAST は既にグローバルトレンド
24. グローバル動画関連トレンド FAST は既にグローバルトレンド OTT サービスも放送局も FAST に集中
25. グローバル動画関連トレンド FAST は既にグローバルトレンド OTT サービスも放送局も FAST に集中 ソリューションの汎用化
26. 汎用 FAST ソリューション TVCoins • D2C（Direct-to-Consumer） FAST プラットフォーム • レベニューシェアモデル 広告プラットフォーム付き • 生配信／VOD • CTV／モバイル • Android／iOS／Roku
27. 汎用 FAST ソリューション TVCoins • D2C（Direct-to-Consumer） FAST プラットフォーム • レベニューシェアモデル 広告プラットフォーム付き • 生配信／VOD • CTV／モバイル • Android／iOS／Roku 提案から市場投入まで 最短 10 日
28. 汎用 FAST ソリューション TVCoins • ホワイトレーベル ◦ 自身のブランドでサービス展開 • 広告マネタイズ ◦ 機械学習による広告ターゲティング／売上最大化 ◦ 売上、挿入、支払い、売上分配の管理 • マネージドサービス ◦ 用意するものは自身のコンテンツ
29. 汎用 FAST ソリューション TVCoins • マネージドサービス ◦ 視聴者管理 ◦ CMS ◦ インジェスト機能 ◦ 広告管理 ◦ 分析機能 ◦ CDN ◦ アプリ（15 種のプラットフォームサポート）
30. 汎用 FAST ソリューション
31. 汎用 FAST ソリューション
32. In-car エンターテイメント
33. In-car エンターテイメント Automotive 技術の進化 動画ドメインの次なる市場は In-car エンターテイメント https://www.ces.tech/topics/topics/vehicle-technology.aspx
34. In-car エンターテイメント 現在のファクト • US の運転手は 1 日平均 61.3 分間運転する（2021 年） AAA Foundation for Trafic Safety, American Driving Survey, 2020–2021 • 2020年 55.6 分 → 2021 年 61.3 分 増加傾向 https://aaafoundation.org/wp-content/uploads/2022/11/AAAFTS_Research-Brief_2022-American-Driving-Survey2020-2021.pdf
35. In-car エンターテイメント 2030 年までに全車両の 32% が EV（Electric Vehicle）に Electric vehicles Setting a course for 2030, Deloitte, 2020 https://www2.deloitte.com/us/en/insights/focus/future-of-mobility/electric-vehicle-trends-2030.html
36. In-car エンターテイメント CARIAD • フォルクスワーゲングループ • インフォテインメント体験の ブランド統一プラットフォーム のための会社
37. In-car エンターテイメント CARIAD の Android Automotive OS 向けの App Ecosystem • 2023 年 7 月から既に市場に出ている いくつかの Audi のモデルにリリース • Porsche、Volkswagen などのブランドも 順次対象となる • Mobile World Congress 2023 で ワールドプレミア実施 https://cariad.technology/de/en/news/stories/launch-application-store-for-volkswagen-group.html
38. In-car エンターテイメント Automotive ソフトウェアでは Android OS がより重要になる • 2026 年までに 4,000 万台以上の車両に Android OS が搭載される
39. In-car エンターテイメント 2 種類の Android
40. In-car エンターテイメント 2 種類の Android • Android Auto ◦ スマートフォン／ミラーリングで使用 ◦ 自社ブランド化するためのスキニング不可
41. In-car エンターテイメント 2 種類の Android • Android Auto ◦ スマートフォン／ミラーリングで使用 ◦ 自社ブランド化するためのスキニング不可 • Android Automotive OS ◦ ヘッドセットで直接動作（スマートフォン不要） ◦ 車両自体の機能を操作（車両の UX を柔軟に拡張可能） ◦ 自社ブランド化するためのスキニング可能
42. In-car エンターテイメント 2 種類の Android • Android Auto ◦ スマートフォン／ミラーリングで使用 ◦ 自社ブランド化するためのスキニング不可 • Android Automotive OS ◦ ヘッドセットで直接動作（スマートフォン不要） ◦ 車両自体の機能を操作（車両の UX を柔軟に拡張可能） ◦ 自社ブランド化するためのスキニング可能 CARIAD の App Store は Android Automotive OS 対象
43. In-car エンターテイメント Android Automotive OS で何ができるようになるのか？ • 既存のモバイルや Connected TV 向けアプリの移植 ◦ 既存の FAST サービスや OTT サービスが車内で楽しめる • コンテンツプロバイダーにとっての新しい販路が生まれる • オーディオシステムの利便性強化 • その他新しいユースケース …
44. In-car エンターテイメント
45. ATSC 3.0
46. ATSC 3.0 ATSC 3.0 • 米国で導入を進めている次世代テレビ放送規格 • Advanced Television Systems Committee 3.0 ATSC 3.0 の普及率 • 米全世帯の 60％ が受信可能に • 導入スピードが鈍化
47. ATSC 3.0 ATSC 3.0 • 米国で導入を進めている次世代テレビ放送規格 • Advanced Television Systems Committee 3.0 ATSC 3.0 の普及率 • 米全世帯の 60％ が受信可能に • 導入スピードが鈍化 普及加速が求められている
48. ATSC 3.0 ATSC 3.0 の収益貢献 • 教育 ◦ ATSC 3.0 の Datacasting 機能を 使ったソリューション ◦ インターネット環境を 持っていない家庭でも リモート学習を可能に
49. ATSC 3.0 ATSC 3.0 の収益貢献 • 警報 ◦ 2022.09.13 Santa Rosa ◦ マグニチュード 4.4 ◦ 時間 ▪ 発生から 4.5 秒後に USGS （アメリカ地質調査所）発火 ▪ 全警報範囲 15 秒以内
50. ATSC 3.0 Hybrid Delivery & Virtual Channels Virtual Channels • 地上波とインターネットの両者をハイブリッドに使って より多くのチャンネル数を提供する ◦ 1 チャンネルに必要な地上波の帯域を最小限に抑える ◦ 他の地上波チャンネルと一緒に EPG に並べられる ◦ A/344 のような ATSC 3.0 のアプリケーション機能を 利用できる ◦ CDN のログにより視聴者分析が可能になる
51. ATSC 3.0 Hybrid Delivery & Virtual Channels どうハイブリッドか • 地上波でシグナリングを送信 • インターネットで MPEG-DASH のセグメント （映像／音声／キャプション） を送信
52. ATSC 3.0 Hybrid Delivery & Virtual Channels インターネットの利用範囲が増えると セキュリティ懸念が増える
53. ATSC 3.0 Hybrid Delivery & Virtual Channels Virtual Channels のセキュリティ • A3SA（ATSC 3.0 Security Authority） DRM • IP ジオロケーションによるフィルター ◦ IP ジオロケーションの精度によっては 正当な視聴者が視聴できないリスク
54. ATSC 3.0 Hybrid Delivery & Virtual Channels Virtual Channels のセキュリティ • A3SA（ATSC 3.0 Security Authority） DRM • IP ジオロケーションによるフィルター ◦ IP ジオロケーションの精度によっては 正当な視聴者が視聴できないリスク • 地上波からのシグナリングに限定したマニフェストファイル（MPD）の受信
55. ATSC 3.0 Hybrid Delivery & Virtual Channels • https://www.atsc.org/wp-content/uploads/2021/01/A331-2021-Signaling-Delivery-Sync-FEC.pdf
56. ATSC 3.0 Hybrid Delivery & Virtual Channels https://speakerdeck.com/ygoto3/nab-show-2022-report
57. ATSC 3.0 Hybrid Delivery & Virtual Channels • https://www.atsc.org/wp-content/uploads/2021/01/A331-2021-Signaling-Delivery-Sync-FEC.pdf
58. SLT - Service List Tables • シグナリングの時点で ブロードバンドを要求 <?xml version="1.0" encoding="UTF-8"?> <SLT bsid="10282" xmlns="tag:atsc.org,2016:XMLSchemas/ATSC3/Delivery/SLT/1.0/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="tag:atsc.org,2016:XMLSchemas/ATSC3/Delivery/SLT/1.0/ SLT-1.0- 20211209.xsd"> … <Service configuration="Broadband" broadbandAccessRequired="true" globalServicelD="https://doi.org/10.5239/0FF8-0C47" majorChannel="No-27" minorChannelNo="3" serviceCategory="1" serviceid="5004" shortServiceName="KNXGLD3" sltSvcSeqNum="0"> <BroadcastSycSignaling slsDestinationlpAddress="239.255.50.4" slsDestinationUdpPort="5004" slsMajorProtocolVersion="0" slsMinorProtocolVersion="0" slsProtocol="1" slsSourcelpAddress="192.168.102.51"/> </Service> </SLT> ATSC 3.0 Hybrid Delivery & Virtual Channels
59. ATSC 3.0 Hybrid Delivery & Virtual Channels Virtual Channel のセキュリティ • A3SA（ATSC 3.0 Security Authority） DRM • IP ジオロケーションによるフィルター ◦ IP ジオロケーションの精度によっては 正当な視聴者が視聴できないリスク • 地上波からのシグナリングに限定したマニフェストファイル（MPD）の受信 • Base URL のローリング ◦ CDN から Base URL を動的に生成 ◦ 生成された Base URL は一定時間で失効
60. SLS - Service Layer Signaling • MPD 内 BaseURL 要素が 示す URL を期限内だけ有 効化してセキュリティ制御 <?xml version="1.0" encoding="UTF-8"?> <MPD availabilityStartTime="2023-02-20T15:47:21Z" maxSegmentDuration="PT1.001S" minBufferTime="PT1S" minimumUpdatePeriod="PT10S" profiles="urn:mpeg:dash:profile:isoff- broadcast:2015" publishTime="2023-02-20T15:48:13Z" timeShiftBufferDepth="PT6S" type="dynamic" xmlns="urn:mpeg:dash:schema:mpd:2011" xmlns:cenc="urn:mpeg:cenc:2013" xmlns:dashif="https://dashif.org/" xmlns:scte35="http://www.scte.org/schemas/35/2016" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemalocation="urn:mpeg:dash:schema:mpd:2011 DASH-MPD.xsd http://dashif.org/guidelines/ContentProtection laurl.xsd"> <Period id="P0" start="PT0S"> <BaseURL>https://cdn.example.com/knxgld3</BaseURL> <AdaptationSet contentType="video" id="0" maxFrameRate="30000/1001" maxHeight="1080" maxWidth="1920" mimeType="video/mp4" minFrameRate="30000/1001" minheight="1080" minWidth="1920" par="16:9" segmentAlignment="true" startWithSAP="1"> … </Period> </MPD> ATSC 3.0 Hybrid Delivery & Virtual Channels
61. SLS - Service Layer Signaling • USBD（User Service Bundle Description）で User Service の Broadband Physical layer は HTTP TCP/IP unicast を使うことが示される <?xml version="1.0" encoding="utf-8"?> <BundleDescriptionROUTE mins xmlns="tag:afsc.org,2016:XMLSchemas/ATSC3/Delivery/ROUTEUSD/1.0/" xmlns:xs="http://www.w3.org/2001/XMLSchema" xmlns:xsl="http://www.w3.org/2001/XMLSchema-instance" xsi:schemeLocation="tag:atsc.org.2016:XMLSchemas/ATSC3/Delivery/ROUTEUSD/1.0/ ROUTEUSD-1.0-20170920 xsd"> <UserServiceDescription serviceld="5004"> <DeliveryMethod> <UnicastAppService> <BasePattern>audio-0-96000-</BasePattern> <BasePattern>audio-1-96000-</BasePattern> <BasePattern>data-0-50000-</BasePattem> <BasePattern>video-3000000-</BasePattern> </UnicastAppService> </DeliveryMethod> </UserServiceDescription> </BundleDescriptionROUTE> ATSC 3.0 Hybrid Delivery & Virtual Channels
62. ATSC 3.0 Hybrid Delivery & Virtual Channels WPBT のデプロイ例
63. Codec
64. VVC VVC の採用状況 • ARIB ISDB ◦ 次世代デジタル放送に向けて VVC Main 10 と Multilayer Main 10 プロ ファイルを調査中 • ATSC ◦ ATSC 標準セットに VVC を指定 • CTA Wave ◦ CTA-5001-E : Web Application Video Ecosystem - Content Specification に VVC プロファイルを追加済
65. VVC VVC の採用状況 • DASH-IF ◦ 2022 年 DASH-IF Interoperability Points に VVC プロファイル追加 • DVB ◦ 2022 年 次世代映像コーデック群に VVC 採用 https://speakerdeck.com/ygoto3/ibc-2022-report
66. VVC VVC の採用状況 • SBTVD ◦ 2021 年メイン映像コーデックとして VVC を選択 ◦ 仕様草案作成中 • SCTE ◦ 2023 年 SCTE 281-1 / SCTE 281-2 に VVC 採用 https://speakerdeck.com/ygoto3/nab-show-2022-report
67. VVC MC-IF VVC technical guidelines • Media Coding Industry Forum が開発する VVC の技術ガイドライン • 目的 ◦ VVC 設定のベストプラクティスのガイド ◦ VVC 利用における相互運用性促進
68. VVC MC-IF VVC technical guidelines
69. VVC MC-IF VVC technical guidelines • 開発中 • 2023 Q2 末にリリース予定
70. VVC VVdeC • Fraunhofer が開発する ソフトウェアデコーダー • 高速
71. VVC Wasm on Firefox で動く VVdeC のデモ
72. AV1 Meta と Netflix の AV1 カバレッジ状況 • Meta：iPhone による Facebook Reels 視聴時間の 70% • Netflix：エンコード済カタログの 30%
73. AV1 AV1 と Connected TV • Netflix は 2021 年から Connected TV に AV1 で配信 ◦ 結果 ▪ 映像品質が 10 VMAF 向上 ▪ 4K による総視聴時間が 5% 向上（4K 対象セッションのみ） ▪ 再生開始遅延を 2% 短縮 ▪ 同品質での帯域消費を 30% 低減
74. MPEG-5 LCEVC MPEG-5 LCEVC • コーデックに依存しないコーデック強化 • n 世代コーデックの符号効率を n+1 世代と同等に強化 • n 世代コーデックと同等の複雑性を保ちながら • ソフトウェア実装可能でバッテリー消費が少ない強化コー デック
75. MPEG-5 LCEVC • エコシステム拡大 ◦ NAB Show 2023 時点で 32 社が LCEVC をサポート ▪ 昨年から 12 社増
76. LC3plus LC3plus • LC3 の後継コーデック • LC3（Low Complexity Communication Codecs） ◦ 次世代 Bluetooth LE Audio の必須コーデック ◦ Bluetooth Classic Audio の標準コーデックである SBC と比較して ▪ 高圧縮効率／高音質 ▪ 低遅延 • SBC - 数百 ms • LC3 - 7.5ms * n または 10ms * n パケットサイズをアイソクロナス転送
77. LC3plus LC3plus • LC3plus = ETSI（欧州電気通信標準化機構）による標準化（TS 103 634） ◦ LC3 = Bluetooth SIG による規格 • LC3 の性質に加え ◦ 超高性能パケット損失補間 - Advanced Packet Loss Concealment ◦ FEC - Forward Error Correction ◦ Bluetootn A2DP プロファイルサポート • パケットサイズ 2.5ms／5ms／10ms による低遅延化
78. LC3plus LC3plus の 超高性能パケット損失補間 処理を体感
79. LC3plus LC3plus の 超高性能パケット損失補間 処理を体感 MOS 通りの聴きやすさ
80. LC3plus https://www.jas-audio.or.jp/news/post17967
81. 多重伝送プロトコル
82. EFP - Elastic Frame Protocol MPEG-2 TS （Transport Stream） • 多重伝送のデファクト・プロトコル EFP（Elastic Frame ProtocolｊＬ） • MPEG-2 TS に対するオープンソースの代替品
83. EFP - Elastic Frame Protocol
84. EFP - Elastic Frame Protocol 現代の IP 伝送においては MPEG-2 TS は無駄が多い
85. EFP - Elastic Frame Protocol 現代の IP 伝送においては MPEG-2 TS は無駄が多い EFP より IP 伝送に最適な プロトコル
86. EFP - Elastic Frame Protocol 多重伝送プロトコルの機能 • 多重化（映像／音声／サブタイトル） • フレーミング • ストリームの同期 • メタデータ／コンテンツの信号 • エラー検出／補正
87. EFP - Elastic Frame Protocol 多重伝送プロトコルの機能 • 多重化（映像／音声／サブタイトル） • フレーミング • ストリームの同期 • メタデータ／コンテンツの信号 • エラー検出／補正 しかし、これらの機能は場合によって ほかのプロトコルがカバーしている • RTP：タイムスタンプ • PTP：時刻同期 • SDP / NMOS：メタデータ
88. EFP - Elastic Frame Protocol EFP が解決する MPEG-2 TS の問題 • オーバーヘッド ◦ MPEG-2 TS はモダンインターネットでは不要なオーバーヘッドがある ▪ sync byte (0x47) ▪ スタートコード ▪ 188 バイト固定の TS パケット ▪ CBR のための null スタッフィング ▪ table-of-contents の繰り返し
89. EFP - Elastic Frame Protocol EFP が解決する MPEG-2 TS の問題 • タイムスタンプ ◦ MPEG-2 TS は 33 ビット ▪ 26.5 時間周期で繰り返す ◦ EFP は 64 ビット ▪ 絶対時間を記述可能 ▪ CMAF セグメントのタイムスタンプに合う
90. EFP - Elastic Frame Protocol EFP が解決する MPEG-2 TS の問題 • バッファーモデル ◦ MPEG-2 TS は複雑 ▪ ハードウェアの小さいバッファサイズをサポート ◦ EFP ではバッファーモデルを指定していない ▪ モダンな伝送プロトコルであれば十分にカバーできる • SRT • RIST
91. EFP - Elastic Frame Protocol https://github.com/agilecontent/efp
92. DRM for WebRTC
93. DRM for WebRTC WebRTC のセキュリティ課題 • コンテンツは TLS 暗号のみで守られている • TLS には複数のコンテンツの露出点がある ◦ SFU（Selective Forwarding Units）では復号された動画が露出 ◦ 再生クライアントでのコピーやキャプチャー、外部出力の露出
94. DRM for WebRTC https://castlabs.com/news/webrtc-drm-end-to-end-security/ TLS が保護するのはソケットのエンドポイント間のみ
95. DRM for WebRTC WebRTC のセキュリティ課題 • コンテンツは TLS 暗号のみで守られている • TLS には複数のコンテンツの露出点がある ◦ SFU（Selective Forwarding Units）では復号された動画が露出 ◦ 再生クライアントでのコピーやキャプチャー、外部出力の露出 WebRTC によるプレミアムコンテンツの配信には E2EE（End-to-End Encryption） が求められている
96. DRM for WebRTC castLabs DRMtoday for WebRTC
97. DRM for WebRTC DRMtoday for WebRTC • castLabs が提供する WebRTC 用の E2EE DRM ソリューション • Encryptor / Transformer / Licensing server の 3 つの コンポーネントで提供 https://castlabs.com/news/webrtc-drm-end-to-end-security/
98. DRM for WebRTC DRMtoday for WebRTC 1. Encryptor が鍵生成 2. Encryptor から Lisensing server に鍵送信 3. Encryptor が鍵で動画フレームを暗号化 4. Encryptor が動画フレームを WebRTC パイプラインに送出 5. Transformer が WebRTC パイプラインから 動画フレーム受信 6. Transformer が CDM で動画フレームを復号 https://castlabs.com/news/webrtc-drm-end-to-end-security/
99. DRM for WebRTC DRMtoday for WebRTC • ISO Common Encryption ‘cenc’ • 部分サンプル暗号 ◦ VCL（video coding layer） のみ暗号化 ◦ 諸々のヘッダー（SPS/PPS など）は 変更されない
100. DRM for WebRTC DRMtoday for WebRTC • ISO Common Encryption ‘cenc’ • 部分サンプル暗号 ◦ VCL（video coding layer） のみ暗号化 ◦ 諸々のヘッダー（SPS/PPS など）は 変更されない Encryptor から出力された 暗号動画フレームと 通常の動画フレームは 識別不能
101. DRM for WebRTC DRMtoday for WebRTC • ISO Common Encryption ‘cenc’ • 部分サンプル暗号 ◦ VCL（video coding layer） のみ暗号化 ◦ 諸々のヘッダー（SPS/PPS など）は 変更されない Encryptor から出力された 暗号動画フレームと 通常の動画フレームは 識別不能 伝送手段に依存しない
102. DRM for WebRTC EZDRM WebRTC-DRM
103. DRM for WebRTC EZDRM WebRTC-DRM こちらも WebRTC 向け DRM ソリューションだが 性質が異なる
104. DRM for WebRTC EZDRM WebRTC-DRM • 任意の WebRTC のメディアワークフローに導入可能 • 動画プレイヤーに依存しないソリューション • 仕組みの詳細は NDA
105. Video over IP
106. • 各社がST 2110対応製品をリリース ◦ ブラマジが安価なST 2110コンバーターを発売 ▪ 安価に技術調査やPoCが行いやすくなった Video over IP
107. • AJA からは Dante AV 規格で映像・音声のエンコーダー・デコーダーが発表 ◦ JPEG 2000ベース ◦ ST 2110の複雑なクロック制御などが不要、ルーティングが簡単にできるとこ ろが売り Video over IP
108. • Viz (Newtek) は “NDI connecting the videoverse” というテーマで、 加速する映像の世界を、教育、セキュリティなどの分野に広げていく方針を発表 Video over IP
109. • ST2110 ◦ 非圧縮IP伝送のスタンダードになっていきそう ◦ ST2022-6 は、ST2110に置き換わっていくのではないか • Dante AV ◦ Danteシリーズなので組み込みやすさはあるが、映像と音声を 切り離して考えられなくなりそう ◦ 個人的にどうなるか、どういう使われ方をしていくのかが気になる • NDI ◦ 方針としても教育・セキュリティ系となると、 高品質なプロダクションでどこまで使われていくかは疑問 Video over IP まとめ
110. Playout & MAM
111. Coralbay • マイクロサービスで構築されたプレイアウトソリューション ◦ 複数チャンネルの出力を管理することができる ◦ 簡易MAMなども備えており、素材管理やクリップも可能 ◦ UIが割りかし良くできていて、勉強になる
112. Carric • MAMソリューション ◦ ワークフローを構築することが可能 ◦ Macなど、あらゆるマシンにエージェントをインストールすると、 ファイル転送を行いffmpegを走らせてエンコードを処理してくれる
113. Encoding
114. Bitmovin • 彼らのエンコーディングバックボーンでは、短い動画はリアルタイムで、60分を超 える動画も3分以内で行える • AWSよりも少ないビットレートでVMAFの高いスコアが出ることも強調
115. Bitmovin • Smart-chunking ◦ Iフレームの位置制御で、些細だが品質が上がる • Super-resolution ◦ SDから4Kのアップコンに使えるBicubicより綺麗になる
116. Bitmovin
117. Haivision • Pro460 ◦ 6回線のキャリアを束ねるモバイルエンコーダーの発表 ◦ ただしエンコードはH.264なので、LiveUのボンディングと異なり、 同じストリームを複数回線に冗長化させて載せておくようなイメージ • StreamHub ◦ Makito をまとめて管理できるコンソール
118. Kiloview • P3 ◦ 5G 4回線のキャリアをボンディングして伝送できるモバイルエンコーダー ◦ 受信側はフリーのKiloLink Serverを使用することが可能
119. CDN
120. ATEME • CDN Selector ◦ クライアントでスイッチングするCDNセレクタ ◦ 外部のCDNともコストや帯域のメトリクスを見て、データを渡してもらえればスイッ チ可能とのこと
121. Synamedia • Fluid EdgeCDN ◦ オンプレのCDNのキャパシティを超えそうになったら、 パブリックCDNにオフロードしてくれる製品
122. Monitoring
123. TAG • WebRTCでの出力をサポート • 各出力ポイントをプローブして、品質を比較する機能を発表 ◦ ただし、動かすのに結構なGPUを必要とするらしく、展開方法を悩んで いた • TAGをGrafanaで可視化するデモも行われていた
124. Cinegy • ソフトウェアベースの、簡易MAM、レコーダー、MVなどを出している会社（Softron のような） • Multiviewerは、SDI/NDI/RTPなど豊富な入力と柔軟な構成が可能
125. AIソリューション
126. Magnifi • AI/MLベースの自動ハイライト生成 • Liveのインジェストから、選手名、シーンなどを自動タグ付けしてクリップにする • フィルターで任意のClipを選択したらバンパーやオーバーレイをして動画に書き出し、ダウン ロードやSNSへのアップロードがそのままできる • 学習モデルの追加コストが安いのが売りらしい
127. SixFloor • ハイライトの自動生成ソリューション • インジェストしているライブエンコーダーの映像から自動的にハイライトを生成 ◦ メタ（選手情報）などもデータとして生成 • デモではそのままアプリケーションに通知を行っていた
128. Blackmagic DaVinci Resolve • 映像編集ソフトで音声からの自動字幕生成もサポート ◦ NAB時点では英語のみだったが、後に日本語もサポートされた • リモートモニタリングもサポート
129. etc 〜面白かったものなど〜
130. AWS • Broadcast Liveブースで、クラウドスイッチングやMedia Servicesの 新機能のデモを発表 ◦ AWS Elemental MediaConnect Gateway ◦ AWS Elemental MediaPackage Low Latency HLS
131. AWS • AWS Elemental MediaTailorとTripleliftのスプリットスクリーンのデモ
132. OBSBOT • マイクスタンドの先につけられるくらい小型のPTZカメラと配信アプリ ◦ アプリで各カメラを操作することができ、俯瞰のカメラから向けたい方向などをタップで選択 可能
133. • ラップトップ上部の2眼カメラにより、アイトラッキングして裸眼で3Dに 見えるラップトップを展示 ASUS ProArt
134. • 地味に新製品を多く出していた ◦ 4Kからクロップを大画面で行えるスイッチャー ◦ 4Kのポータブルスイッチャー ▪ 設定用のモニターがついて、細かい設定を変えられるようになってた ◦ 4K HDR H.265レコーダーなど... datavideo
135. • マクロを割り当てて操作できるパネルを作っている ◦ Tバーがつけられたり、1Uモデルもある ◦ サポートしているデバイスがおおい ◦ 日本の代理店はまだないとのこと Xkeys
136. Cinema camera
137. シネマ機材のブロードキャスト使用 • ブロードキャスト、中継業界のマーケットが大きい • 今までいろいろな機材を駆使して使用していたシネマカメラが中継、スタジオ にて使用しやすくなる機材が充実
138. シネマ機材のブロードキャスト使用 • FUJINON、CANONがPLマウントの箱型レンズを展示（ハンディ用も販売予定あり） • ARRIの展示もシネマでなくスタジオライクになっており、 FUJINONの新作レンズが設置されていた • PROTECHはシネマカメラをシステムカメラの様に使えるための伝送装置を発表
139. Virtual Production
140. バーチャルプロダクション • セットを捨てるということに配慮したSDG’sの観点からバーチャルプロダクションが 発展 • Amazon studio、FOX等のスタジオもほぼバーチャルプロダクション仕様 • 課題となっていたマルチカム対応を各社が発表 • マルチカムが可能になったことにより、スタジオシステムとしての使用が現実的に なった。セットチェンジの時間が短縮、狭い空間が広く見える等利点があるので常 設スタジオを作るというのも候補かも？
141. バーチャルプロダクション • Vizrt、SONY、Ross videoがマルチカムバーチャルプロダクションを発表 • SONYはLEDもsony製のためLEDはSW連動、camRETやSWモニターには合成された画が出ている • Vizrt、Ross videoはGohstFrameを使用し、240PのLEDを60Pずつ違うカメラの連動する映像を表示し、 カメラのシャッタースピードを調整することによりマルチカムを実現。最大 4台まで。 • 共同展示等でもバーチャルプロダクションが多かった
142. other
143. ROHDE & SCHWATZ • Prisme（MV）：モニタリングの機能を備えたマルチビューワ。 SDI/IP、様々なコー デックに対応。また複数の Prismon を、SDM(Scalable DistributedMultiviewer) と呼ばれる、オーケストレーションを機能を搭載することでより大規模なマルチ ビューとモニタリングが可能。ソフトウェア定義のソリューションとなり、クラウドや オンプレ環境などで柔軟に利用可能。 • Clipstar（マスタリング）：IMF や DCP などのマスタリングをするための機器。 様々なフォーマットに対応しており、 R&S 専用のハードウェアボードを搭載し、安 定した処理を行うことが可能。
144. MTI • cortex convetソフトに新機能追加 ①AIを使った変換：I→P変換のインターレース解除、 2997⇄2398 コマ補完 ②QC機能追加：画素抜けの検知 (演出上のものと区別可能 ) ③字幕：テキストを入れておくとそれと本編の言葉を照合して単語ごとにタイムラインに並べる そのほか前からできている様々な基本的な変換は可能
145. Remote Production
146. クラウドを利用したリモートプロダクション • コロナを受けリモートプロダクションが発達 • ポスプロシステムをリモートプロダクションできるようにするシステムやソフトが充実 • スタジオ、中継の現場技術のリモートプロダクションについても発表多数。ただ、ま だ実績が多くなく、今後の発展に期待という印象 • ポスプロは工夫すれば取り入れられるものがありそうだが、スタジオ、現場リモプロ はまだ発展を待った方が良さそう
147. Remote Production　スタジオ・中継「Riedel」 • SW、SLOWが可能なリモートプロダクション • カメラインカム含めたインカムシステムもリモートプロダクション可能にする予定 • SWのコンパネ開発予定 • インカムまでの提案は Riedelのみ
148. Remote Production　スタジオ・中継「SONY」 • クラウドSWを発表、しかしSWの切り替えレスポンスの遅さ等まだ開発段階 • MEを基盤追加で自由に変更できる SWの発表！ こちらがメインで結局オンプレだが IPの利点を生かしたSW
149. Remote Production　スタジオ・中継　その他メーカー 共通事項として、レスポンスのディレイが課題 通 • Grass Valley • evertz
150. Remote Production（SONY）　 • M2 Live　：　現場クラウドシステム • C3 portal　：　素材伝送共有 • Ci Media Cloud　：　クラウド素材管理システム
151. Remote Production　post production（AWS）　 • AWSのクラウド編集でdavinci resolveの通信速度が早くなった。 • 全体的にまだモニターへの返しにラグが大きいので細かい完パケ作業やグレーディング作業に関してはレ スポンスの速度の課題が残る。 • メーカー横断で機能を追加できれば、可能性があるのではないか？
152. クラウド統合制作環境(AWS展示)
153. クラウド統合制作環境(AWS展示)
154. REMOTE PRODUCTION CONFERENCE 二日間で23セッションが開催された。その中から以下に参加 4/16 • Cloud Editorial: Tools for Remote Editing　　※参考になった • Remote Media Collaboration Using the Cloud　　※参考になった • Remote Collaboration and the Creative Pipeline: Technologies, Methodologies, and Best Practices 4/17 • Increased Collaboration with NAS Solutions for Small Business & Content Creation • Working with DaVinci Resolve in the Cloud • How to Master Remote Production ※別バージョンのYoutubeあり
155. REMOTE PRODUCTION CONFERENCE • クラウド編集のクライアント環境 ◦ 有線LANを使用し、クラウドとのレイテンシーは 50ms以下にすること • ライブレビュー＆承認フロー ◦ リモートにおいて製作者コラボレーションツールは必須　 ◦ そのためのツールが出揃ってきたので規模感次第でソリューションを選択 個人利用 小規模 大規模 Dropbox Replay Adobe frame.io MediaSilo MOXION Louper.io Evercast clearview flex
156. REMOTE PRODUCTION CONFERENCE • クラウドを利用した動画制作について ◦ 工程のどこまでをクラウド化するのか　マスタリングの工程にはまだ早いか？ ◦ データを手元にダウンロードしない、または意識させないソリューション データはクラウド、作業はローカル 　　　　クラウド上で全て簡潔させる DaVinci Resolve Cloud Store クラウド素材共有あり 10G インターフェースを備えた NAS PCoIPを用いたクラウド VDIソリューションとクラウ ドストレージの組み合わせ bebop technology リモートプロダクションに必 要な機能を全てSaaSとし て提供
157. Remote Production関連で気になった製品 • クラウド動画共有　LucidLink • 高速ファイル転送　MASV • ファイル同期　Resilio • ネットワークインフラ統合管理・監視システム　 Skyline dataminer • リモートプロダクション SaaS　Bebop • エンドロール作成　ENDCRAWL • クラウド編集　Blackbird Video 今のファイル共有の課題に貢献できる可能性あり
158. Media Supply Chain
159. メディアサプライチェーンとは 先に紹介したリモートプロダクションからの素材インジェスト、 MAMでのタイトルの作成・管理、メタデータ管理、 その他のコンテンツ保護、ロイヤリティ管理、自動 QC、ローカライゼーション処理、パッケージング処理 などのシステムをそれぞれを得意とするシステム同士が効率的かつシームレスに連携し、コンテンツを 迅速かつ正確に視聴者に届けるための技術の組み合わせ 展示されたソリューションの数としては、 QC製品に関してはほぼ変化がなかったが MAM製品は数多く の製品が展示されていた MAM製品名：Dalet, sdvi Rally, AVECO, NOMAD, Ci Media Cloud, ATELIERE, Cantemo etc… 特定の製品を売るのではなく、メディアサプライチェーンを要件に合わせて提案する会社が増加
160. MAM 出展ブース • sdvi 2023 Sustainability Champion Award
161. メディアサプライチェーン(AWS展示) • ラジオ音声を同じ声色で多言語化 するデモを展示　AI/ML活用した自動翻訳、自動音声生成 こんにちわ Hello Bonjour Γειά σου
162. COGNITIVE AI -VIDEO TO METADATA (VIONLABS) • ビデオからメタデータを生成する AIソリューション • 独自のロジックで生成されるフィンガープリント情報からメタデータを生成するため、動画データは 最初のみしか必要としない • キーワード、ジャンル、ネガ /ポジなど感情などの 1000個以上の特徴点を抽出 ホラー コメディ
163. Dolby Live
164. Dolby Live 視察 • 客席1ブロック毎に、センター、 L/R、バックL/Rのスピーカー配置のため音がいい • カメラはHD仕様、画出しのモニターのピクセルが大きく映像にはこだわっていない • 空間が狭いので生で演者を視認しやすい、演出が全体的に大きいため画出しの映像がきれいでなくても きにならない。 • ターゲットをどこに照準を当てるかでお金をかける装置のターゲットが変わると感じた
165. ありがとうございました