NAB Show 2023 動画技術関連レポート / NAB Show 2023 Report

Transcript

1. 動画技術関連レポート
   株式会社 AbemaTV
   五藤 佑典 | 山中 勇成 | 保坂 麻友 | 東 和宏
   2023
   

   View Slide

2. 五藤 佑典
   YUSUKE GOTO
   https://ygoto3.com/
   @ygoto3_
   ● California State University, San Bernardino
   グラフィックデザイン専攻
   Career History
   1. Graphic / Web Designer
   2. Marketer
   3. Web Engineer
   4. Video Engineer
   5. Technical Product Manager
   ● CyberAgent Developer Expert
   @（株）サイバーエージェント
   ● Technical Product Manager
   @（株）AbemaTV CTV 事業部
   

   View Slide

3. in Video Technology and Product Design
   

   View Slide

4. 自己紹介
   山中 勇成

   株式会社AbemaTV 開発本部 コンテンツ配信チーム シニア映像配信エンジニア

   2017年新卒入社。入社から配信基盤の開発に携わっている。

   直近ではインジェストフローを改善するSUPERBIRDプロジェクトを遂行。

   趣味で中継車でスイッチング、映像システムの構築をしていたりする。

   

   

   View Slide

5. 自己紹介
   保坂　麻友
   コンテンツエンジニアリング、技術局（兼務）
   2012年　WOWOW　新卒入社
   音楽ライブ・フェス等の中継 VE、TD
   （Summer Sonic、Rock in Japan、嵐、安室奈美恵　等）
   スタジオ番組TD
   （スポーツ、特番、アカデミー賞、トニー賞　等）
   4Kドキュメンタリー番組　 DIT
   スタジオ設備更新
   収録センター設備構築
   2022年　AbemaTV 入社
   スポーツ番組TM
   ワークフロー改善等
   

   View Slide

6. 自己紹介
   東　和宏
   コンテンツエンジニアリング
   インフラエンジニア
   2012年4月　CyberAgent新卒入社
   ・データセンター、プライベートクラウド運用
   ・パブリッククラウド運用
   2023年1月　AbemaTV異動
   ※業務としては2020年ごろからお手伝いしてた
   担当領域：
   サーバ、ストレージ、 MAMシステム、
   クラウドを活用した動画運用システム
   

   View Slide

7. アジェンダ
   ● Ice Break
   ● 米国動画関連トレンド
   ● ATSC 3.0
   ● Codec
   ● 多重伝送プロトコル
   ● DRM for WebRTC
   ● Video over IP
   ● Playout & MAM
   ● Monitoring
   ● AI ソリューション
   ● Cinema camera
   ● Virtual Production
   ● Remote Production
   ● Media Supply Chain
   ● Dolby Live
   ● NAB Show 2023 よもやま話
   

   View Slide

8. Ice Break
   

   View Slide

9. NAB Show 2023
   4/15 - 19 米国ラスベガス開催の NAB Show 2023 に行って来ました
   NAB Show
   全米放送事業者協会が主催するメディ
   ア、エンターテインメント、テクノロ
   ジーに関する世界最大規模の展示会
   今年の実績
   参加者数：65,013
   米国外からの参加者数：17,446
   展示社数：1,208
   

   View Slide

10. Motivation
    AbemaTV を始めとするサイバーエージェントの動画事業を技術的に前進させる
    ● 業界トレンドの定点観測
    ● アメリカを中心とする技術標準化の動向キャッチアップ
    ● 複数の海外パートナー会社との一挙ミーティング
    ● 業界先端企業の将来への見解や実践例などの情報収集
    ● 汎用ソリューションの進化状況の確認
    ● 以前に目をつけていた技術の進化状況の確認
    

    View Slide

11. NAB Show 100 周年
    

    View Slide

12. SPHERE
    ● MSG（Madison Square Garden）社が建築中の大型アリーナ
    ○ 17,500 人収容可能
    ○ 内壁外壁が
    世界最大＆最高解像度
    の LED
    ■ プログラマブル
    ライティング
    https://www.thespherevegas.com/
    

    View Slide

13. SPHERE
    ● 世界最大の球体建築物
    ○ 81,300 m2
    ○ 高さ：112 m
    ○ 幅：157 m
    

    View Slide

14. SPHERE
    ● 世界最大の球体建築物
    ○ 81,300 m2
    ○ 高さ：112 m
    ○ 幅：157 m
    派手な建造物が多いラスベガスの中でも
    目立つ存在になる期待大
    

    View Slide

15. 米国動画関連トレンド
    

    View Slide

16. 米国の動画ストリーミングトレンド
    CBS 元 CTO Robert P. Seidel 氏から米国の放送・配信動向を伺った
    ● 米国では配信業者、メーカー含めて全てで厳しい
    ● やっと Netflix が黒字化。自社制作していないと厳しい現状。権利で戦っている会社は今後も厳しい状況が
    続くと予想
    

    View Slide

17. 米国の動画ストリーミングトレンド
    ● コロナ禍以降、サブスクリプション経済が加速
    ● いつでも、どこでも、どんなデバイスでも視聴できる需要が高まる
    ● コンテンツプロバイダーや配信事業者は買収や業務提携などで
    規模拡大を模索
    ○ Netflix、Amazon Prime、Disney+ などとグローバルで競争する規模に
    なるには 2 億規模以上のサブスクライブ数は必要
    

    View Slide

18. 米国の動画ストリーミングトレンド
    コード・カッティングの流れは継続している
    ● Pay-TV サブスクライブ数の減少
    ○ 2022 年前年から 8% 減少
    ○ 2023 年も 8% 減少見込み
    ○ 2027 年には Pay-TV サブスクライブ数は 6,000 万になる予測
    ■ 全盛期（2010 年） 1 億
    

    View Slide

19. 米国の動画ストリーミングトレンド
    主要な放送局やケーブル TV 会社は
    DTC（Direct-to-Consumer）ストリーミングサービスを提供
    ● 多くのサービスが Netflix へのコンテンツ提供を止め始めている
    ○ Disney、NBCU、HBO など
    

    View Slide

20. 米国の動画ストリーミングトレンド
    リニア TV の視聴者のうち 58% が 55 歳以上の視聴者
    ● この層を取り込む上での
    FAST の重要性
    

    View Slide

21. FAST
    FAST
    ● Free Ad-Supported Streaming TV
    ● 無料のリニア動画配信
    ● 広告収益モデル
    ● 地上波のように番組表を持つ
    ● Tubi／Pluto TV／Freevee／Roku Channel など米国ほか世界中で増加
    

    View Slide

22. FAST
    FAST
    ● Free Ad-Supported Streaming TV
    ● 無料のリニア動画配信
    ● 広告収益モデル
    ● 地上波のように番組表を持つ
    ● Tubi／Pluto TV／Freevee／Roku Channel など米国ほか世界中で増加
    ● 日本では 2015 年から ABEMA が FAST モデルでサービス開始している
    

    View Slide

23. グローバル動画関連トレンド
    FAST は既にグローバルトレンド
    

    View Slide

24. グローバル動画関連トレンド
    FAST は既にグローバルトレンド
    OTT サービスも放送局も FAST に集中
    

    View Slide

25. グローバル動画関連トレンド
    FAST は既にグローバルトレンド
    OTT サービスも放送局も FAST に集中
    ソリューションの汎用化
    

    View Slide

26. 汎用 FAST ソリューション
    TVCoins
    ● D2C（Direct-to-Consumer）
    FAST プラットフォーム
    ● レベニューシェアモデル
    広告プラットフォーム付き
    ● 生配信／VOD
    ● CTV／モバイル
    ● Android／iOS／Roku
    

    View Slide

27. 汎用 FAST ソリューション
    TVCoins
    ● D2C（Direct-to-Consumer）
    FAST プラットフォーム
    ● レベニューシェアモデル
    広告プラットフォーム付き
    ● 生配信／VOD
    ● CTV／モバイル
    ● Android／iOS／Roku
    提案から市場投入まで
    最短 10 日
    

    View Slide

28. 汎用 FAST ソリューション
    TVCoins
    ● ホワイトレーベル
    ○ 自身のブランドでサービス展開
    ● 広告マネタイズ
    ○ 機械学習による広告ターゲティング／売上最大化
    ○ 売上、挿入、支払い、売上分配の管理
    ● マネージドサービス
    ○ 用意するものは自身のコンテンツ
    

    View Slide

29. 汎用 FAST ソリューション
    TVCoins
    ● マネージドサービス
    ○ 視聴者管理
    ○ CMS
    ○ インジェスト機能
    ○ 広告管理
    ○ 分析機能
    ○ CDN
    ○ アプリ（15 種のプラットフォームサポート）
    

    View Slide

30. 汎用 FAST ソリューション
    

    View Slide

31. 汎用 FAST ソリューション
    

    View Slide

32. In-car エンターテイメント
    

    View Slide

33. In-car エンターテイメント
    Automotive 技術の進化
    動画ドメインの次なる市場は
    In-car エンターテイメント
    https://www.ces.tech/topics/topics/vehicle-technology.aspx
    

    View Slide

34. In-car エンターテイメント
    現在のファクト
    ● US の運転手は
    1 日平均 61.3 分間運転する（2021 年）
    AAA Foundation for Trafic Safety, American Driving Survey,
    2020–2021
    ● 2020年 55.6 分 → 2021 年 61.3 分
    増加傾向
    https://aaafoundation.org/wp-content/uploads/2022/11/AAAFTS_Research-Brief_2022-American-Driving-Survey2020-2021.pdf
    

    View Slide

35. In-car エンターテイメント
    2030 年までに全車両の 32% が EV（Electric Vehicle）に
    Electric vehicles Setting a course for 2030, Deloitte, 2020
    https://www2.deloitte.com/us/en/insights/focus/future-of-mobility/electric-vehicle-trends-2030.html
    

    View Slide

36. In-car エンターテイメント
    CARIAD
    ● フォルクスワーゲングループ
    ● インフォテインメント体験の
    ブランド統一プラットフォーム
    のための会社
    

    View Slide

37. In-car エンターテイメント
    CARIAD の Android Automotive OS 向けの App Ecosystem
    ● 2023 年 7 月から既に市場に出ている
    いくつかの Audi のモデルにリリース
    ● Porsche、Volkswagen などのブランドも
    順次対象となる
    ● Mobile World Congress 2023 で
    ワールドプレミア実施
    https://cariad.technology/de/en/news/stories/launch-application-store-for-volkswagen-group.html
    

    View Slide

38. In-car エンターテイメント
    Automotive ソフトウェアでは Android OS がより重要になる
    ● 2026 年までに 4,000 万台以上の車両に Android OS が搭載される
    

    View Slide

39. In-car エンターテイメント
    2 種類の Android
    

    View Slide

40. In-car エンターテイメント
    2 種類の Android
    ● Android Auto
    ○ スマートフォン／ミラーリングで使用
    ○ 自社ブランド化するためのスキニング不可
    

    View Slide

41. In-car エンターテイメント
    2 種類の Android
    ● Android Auto
    ○ スマートフォン／ミラーリングで使用
    ○ 自社ブランド化するためのスキニング不可
    ● Android Automotive OS
    ○ ヘッドセットで直接動作（スマートフォン不要）
    ○ 車両自体の機能を操作（車両の UX を柔軟に拡張可能）
    ○ 自社ブランド化するためのスキニング可能
    

    View Slide

42. In-car エンターテイメント
    2 種類の Android
    ● Android Auto
    ○ スマートフォン／ミラーリングで使用
    ○ 自社ブランド化するためのスキニング不可
    ● Android Automotive OS
    ○ ヘッドセットで直接動作（スマートフォン不要）
    ○ 車両自体の機能を操作（車両の UX を柔軟に拡張可能）
    ○ 自社ブランド化するためのスキニング可能
    CARIAD の App Store は
    Android Automotive OS 対象
    

    View Slide

43. In-car エンターテイメント
    Android Automotive OS で何ができるようになるのか？
    ● 既存のモバイルや Connected TV 向けアプリの移植
    ○ 既存の FAST サービスや OTT サービスが車内で楽しめる
    ● コンテンツプロバイダーにとっての新しい販路が生まれる
    ● オーディオシステムの利便性強化
    ● その他新しいユースケース …
    

    View Slide

44. In-car エンターテイメント
    

    View Slide

45. ATSC 3.0
    

    View Slide

46. ATSC 3.0
    ATSC 3.0
    ● 米国で導入を進めている次世代テレビ放送規格
    ● Advanced Television Systems Committee 3.0
    ATSC 3.0 の普及率
    ● 米全世帯の 60％ が受信可能に
    ● 導入スピードが鈍化
    

    View Slide

47. ATSC 3.0
    ATSC 3.0
    ● 米国で導入を進めている次世代テレビ放送規格
    ● Advanced Television Systems Committee 3.0
    ATSC 3.0 の普及率
    ● 米全世帯の 60％ が受信可能に
    ● 導入スピードが鈍化 普及加速が求められている
    

    View Slide

48. ATSC 3.0
    ATSC 3.0 の収益貢献
    ● 教育
    ○ ATSC 3.0 の
    Datacasting 機能を
    使ったソリューション
    ○ インターネット環境を
    持っていない家庭でも
    リモート学習を可能に
    

    View Slide

49. ATSC 3.0
    ATSC 3.0 の収益貢献
    ● 警報
    ○ 2022.09.13 Santa Rosa
    ○ マグニチュード 4.4
    ○ 時間
    ■ 発生から 4.5 秒後に USGS
    （アメリカ地質調査所）発火
    ■ 全警報範囲 15 秒以内
    

    View Slide

50. ATSC 3.0 Hybrid Delivery & Virtual Channels
    Virtual Channels
    ● 地上波とインターネットの両者をハイブリッドに使って
    より多くのチャンネル数を提供する
    ○ 1 チャンネルに必要な地上波の帯域を最小限に抑える
    ○ 他の地上波チャンネルと一緒に EPG に並べられる
    ○ A/344 のような ATSC 3.0 のアプリケーション機能を
    利用できる
    ○ CDN のログにより視聴者分析が可能になる
    

    View Slide

51. ATSC 3.0 Hybrid Delivery & Virtual Channels
    どうハイブリッドか
    ● 地上波でシグナリングを送信
    ● インターネットで
    MPEG-DASH のセグメント
    （映像／音声／キャプション）
    を送信
    

    View Slide

52. ATSC 3.0 Hybrid Delivery & Virtual Channels
    インターネットの利用範囲が増えると
    セキュリティ懸念が増える
    

    View Slide

53. ATSC 3.0 Hybrid Delivery & Virtual Channels
    Virtual Channels のセキュリティ
    ● A3SA（ATSC 3.0 Security Authority） DRM
    ● IP ジオロケーションによるフィルター
    ○ IP ジオロケーションの精度によっては
    正当な視聴者が視聴できないリスク
    

    View Slide

54. ATSC 3.0 Hybrid Delivery & Virtual Channels
    Virtual Channels のセキュリティ
    ● A3SA（ATSC 3.0 Security Authority） DRM
    ● IP ジオロケーションによるフィルター
    ○ IP ジオロケーションの精度によっては
    正当な視聴者が視聴できないリスク
    ● 地上波からのシグナリングに限定したマニフェストファイル（MPD）の受信
    

    View Slide

55. ATSC 3.0 Hybrid Delivery & Virtual Channels
    ●
    https://www.atsc.org/wp-content/uploads/2021/01/A331-2021-Signaling-Delivery-Sync-FEC.pdf
    

    View Slide

56. ATSC 3.0 Hybrid Delivery & Virtual Channels
    https://speakerdeck.com/ygoto3/nab-show-2022-report
    

    View Slide

57. ATSC 3.0 Hybrid Delivery & Virtual Channels
    ●
    https://www.atsc.org/wp-content/uploads/2021/01/A331-2021-Signaling-Delivery-Sync-FEC.pdf
    

    View Slide

58. SLT - Service List Tables
    ● シグナリングの時点で
    ブロードバンドを要求
    
    xmlns="tag:atsc.org,2016:XMLSchemas/ATSC3/Delivery/SLT/1.0/"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="tag:atsc.org,2016:XMLSchemas/ATSC3/Delivery/SLT/1.0/ SLT-1.0-
    20211209.xsd">
    …
    globalServicelD="https://doi.org/10.5239/0FF8-0C47"
    majorChannel="No-27" minorChannelNo="3" serviceCategory="1"
    serviceid="5004" shortServiceName="KNXGLD3" sltSvcSeqNum="0">
    slsDestinationUdpPort="5004" slsMajorProtocolVersion="0"
    slsMinorProtocolVersion="0" slsProtocol="1" slsSourcelpAddress="192.168.102.51"/>
    
    
    ATSC 3.0 Hybrid Delivery & Virtual Channels
    

    View Slide

59. ATSC 3.0 Hybrid Delivery & Virtual Channels
    Virtual Channel のセキュリティ
    ● A3SA（ATSC 3.0 Security Authority） DRM
    ● IP ジオロケーションによるフィルター
    ○ IP ジオロケーションの精度によっては
    正当な視聴者が視聴できないリスク
    ● 地上波からのシグナリングに限定したマニフェストファイル（MPD）の受信
    ● Base URL のローリング
    ○ CDN から Base URL を動的に生成
    ○ 生成された Base URL は一定時間で失効
    

    View Slide

60. SLS - Service Layer Signaling
    ● MPD 内 BaseURL 要素が
    示す URL を期限内だけ有
    効化してセキュリティ制御
    
    minBufferTime="PT1S" minimumUpdatePeriod="PT10S" profiles="urn:mpeg:dash:profile:isoff-
    broadcast:2015" publishTime="2023-02-20T15:48:13Z" timeShiftBufferDepth="PT6S"
    type="dynamic"
    xmlns="urn:mpeg:dash:schema:mpd:2011" xmlns:cenc="urn:mpeg:cenc:2013"
    xmlns:dashif="https://dashif.org/" xmlns:scte35="http://www.scte.org/schemas/35/2016"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemalocation="urn:mpeg:dash:schema:mpd:2011 DASH-MPD.xsd
    http://dashif.org/guidelines/ContentProtection laurl.xsd">
    
    https://cdn.example.com/knxgld3
    maxHeight="1080" maxWidth="1920" mimeType="video/mp4" minFrameRate="30000/1001"
    minheight="1080" minWidth="1920" par="16:9" segmentAlignment="true" startWithSAP="1">
    …
    
    
    ATSC 3.0 Hybrid Delivery & Virtual Channels
    

    View Slide

61. SLS - Service Layer Signaling
    ● USBD（User Service
    Bundle Description）で
    User Service の
    Broadband Physical layer
    は HTTP TCP/IP unicast
    を使うことが示される
    
    xmlns="tag:afsc.org,2016:XMLSchemas/ATSC3/Delivery/ROUTEUSD/1.0/"
    xmlns:xs="http://www.w3.org/2001/XMLSchema"
    xmlns:xsl="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemeLocation="tag:atsc.org.2016:XMLSchemas/ATSC3/Delivery/ROUTEUSD/1.0/
    ROUTEUSD-1.0-20170920 xsd">
    
    
    
    audio-0-96000-
    audio-1-96000-
    data-0-50000-
    video-3000000-
    
    
    
    
    ATSC 3.0 Hybrid Delivery & Virtual Channels
    

    View Slide

62. ATSC 3.0 Hybrid Delivery & Virtual Channels
    WPBT のデプロイ例
    

    View Slide

63. Codec
    

    View Slide

64. VVC
    VVC の採用状況
    ● ARIB ISDB
    ○ 次世代デジタル放送に向けて VVC Main 10 と Multilayer Main 10 プロ
    ファイルを調査中
    ● ATSC
    ○ ATSC 標準セットに VVC を指定
    ● CTA Wave
    ○ CTA-5001-E : Web Application Video Ecosystem - Content
    Specification に VVC プロファイルを追加済
    

    View Slide

65. VVC
    VVC の採用状況
    ● DASH-IF
    ○ 2022 年 DASH-IF Interoperability Points に VVC プロファイル追加
    ● DVB
    ○ 2022 年 次世代映像コーデック群に
    VVC 採用
    https://speakerdeck.com/ygoto3/ibc-2022-report
    

    View Slide

66. VVC
    VVC の採用状況
    ● SBTVD
    ○ 2021 年メイン映像コーデックとして VVC を選択
    ○ 仕様草案作成中
    ● SCTE
    ○ 2023 年 SCTE 281-1 / SCTE 281-2 に
    VVC 採用
    https://speakerdeck.com/ygoto3/nab-show-2022-report
    

    View Slide

67. VVC
    MC-IF VVC technical guidelines
    ● Media Coding Industry Forum が開発する VVC の技術ガイドライン
    ● 目的
    ○ VVC 設定のベストプラクティスのガイド
    ○ VVC 利用における相互運用性促進
    

    View Slide

68. VVC
    MC-IF VVC technical guidelines
    

    View Slide

69. VVC
    MC-IF VVC technical guidelines
    ● 開発中
    ● 2023 Q2 末にリリース予定
    

    View Slide

70. VVC
    VVdeC
    ● Fraunhofer が開発する
    ソフトウェアデコーダー
    ● 高速
    

    View Slide

71. VVC
    Wasm on Firefox で動く
    VVdeC のデモ
    

    View Slide

72. AV1
    Meta と Netflix の AV1 カバレッジ状況
    ● Meta：iPhone による Facebook Reels 視聴時間の 70%
    ● Netflix：エンコード済カタログの 30%
    

    View Slide

73. AV1
    AV1 と Connected TV
    ● Netflix は 2021 年から Connected TV に AV1 で配信
    ○ 結果
    ■ 映像品質が 10 VMAF 向上
    ■ 4K による総視聴時間が 5% 向上（4K 対象セッションのみ）
    ■ 再生開始遅延を 2% 短縮
    ■ 同品質での帯域消費を 30% 低減
    

    View Slide

74. MPEG-5 LCEVC
    MPEG-5 LCEVC
    ● コーデックに依存しないコーデック強化
    ● n 世代コーデックの符号効率を n+1 世代と同等に強化
    ● n 世代コーデックと同等の複雑性を保ちながら
    ● ソフトウェア実装可能でバッテリー消費が少ない強化コー
    デック
    

    View Slide

75. MPEG-5 LCEVC
    ● エコシステム拡大
    ○ NAB Show 2023 時点で
    32 社が LCEVC をサポート
    ■ 昨年から 12 社増
    

    View Slide

76. LC3plus
    LC3plus
    ● LC3 の後継コーデック
    ● LC3（Low Complexity Communication Codecs）
    ○ 次世代 Bluetooth LE Audio の必須コーデック
    ○ Bluetooth Classic Audio の標準コーデックである SBC と比較して
    ■ 高圧縮効率／高音質
    ■ 低遅延
    ● SBC - 数百 ms
    ● LC3 - 7.5ms * n または 10ms * n パケットサイズをアイソクロナス転送
    

    View Slide

77. LC3plus
    LC3plus
    ● LC3plus = ETSI（欧州電気通信標準化機構）による標準化（TS 103 634）
    ○ LC3 = Bluetooth SIG による規格
    ● LC3 の性質に加え
    ○ 超高性能パケット損失補間 - Advanced Packet Loss Concealment
    ○ FEC - Forward Error Correction
    ○ Bluetootn A2DP プロファイルサポート
    ● パケットサイズ 2.5ms／5ms／10ms による低遅延化
    

    View Slide

78. LC3plus
    LC3plus の
    超高性能パケット損失補間
    処理を体感
    

    View Slide

79. LC3plus
    LC3plus の
    超高性能パケット損失補間
    処理を体感
    MOS 通りの聴きやすさ
    

    View Slide

80. LC3plus
    https://www.jas-audio.or.jp/news/post17967
    

    View Slide

81. 多重伝送プロトコル
    

    View Slide

82. EFP - Elastic Frame Protocol
    MPEG-2 TS （Transport Stream）
    ● 多重伝送のデファクト・プロトコル
    EFP（Elastic Frame ProtocolｊＬ）
    ● MPEG-2 TS に対するオープンソースの代替品
    

    View Slide

83. EFP - Elastic Frame Protocol
    

    View Slide

84. EFP - Elastic Frame Protocol
    現代の IP 伝送においては
    MPEG-2 TS は無駄が多い
    

    View Slide

85. EFP - Elastic Frame Protocol
    現代の IP 伝送においては
    MPEG-2 TS は無駄が多い
    EFP
    より IP 伝送に最適な
    プロトコル
    

    View Slide

86. EFP - Elastic Frame Protocol
    多重伝送プロトコルの機能
    ● 多重化（映像／音声／サブタイトル）
    ● フレーミング
    ● ストリームの同期
    ● メタデータ／コンテンツの信号
    ● エラー検出／補正
    

    View Slide

87. EFP - Elastic Frame Protocol
    多重伝送プロトコルの機能
    ● 多重化（映像／音声／サブタイトル）
    ● フレーミング
    ● ストリームの同期
    ● メタデータ／コンテンツの信号
    ● エラー検出／補正
    しかし、これらの機能は場合によって
    ほかのプロトコルがカバーしている
    ● RTP：タイムスタンプ
    ● PTP：時刻同期
    ● SDP / NMOS：メタデータ
    

    View Slide

88. EFP - Elastic Frame Protocol
    EFP が解決する MPEG-2 TS の問題
    ● オーバーヘッド
    ○ MPEG-2 TS はモダンインターネットでは不要なオーバーヘッドがある
    ■ sync byte (0x47)
    ■ スタートコード
    ■ 188 バイト固定の TS パケット
    ■ CBR のための null スタッフィング
    ■ table-of-contents の繰り返し
    

    View Slide

89. EFP - Elastic Frame Protocol
    EFP が解決する MPEG-2 TS の問題
    ● タイムスタンプ
    ○ MPEG-2 TS は 33 ビット
    ■ 26.5 時間周期で繰り返す
    ○ EFP は 64 ビット
    ■ 絶対時間を記述可能
    ■ CMAF セグメントのタイムスタンプに合う
    

    View Slide

90. EFP - Elastic Frame Protocol
    EFP が解決する MPEG-2 TS の問題
    ● バッファーモデル
    ○ MPEG-2 TS は複雑
    ■ ハードウェアの小さいバッファサイズをサポート
    ○ EFP ではバッファーモデルを指定していない
    ■ モダンな伝送プロトコルであれば十分にカバーできる
    ● SRT
    ● RIST
    

    View Slide

91. EFP - Elastic Frame Protocol
    https://github.com/agilecontent/efp
    

    View Slide

92. DRM for WebRTC
    

    View Slide

93. DRM for WebRTC
    WebRTC のセキュリティ課題
    ● コンテンツは TLS 暗号のみで守られている
    ● TLS には複数のコンテンツの露出点がある
    ○ SFU（Selective Forwarding Units）では復号された動画が露出
    ○ 再生クライアントでのコピーやキャプチャー、外部出力の露出
    

    View Slide

94. DRM for WebRTC
    https://castlabs.com/news/webrtc-drm-end-to-end-security/
    TLS が保護するのはソケットのエンドポイント間のみ
    

    View Slide

95. DRM for WebRTC
    WebRTC のセキュリティ課題
    ● コンテンツは TLS 暗号のみで守られている
    ● TLS には複数のコンテンツの露出点がある
    ○ SFU（Selective Forwarding Units）では復号された動画が露出
    ○ 再生クライアントでのコピーやキャプチャー、外部出力の露出
    WebRTC によるプレミアムコンテンツの配信には
    E2EE（End-to-End Encryption） が求められている
    

    View Slide

96. DRM for WebRTC
    castLabs DRMtoday for WebRTC
    

    View Slide

97. DRM for WebRTC
    DRMtoday for WebRTC
    ● castLabs が提供する
    WebRTC 用の
    E2EE DRM ソリューション
    ● Encryptor / Transformer /
    Licensing server の 3 つの
    コンポーネントで提供
    https://castlabs.com/news/webrtc-drm-end-to-end-security/
    

    View Slide

98. DRM for WebRTC
    DRMtoday for WebRTC
    1. Encryptor が鍵生成
    2. Encryptor から Lisensing server に鍵送信
    3. Encryptor が鍵で動画フレームを暗号化
    4. Encryptor が動画フレームを
    WebRTC パイプラインに送出
    5. Transformer が WebRTC パイプラインから
    動画フレーム受信
    6. Transformer が CDM で動画フレームを復号
    https://castlabs.com/news/webrtc-drm-end-to-end-security/
    

    View Slide

99. DRM for WebRTC
    DRMtoday for WebRTC
    ● ISO Common Encryption ‘cenc’
    ● 部分サンプル暗号
    ○ VCL（video coding layer） のみ暗号化
    ○ 諸々のヘッダー（SPS/PPS など）は
    変更されない
    

    View Slide

100. DRM for WebRTC
     DRMtoday for WebRTC
     ● ISO Common Encryption ‘cenc’
     ● 部分サンプル暗号
     ○ VCL（video coding layer） のみ暗号化
     ○ 諸々のヘッダー（SPS/PPS など）は
     変更されない
     Encryptor から出力された
     暗号動画フレームと
     通常の動画フレームは
     識別不能
     

     View Slide

101. DRM for WebRTC
     DRMtoday for WebRTC
     ● ISO Common Encryption ‘cenc’
     ● 部分サンプル暗号
     ○ VCL（video coding layer） のみ暗号化
     ○ 諸々のヘッダー（SPS/PPS など）は
     変更されない
     Encryptor から出力された
     暗号動画フレームと
     通常の動画フレームは
     識別不能
     伝送手段に依存しない
     

     View Slide

102. DRM for WebRTC
     EZDRM WebRTC-DRM
     

     View Slide

103. DRM for WebRTC
     EZDRM WebRTC-DRM
     こちらも WebRTC 向け
     DRM ソリューションだが
     性質が異なる
     

     View Slide

104. DRM for WebRTC
     EZDRM WebRTC-DRM
     ● 任意の WebRTC のメディアワークフローに導入可能
     ● 動画プレイヤーに依存しないソリューション
     ● 仕組みの詳細は NDA
     

     View Slide

105. Video over IP
     

     View Slide

106. ● 各社がST 2110対応製品をリリース
     ○ ブラマジが安価なST 2110コンバーターを発売
     ■ 安価に技術調査やPoCが行いやすくなった
     Video over IP
     

     View Slide

107. ● AJA からは Dante AV 規格で映像・音声のエンコーダー・デコーダーが発表
     ○ JPEG 2000ベース
     ○ ST 2110の複雑なクロック制御などが不要、ルーティングが簡単にできるとこ
     ろが売り
     Video over IP
     

     View Slide

108. ● Viz (Newtek) は “NDI connecting the videoverse” というテーマで、
     加速する映像の世界を、教育、セキュリティなどの分野に広げていく方針を発表
     Video over IP
     

     View Slide

109. ● ST2110
     ○ 非圧縮IP伝送のスタンダードになっていきそう
     ○ ST2022-6 は、ST2110に置き換わっていくのではないか
     ● Dante AV
     ○ Danteシリーズなので組み込みやすさはあるが、映像と音声を
     切り離して考えられなくなりそう
     ○ 個人的にどうなるか、どういう使われ方をしていくのかが気になる
     ● NDI
     ○ 方針としても教育・セキュリティ系となると、
     高品質なプロダクションでどこまで使われていくかは疑問
     Video over IP まとめ
     

     View Slide

110. Playout & MAM
     

     View Slide

111. Coralbay
     ● マイクロサービスで構築されたプレイアウトソリューション
     ○ 複数チャンネルの出力を管理することができる
     ○ 簡易MAMなども備えており、素材管理やクリップも可能
     ○ UIが割りかし良くできていて、勉強になる
     

     View Slide

112. Carric
     ● MAMソリューション
     ○ ワークフローを構築することが可能
     ○ Macなど、あらゆるマシンにエージェントをインストールすると、
     ファイル転送を行いffmpegを走らせてエンコードを処理してくれる
     

     View Slide

113. Encoding
     

     View Slide

114. Bitmovin
     ● 彼らのエンコーディングバックボーンでは、短い動画はリアルタイムで、60分を超
     える動画も3分以内で行える
     ● AWSよりも少ないビットレートでVMAFの高いスコアが出ることも強調
     

     View Slide

115. Bitmovin
     ● Smart-chunking
     ○ Iフレームの位置制御で、些細だが品質が上がる
     ● Super-resolution
     ○ SDから4Kのアップコンに使えるBicubicより綺麗になる
     

     View Slide

116. Bitmovin
     

     View Slide

117. Haivision
     ● Pro460
     ○ 6回線のキャリアを束ねるモバイルエンコーダーの発表
     ○ ただしエンコードはH.264なので、LiveUのボンディングと異なり、
     同じストリームを複数回線に冗長化させて載せておくようなイメージ
     ● StreamHub
     ○ Makito をまとめて管理できるコンソール
     

     View Slide

118. Kiloview
     ● P3
     ○ 5G 4回線のキャリアをボンディングして伝送できるモバイルエンコーダー
     ○ 受信側はフリーのKiloLink Serverを使用することが可能
     

     View Slide

119. CDN
     

     View Slide

120. ATEME
     ● CDN Selector
     ○ クライアントでスイッチングするCDNセレクタ
     ○ 外部のCDNともコストや帯域のメトリクスを見て、データを渡してもらえればスイッ
     チ可能とのこと
     

     View Slide

121. Synamedia
     ● Fluid EdgeCDN
     ○ オンプレのCDNのキャパシティを超えそうになったら、
     パブリックCDNにオフロードしてくれる製品
     

     View Slide

122. Monitoring
     

     View Slide

123. TAG
     ● WebRTCでの出力をサポート
     ● 各出力ポイントをプローブして、品質を比較する機能を発表
     ○ ただし、動かすのに結構なGPUを必要とするらしく、展開方法を悩んで
     いた
     ● TAGをGrafanaで可視化するデモも行われていた
     

     View Slide

124. Cinegy
     ● ソフトウェアベースの、簡易MAM、レコーダー、MVなどを出している会社（Softron
     のような）
     ● Multiviewerは、SDI/NDI/RTPなど豊富な入力と柔軟な構成が可能
     

     View Slide

125. AIソリューション
     

     View Slide

126. Magnifi
     ● AI/MLベースの自動ハイライト生成
     ● Liveのインジェストから、選手名、シーンなどを自動タグ付けしてクリップにする
     ● フィルターで任意のClipを選択したらバンパーやオーバーレイをして動画に書き出し、ダウン
     ロードやSNSへのアップロードがそのままできる
     ● 学習モデルの追加コストが安いのが売りらしい
     

     View Slide

127. SixFloor
     ● ハイライトの自動生成ソリューション
     ● インジェストしているライブエンコーダーの映像から自動的にハイライトを生成
     ○ メタ（選手情報）などもデータとして生成
     ● デモではそのままアプリケーションに通知を行っていた
     

     View Slide

128. Blackmagic DaVinci Resolve
     ● 映像編集ソフトで音声からの自動字幕生成もサポート
     ○ NAB時点では英語のみだったが、後に日本語もサポートされた
     ● リモートモニタリングもサポート
     

     View Slide

129. etc
     〜面白かったものなど〜
     

     View Slide

130. AWS
     ● Broadcast Liveブースで、クラウドスイッチングやMedia Servicesの
     新機能のデモを発表
     ○ AWS Elemental MediaConnect Gateway
     ○ AWS Elemental MediaPackage Low Latency HLS
     

     View Slide

131. AWS
     ● AWS Elemental MediaTailorとTripleliftのスプリットスクリーンのデモ
     

     View Slide

132. OBSBOT
     ● マイクスタンドの先につけられるくらい小型のPTZカメラと配信アプリ
     ○ アプリで各カメラを操作することができ、俯瞰のカメラから向けたい方向などをタップで選択
     可能
     

     View Slide

133. ● ラップトップ上部の2眼カメラにより、アイトラッキングして裸眼で3Dに
     見えるラップトップを展示
     ASUS ProArt
     

     View Slide

134. ● 地味に新製品を多く出していた
     ○ 4Kからクロップを大画面で行えるスイッチャー
     ○ 4Kのポータブルスイッチャー
     ■ 設定用のモニターがついて、細かい設定を変えられるようになってた
     ○ 4K HDR H.265レコーダーなど...
     datavideo
     

     View Slide

135. ● マクロを割り当てて操作できるパネルを作っている
     ○ Tバーがつけられたり、1Uモデルもある
     ○ サポートしているデバイスがおおい
     ○ 日本の代理店はまだないとのこと
     Xkeys
     

     View Slide

136. Cinema camera
     

     View Slide

137. シネマ機材のブロードキャスト使用
     ● ブロードキャスト、中継業界のマーケットが大きい
     ● 今までいろいろな機材を駆使して使用していたシネマカメラが中継、スタジオ
     にて使用しやすくなる機材が充実
     

     View Slide

138. シネマ機材のブロードキャスト使用
     ● FUJINON、CANONがPLマウントの箱型レンズを展示（ハンディ用も販売予定あり）
     ● ARRIの展示もシネマでなくスタジオライクになっており、 FUJINONの新作レンズが設置されていた
     ● PROTECHはシネマカメラをシステムカメラの様に使えるための伝送装置を発表
     

     View Slide

139. Virtual Production
     

     View Slide

140. バーチャルプロダクション
     ● セットを捨てるということに配慮したSDG’sの観点からバーチャルプロダクションが
     発展
     ● Amazon studio、FOX等のスタジオもほぼバーチャルプロダクション仕様
     ● 課題となっていたマルチカム対応を各社が発表
     ● マルチカムが可能になったことにより、スタジオシステムとしての使用が現実的に
     なった。セットチェンジの時間が短縮、狭い空間が広く見える等利点があるので常
     設スタジオを作るというのも候補かも？
     

     View Slide

141. バーチャルプロダクション
     ● Vizrt、SONY、Ross videoがマルチカムバーチャルプロダクションを発表
     ● SONYはLEDもsony製のためLEDはSW連動、camRETやSWモニターには合成された画が出ている
     ● Vizrt、Ross videoはGohstFrameを使用し、240PのLEDを60Pずつ違うカメラの連動する映像を表示し、
     カメラのシャッタースピードを調整することによりマルチカムを実現。最大 4台まで。
     ● 共同展示等でもバーチャルプロダクションが多かった
     

     View Slide

142. other
     

     View Slide

143. ROHDE & SCHWATZ
     ● Prisme（MV）：モニタリングの機能を備えたマルチビューワ。 SDI/IP、様々なコー
     デックに対応。また複数の Prismon を、SDM(Scalable DistributedMultiviewer)
     と呼ばれる、オーケストレーションを機能を搭載することでより大規模なマルチ
     ビューとモニタリングが可能。ソフトウェア定義のソリューションとなり、クラウドや
     オンプレ環境などで柔軟に利用可能。
     ● Clipstar（マスタリング）：IMF や DCP などのマスタリングをするための機器。
     様々なフォーマットに対応しており、 R&S 専用のハードウェアボードを搭載し、安
     定した処理を行うことが可能。
     

     View Slide

144. MTI
     ● cortex
     convetソフトに新機能追加
     ①AIを使った変換：I→P変換のインターレース解除、 2997⇄2398 コマ補完
     ②QC機能追加：画素抜けの検知 (演出上のものと区別可能 )
     ③字幕：テキストを入れておくとそれと本編の言葉を照合して単語ごとにタイムラインに並べる
     そのほか前からできている様々な基本的な変換は可能
     

     View Slide

145. Remote Production
     

     View Slide

146. クラウドを利用したリモートプロダクション
     ● コロナを受けリモートプロダクションが発達
     ● ポスプロシステムをリモートプロダクションできるようにするシステムやソフトが充実
     ● スタジオ、中継の現場技術のリモートプロダクションについても発表多数。ただ、ま
     だ実績が多くなく、今後の発展に期待という印象
     ● ポスプロは工夫すれば取り入れられるものがありそうだが、スタジオ、現場リモプロ
     はまだ発展を待った方が良さそう
     

     View Slide

147. Remote Production　スタジオ・中継「Riedel」
     ● SW、SLOWが可能なリモートプロダクション
     ● カメラインカム含めたインカムシステムもリモートプロダクション可能にする予定
     ● SWのコンパネ開発予定
     ● インカムまでの提案は Riedelのみ
     

     View Slide

148. Remote Production　スタジオ・中継「SONY」
     ● クラウドSWを発表、しかしSWの切り替えレスポンスの遅さ等まだ開発段階
     ● MEを基盤追加で自由に変更できる SWの発表！
     こちらがメインで結局オンプレだが IPの利点を生かしたSW
     

     View Slide

149. Remote Production　スタジオ・中継　その他メーカー
     共通事項として、レスポンスのディレイが課題 通
     ● Grass Valley
     ● evertz
     

     View Slide

150. Remote Production（SONY）　
     ● M2 Live　：　現場クラウドシステム
     ● C3 portal　：　素材伝送共有
     ● Ci Media Cloud　：　クラウド素材管理システム
     

     View Slide

151. Remote Production　post production（AWS）　
     ● AWSのクラウド編集でdavinci resolveの通信速度が早くなった。
     ● 全体的にまだモニターへの返しにラグが大きいので細かい完パケ作業やグレーディング作業に関してはレ
     スポンスの速度の課題が残る。
     ● メーカー横断で機能を追加できれば、可能性があるのではないか？
     

     View Slide

152. クラウド統合制作環境(AWS展示)
     

     View Slide

153. クラウド統合制作環境(AWS展示)
     

     View Slide

154. REMOTE PRODUCTION CONFERENCE
     二日間で23セッションが開催された。その中から以下に参加
     4/16
     ● Cloud Editorial: Tools for Remote Editing　　※参考になった
     ● Remote Media Collaboration Using the Cloud　　※参考になった
     ● Remote Collaboration and the Creative Pipeline: Technologies, Methodologies, and Best
     Practices
     4/17
     ● Increased Collaboration with NAS Solutions for Small Business & Content Creation
     ● Working with DaVinci Resolve in the Cloud
     ● How to Master Remote Production ※別バージョンのYoutubeあり
     

     View Slide

155. REMOTE PRODUCTION CONFERENCE
     ● クラウド編集のクライアント環境
     ○ 有線LANを使用し、クラウドとのレイテンシーは 50ms以下にすること
     ● ライブレビュー＆承認フロー
     ○ リモートにおいて製作者コラボレーションツールは必須　
     ○ そのためのツールが出揃ってきたので規模感次第でソリューションを選択
     個人利用 小規模 大規模
     Dropbox Replay Adobe
     frame.io
     MediaSilo MOXION
     Louper.io Evercast clearview
     flex
     

     View Slide

156. REMOTE PRODUCTION CONFERENCE
     ● クラウドを利用した動画制作について
     ○ 工程のどこまでをクラウド化するのか　マスタリングの工程にはまだ早いか？
     ○ データを手元にダウンロードしない、または意識させないソリューション
     データはクラウド、作業はローカル 　　　　クラウド上で全て簡潔させる
     DaVinci Resolve
     Cloud Store
     クラウド素材共有あり
     10G
     インターフェースを備えた
     NAS PCoIPを用いたクラウド
     VDIソリューションとクラウ
     ドストレージの組み合わせ
     bebop technology
     リモートプロダクションに必
     要な機能を全てSaaSとし
     て提供
     

     View Slide

157. Remote Production関連で気になった製品
     ● クラウド動画共有　LucidLink
     ● 高速ファイル転送　MASV
     ● ファイル同期　Resilio
     ● ネットワークインフラ統合管理・監視システム　 Skyline dataminer
     ● リモートプロダクション SaaS　Bebop
     ● エンドロール作成　ENDCRAWL
     ● クラウド編集　Blackbird Video
     今のファイル共有の課題に貢献できる可能性あり
     

     View Slide

158. Media Supply Chain
     

     View Slide

159. メディアサプライチェーンとは
     先に紹介したリモートプロダクションからの素材インジェスト、
     MAMでのタイトルの作成・管理、メタデータ管理、
     その他のコンテンツ保護、ロイヤリティ管理、自動 QC、ローカライゼーション処理、パッケージング処理
     などのシステムをそれぞれを得意とするシステム同士が効率的かつシームレスに連携し、コンテンツを
     迅速かつ正確に視聴者に届けるための技術の組み合わせ
     展示されたソリューションの数としては、 QC製品に関してはほぼ変化がなかったが MAM製品は数多く
     の製品が展示されていた
     MAM製品名：Dalet, sdvi Rally, AVECO, NOMAD, Ci Media Cloud, ATELIERE, Cantemo etc…
     特定の製品を売るのではなく、メディアサプライチェーンを要件に合わせて提案する会社が増加
     

     View Slide

160. MAM 出展ブース
     ●
     sdvi 2023 Sustainability Champion Award
     

     View Slide

161. メディアサプライチェーン(AWS展示)
     ● ラジオ音声を同じ声色で多言語化 するデモを展示　AI/ML活用した自動翻訳、自動音声生成
     こんにちわ
     Hello
     Bonjour
     Γειά σου
     

     View Slide

162. COGNITIVE AI -VIDEO TO METADATA (VIONLABS)
     ● ビデオからメタデータを生成する AIソリューション
     ● 独自のロジックで生成されるフィンガープリント情報からメタデータを生成するため、動画データは
     最初のみしか必要としない
     ● キーワード、ジャンル、ネガ /ポジなど感情などの 1000個以上の特徴点を抽出
     ホラー
     コメディ
     

     View Slide

163. Dolby Live
     

     View Slide

164. Dolby Live 視察
     ● 客席1ブロック毎に、センター、 L/R、バックL/Rのスピーカー配置のため音がいい
     ● カメラはHD仕様、画出しのモニターのピクセルが大きく映像にはこだわっていない
     ● 空間が狭いので生で演者を視認しやすい、演出が全体的に大きいため画出しの映像がきれいでなくても
     きにならない。
     ● ターゲットをどこに照準を当てるかでお金をかける装置のターゲットが変わると感じた
     

     View Slide

165. ありがとうございました
     

     View Slide