Upgrade to Pro — share decks privately, control downloads, hide ads and more …

3 年ぶりのリアル開催!NAB Show 2022 動画技術関連レポート

3 年ぶりのリアル開催!NAB Show 2022 動画技術関連レポート

The slides describe the next generation standard and evolving video technology trends including topics on low-latency and large-scale video streaming, IP video production, and so on.

Yusuke Goto

June 15, 2022
Tweet

More Decks by Yusuke Goto

Other Decks in Technology

Transcript

  1. 五藤 佑典 YUSUKE GOTO https://ygoto3.com/ @ygoto3_ • California State University,

    San Bernardino グラフィックデザイン専攻 • デザインエンジニア/動画エンジニア @ サイバーエージェント • ABEMA 開発本部 ◦ Cross Device チーム あらゆるデバイスに ABEMA を展開するための技術を提供するチーム ◦ Streaming Client チーム ABEMA の再生品質を軸に UX エンジニアリングにコミットするチーム ◦ 動画技術エバンジェリスト 世界各国に足を運び動画技術に関する情報をキャッチアップし、 社内外の動画サービスの発展に貢献するロール ◦ DesignOps 推進バックエンド 大規模組織でスケールできるプロダクトデザイン開発組織を構築する活動
  2. NAB Show • NAB = National Association of Broadcasters •

    例年世界中から 90,000 人以上が参加する放送業界最大のイベント • 開催地:米国ラスベガス • 制作から配信、管理・収益化まで、コンテンツビジネスの全領域をカバー
  3. NAB Show 2022 の実績 • 参加者: 52,468 名 ◦ 例年と比較すると半分程度の参加者

    • 米国外からの参加者: 11,542 名 https://www.thebroadcastbridge.com/content/entry/18453/2022-nab-show-review-part-1
  4. 3 年ぶりのリアル開催 • 2019 年: 4 月 6 日〜 11

    日 NAB Show 2019 開催 • 2020 年: NAB Show 2020 キャンセル • 2021 年: 10 月 NAB Show 2021 の開催を試みたが、延期 • 2022 年: 4 月 NAB Show 2022 開催 ← ココ
  5. 3 年ぶりのリアル開催 • 2019 年: 4 月 6 日〜 11

    日 NAB Show 2019 開催 • 2020 年: NAB Show 2020 キャンセル • 2021 年: 10 月 NAB Show 2021 の開催を試みたが、延期 • 2022 年: 4 月 NAB Show 2022 開催 ← ココ コロナ禍の開催は厳しく 3 年ぶりに開催
  6. アジェンダ • Ice Break • 次世代放送標準規格 • 次世代コーデック • 大規模配信技術

    • 低遅延配信技術 • AdTech / MarTech • プロダクション • テストエンジニアリング
  7. COVID-19 米国入国条件 • ワクチン接種証明 • 出国 1 日前以内の陰性証明 入場条件 •

    ワクチン接種証明 日本入国時の隔離回避条件 • 入国 72 時間以内の陰性証明
  8. Resorts World Las Vegas • 2021 年 6 月 24

    日にオープンした ラグジュアリーな新しいホテル • NAB Show 参加者の間で 「新しいホテルは行ってみた?」 「来年はあそこに泊まりたい」 みたいなライトなアイスブレークを よくした
  9. ATSC 3.0 / NextGen TV Advanced Television Systems Committee •

    125 社で次世代のテレビ規格を策定 ◦ 地上放送、ケーブルテレビ、衛生放送事業者、映画産業、家電や放送機器メーカー、コンピュー ター、集積回路メーカーなど 125 社
  10. ATSC 3.0 / NextGen TV 機能 • IP • 高解像度(4K

    / HDR) • 多チャンネル化 • モバイル視聴 • マルチチャンネル音声サービス • 多言語キャプション • 地域最適化された緊急情報 • 視聴者に合わせた放送 • 双方向コンテンツ配信
  11. ATSC 3.0 / NextGen TV NextGen TV の将来性 • 米国の

    90% 近くの世帯がブロードバンドインターネット環境に接続している • 米国の 82% 以上の世帯に 1 つ以上のコネクテッドテレビがある • 米国の成人 40% 近くが毎日コネクテッドテレビでの視聴を行っている
  12. ATSC 3.0 / NextGen TV NextGen TV の将来性 • 追加コンテンツのストリーミング

    ◦ ニュースや FAST チャンネルなど • データの監視と分析 ◦ 自社データによる視聴率 • プレミアムコンテンツ ◦ アクセス制御可能なコンテンツ配信
  13. ATSC 3.0 / NextGen TV 新しい形式のテレビは何を備えているか • Interactive ◦ 対話型/双方向コミュニケーション

    • Participative ◦ コンテンツに参加可能 • Personalized ◦ 個人や地域に最適化した情報 • Addressable ◦ 情報に容易に辿り着ける
  14. ATSC 3.0 / NextGen TV の実例 The Dish • クッキングショー/土曜午前

    • リモコンや Alexa での制御 ◦ レシピ確認 ◦ 材料のオンライン注文 ◦ シェフの著書購入 ◦ オンデマンド動画視聴 ◦ etc…
  15. ATSC 3.0 / NextGen TV の実例 News Literacy Project •

    視聴者が虚報や誤報に気付くた めのアプリ • 生放送 x インタラクティブコンテ ンツで積極的にリサーチ ◦ クイズ ◦ 投票 ◦ オンデマンド動画 ◦ etc…
  16. ATSC 3.0 / NextGen TV の実例 Sinclair Broadcast Group が提供す

    るオープンソースの Hybrid TV • 機能 ◦ Call-to-Action ◦ 緊急警報 ◦ 気象情報 ◦ お気に入り ◦ カテゴリー ◦ チャンネル
  17. ATSC 3.0 / NextGen TV の実例 Linear-VOD 切り替え • HbbTV

    / ATSC 3.0 上の EPG アプリケーション • ハイブリッド・ビンジ・ウォッチン グ体験を提供する • 音声中に電子透かしを 使ってテレビにアプリ起動を 指示する
  18. ATSC 3.0 / NextGen TV NextGen TV を使った戦略 • チャンネルを跨いだ提案

    • 放送波とオンラインチャンネルの融合 • オンラインサービスとの組み合わせ
  19. ATSC 3.0 / NextGen TV Next Gen TV アプリケーションの開発 •

    動的な情報とインタラクティビティを備えたアプリケーション ◦ デバイス/プラットフォームに依存しない ▪ A/344 サポート ◦ Web ページと同等の更新性 ◦ CTA (Call-to-Action) ▪ 視聴者にとってのキュー ▪ CTA 表示とともにアプリケーションは起動する
  20. ATSC 3.0 / NextGen TV The NextGen TV Broadcast Application

    • オープンソース/MIT ライセンス ◦ https://github.com/openBA-NextGenTV • Next Gen TV 採用のハードル下げ • 柔軟なカスタマイズ性
  21. 5G ブロードキャスト MBMS • Multimedia Broadcast Multicast Service • 3GPP

    の 5G ブロードキャストの規格 • 動画や音楽などのマルチメディアコンテンツを既存ネットワークを使って配信する ◦ マルチキャストにより同時刻に複数の端末に対して一度の送信で通信を済ませるというコンセプト ◦ テレビ番組など同一時刻の同一コンテンツを配信する際にマルチキャスト通信を行なうことで電波 の効率的な利用を図る
  22. 5G ブロードキャスト 5G-MAG • Media Action Group for 5G •

    EBU が進める欧州を中心とした 5G ブロードキャストの 研究開発タスクフォース https://www.5g-mag.com/membership
  23. 5G ブロードキャスト The 5G-MAG Reference Tools プロジェクト • 2021 年後半開始

    • 5G メディア技術の実装/相互運用性をサポートするために オープンソースのリファレンスツール開発にコミット
  24. 5G ブロードキャスト The 5G-MAG Reference Tools • 3 つのコンポーネント ◦

    MBMS Modem ▪ 5G ブロードキャストインプット信号をマルチキャスト IP パケットに変換 ▪ C++ 実装のモジュール ◦ MBMS Middleware ▪ 利用可能なコンテンツを決定し、アプリケーションに指示する ◦ Webinterface ▪ MBMS Modem と Middleware から収集したデータを GUI で表示 ▪ DASH / HLS のプレイヤーとしての役割( dash.js / hls.js)
  25. MBMS • 3GPP / ATSC / DVB の 技術スタック関係図 •

    ATSC 3.0 ではファイル 転送用プロトコルに FLUTE を拡張した ROUTE を仕様 • DVB は両プロファイルを 継承
  26. MBMS • GPAC で DASH/ROUTE マルチキャスト配信 gpac -i https://{hosting server}/{manifest

    path}.mpd \ dashin:forward=file \ -o route://<multicast ip>:{port}[:llmode] • GPAC で ROUTE demuxer gpac -i route://225.1.1.0:6000/:max_segs=4 \ dashin:forward=file \ @=file @httpout:port=8081:rdirs=$PWD/tmp:reqlog='*':cors=auto \ -opt core:cache:$PWD/tmp_gpac
  27. Brazil’s TV 3.0 Project TV 2.0 から 6 つのシステム・コンポーネントの置き換えを検討・評価 1.

    Over-the-air Physical Layer 2. Transport Layer 3. Video Coding 4. Audio Coding 5. Captions 6. Application Coding
  28. Brazil’s TV 3.0 Project ATSC 3.0 からも 5 つのシステム・コンポーネントを選択 1.

    ROUTE/DASH transport 2. MPEG-H Audio 3. IMSC1 captions 4. HDR10 Video High Dynamic Range EOTF 5. ATSC Advanced Emergency Alerting
  29. Brazil’s TV 3.0 Project ATSC 3.0 からも 5 つのシステム・コンポーネントを選択 1.

    ROUTE/DASH transport 2. MPEG-H Audio 3. IMSC1 captions 4. HDR10 Video High Dynamic Range EOTF 5. ATSC Advanced Emergency Alerting
  30. AV1 • AOM の最初のビデオコーデック • 2018 年 6 月仕様確定 •

    ロイヤリティフリーのエコシステムが特徴
  31. AV1 エコシステムの進化 ストリーミングプロトコル/フォーマットのエコシステム • CMAF : Common Media Application Format

    ◦ AV1 Codec ISO Media File Format Binding ◦ https://aomediacodec.github.io/av1-isobmff/ • Adaptive Protocol ◦ HLS ◦ DASH ▪ 映像/音声コーデックの非依存 • DRM ◦ Widevine / PlayReady etc. ◦ https://testweb.playready.microsoft.com/Content/ContentAV1
  32. AV1 エコシステムの進化 ストリーミングプロトコル/フォーマットのエコシステム • Input Format ◦ 10, 12, 16-bit

    color ◦ 420, 422, 444 chroma subsampling • Metadata Handling ◦ HDR10, HDR10+ ◦ メタデータ挿入の柔軟性 ▪ per-frame 挿入、キーフレームのみ挿入、メタデータ変更トリガー挿入
  33. AV1 フィルムグレイン保存 Grain Synthesis + Preservation • 両者相互に補完 • Synthesis

    で多くのビッ トを節約 • Preservation で自然な グレインを保存
  34. AV1 Tools for RTC • Screen Content Coding (SCC) ◦

    スクリーンに表示された情報共有のためのコーディング ◦ AV1 は初めて標準として SCC をサポートしたコーデック ▪ SCC ユースケースに対応するツールは AV1 の main body にある • 必然的に全てのデコーダーが SCC ユースケースをサポートする ◦ SCC は RTC のユースケースの中でも特徴的な性質を持つ ▪ スライド切り替え時に全てのピクセルが変わるが、それ以外は動きがない ▪ 同じパターンの画像が何度も繰り返し現れる • 文章を構成する文字は同一フレーム内でも同じサイズの同じ文字を何度も使うことが 多い • 5 fps でも十分なことも
  35. https://www.broadbandtvnews.com/2022/04/14/20-companies-support-mpeg-5-lcevc-showcase-at-nab-2022/ AMD/Xilinx, Amlogic, Harmonic, Kynesim, MainConcept, NETINT, NVIDIA, Oregan Networks,

    Qencode, Red5 Pro, Resi, SBTVD Forum, SEI Robotics, Simplestream, SOUTHWORKS, Steinwurf, THEOplayer, Videon, Visaic, V-Nova
  36. MPEG-5 LCEVC 4K Live 2160p60 LCEVC 搭載した Amlogic S905D3 でのデコード

    スマートテレビ系の SoC メーカーとも交渉中
  37. xHE-AAC • シームレスな DASH/HLS ビットレートスイッチングをサポート ◦ ステレオ 12 - 500

    kbps までをサポート ▪ 既存の AAC 群では不可能だった 低ビットレートから高ビットレートへの シームレスなスイッチを実現 • MPEG-D DRC メタデータ必須 ◦ 必然的に ラウドネスとダイナミックレンジ制御が可能 • ライセンサー: Microsoft
  38. xHE-AAC • サポート状況 ◦ Netflix ▪ xHE-AAC を使ったストリーミング ◦ Amazon、Android、Apple

    の各最新 OS が デコーダーをサポート ▪ Fire OS 7 〜 ▪ Android 9 〜 ▪ iOS 13 〜 ◦ MainConcept の FFmpeg プラグイン・ エンコーダー
  39. Lumen Mesh Delivery ケーススタディ:MyTF1 • 毎月 2,700 万 UU •

    7500+ 時間の動画 • プライムタイムのトラフィックスパイク 平均の 4 倍 • 大きなスポーツイベントのトラフィックスパイク 日ピークの 10 〜 20 倍
  40. Lumen Mesh Delivery ケーススタディ:MyTF1 • 毎月 2,700 万 UU •

    7500+ 時間の動画 • プライムタイムのトラフィックスパイク 平均の 4 倍 • 大きなスポーツイベントのトラフィックスパイク 日ピークの 10 〜 20 倍 Multi CDN + Lumen Mesh Delivery
  41. Lumen Mesh Delivery Multi CDN • ピークトラフィックでの自動スイッチ • 大きなイベントの間は手動ロードバランシング Lumen

    Mesh Delivery • ピークトラフィックでの自動有効 • 予期していないスパイクでも自動有効 • 大きなイベントの際は事前に手動有効
  42. Mesh Delivery P2P と CDN インフラの合成 • 動的に CDN と

    P2P (他の視聴者がダウンロード済の 同一動画セグメントの共有) を制御する
  43. NPAW Active Switching ミッドストリーム CDN スイッチング技術 • 再生開始時ではなく再生中の CDN スイッチを可能にする

    • ローカルで収集したスループット情報から CDN 減退が発生する前に検知し、シー ムレスに別の CDN から続きのメディアセグメントを取得する • NPAW CDN Selector とも併用可能
  44. HESP High Efficiency Streaming Protocol • THEO Technologies 開発 •

    HTTP ベースで Ultra-Low Latency を実現するストリーミングプロトコル • オーバーヘッドが少ない再生開始手順 ◦ 再生開始にマニフェストは必須ではない • HTTP 1.1 ベース ◦ 標準的なデリバリーインフラで利用可能 ◦ オプションで HTTP/2 も使用可能 • フレーム精度の任意の位置から再生可能 ◦ 2 種類の補完的なストリームを組み合わせる独特なプロトコル
  45. HESP エコシステム THEOlive • HESP E2E Cloud Solution • https://www.theoplayer.com/product/theolive

    • 簡単なチャンネル設定で HESP エンコーダー/ ストリーミングサーバー 立ち上げ • API 提供
  46. HESP エコシステム EZDRM • HESP + DRM (Widevine) のデモ •

    Live DRM での subsecond 配信 FairPlay Streaming も可能とのことだが、 当日デモでは確認できず
  47. mobii Microblock technology • フレームレベルの時間同期 • subsecond の低遅延 • CDN

    の利用による ラストマイル・スケーラビリティ を実現する技術
  48. mobii 入力 RTMP / SRT / RIST / CMAF /

    Web-RTC 出力 CMAF (HLS / MPEG-DASH) / RIST / RTMP / SRT (複数出力可能) 時間同期 ◦ エンコード遅延 100ms
  49. mobii • エンコーダー ◦ Microblock サポート • プレイヤー(カスタマイズ可) ◦ 遅延管理

    • AWS / Azure への ネイティブインテグレーション • Mobii Connectors ◦ Microblock コンテンツの送信 ▪ リアルタイム リモートプロダクション ▪ CDN
  50. AdTech Catapult X On-stream Contextual Ads • AI-based ◦ 顔認識

    ◦ パーソナライズド ◦ 嗜好性学習 • Self-services & DSP-advertisers
  51. MarTech 米国での MarTech の増加 • Marketing x Technology ◦ IT

    による顧客データの取得や管理活用 • 目的 = One-to-One Marketing ◦ 消費者の個人ニーズ/購入履歴に合わせた販売促進 ◦ 消費者との関係構築
  52. MarTech tallio LiveStreaming Shopping • MarTech インテグレーション ◦ 任意の SSP

    / DSP ◦ API 提供 • 機能 ◦ リアルタイム分析 ◦ EC プロダクト管理 • テレビ対応 SDK on ロードマップ ◦ 年内 ◦ 翌年あたりから事例増える見込み
  53. バーチャルプロダクション グリーンバックによるバーチャルプロダクション • 多くの実績 • 厳しい照明条件 ◦ 収録中の照明変更は難しい • 特定の色情報の犠牲

    ◦ 特にリアルタイムでは合成品質に制限 ◦ 収録の場合はポストプロダクションで品質担保することが一般的 • 現場での合成結果が分かりづらい
  54. バーチャルプロダクション LED ウォールによるバーチャルプロダクション • 比較的新しい手法 • 照明条件の高い自由度 ◦ LED パネル自体が照明

    • 制作期間の短縮 ◦ 収録時に合成完了 ◦ プロジェクトされた CG を現場で確認/調整が容易 • マルチカメラ撮影が困難 ◦ ライブに向かない
  55. バーチャルプロダクション PROMPTON TECHNOLOGY Frame Remapping • LED ウォールでの マルチカメラ・バーチャルプロダクション可能 •

    各カメラに各々向けにレンダリングされたバーチャル背景を見せる ◦ バーチャル背景はそれぞれのアングル用に作成されている • バーチャル背景の 1 つをグリーンバックにするユースケースも可能 ◦ ポストプロダクションで要素追加の自由度も担保
  56. バーチャルプロダクション PROMPTON TECHNOLOGY Frame Remapping • リフレッシュレートの制限 ◦ 低いリフレッシュレートはカクつき 24hz

    での撮影はできない ◦ デモの設定は 60hz の撮影に対して 120hz で 2 つの映像を切り替え ◦ 240hz までの設定可能
  57. ライブリモートプロダクション Amazon のライブリモートプロダクションのショーケース ATP Media とのプロジェクトで 検証した 6 つの構成のうちベストな構成を展示 •

    AWS • NDI ネイティブクラウドスイッチャー ◦ Vizrt / Viz Vectar Plus • NDI ルーティング ◦ Sienna ND • SloMo replay ◦ SimplyLive ViBox SloMo Replay System
  58. ライブリモートプロダクション Viz Vectar Plus • NDI 5 / NDI Bridge

    ネイティブサポート • クラウド対応の映像ミキシング最大入力数 ◦ 44 チャンネル NDI 入力 ◦ + 44 チャンネルのオーディオチャンネル • NDI Genlock ◦ カメラ間の一貫したタイミング保証 • Live Call Connect ◦ さまざまな通信アプリケーションから遠隔地のコントリビューターの呼び出し • AI 対応の音声検出によるクリアなゲスト音声
  59. ライブリモートプロダクション Sienna ND • NDI のシグナルオーケスト レーション • NDI Router

    ◦ ProBel (SWP-08) と BlackMagic Design VideoHub SDI video router をエミュレート ◦ SDI オペレーションからの マイグレーションを容易に
  60. ライブリモートプロダクション SimplyLive ViBox SloMo Replay System • 4K マルチカメラ・スローモーション・リプレイの統合ソリューション ◦

    リプレイ ◦ スローモーション (オプション:スーパースローモーション) ◦ ハイライト ◦ グラフィックス・オーバーレイ • NDI による外部グラフィックシステムとのインターフェース • 専用コントローラ ◦ T バーによるスローモーション制御 • タッチスクリーン
  61. ライブリモートプロダクション SimplyLive ViBox SloMo Replay System • ViBox SloMo Backend

    ◦ AWS EC2 ◦ NDI、SRT、TS UDP での インジェスト、プレイアウト ◦ 16ch エンベデッドオーディオ • ViBox SloMo UI ◦ UI ゲートウェイとして PC 利用 ◦ Teradici、NICE DCV での リモート UI
  62. ライブリモートプロダクション SimplyLive ViBox SloMo Replay System ソースインプット プレイバック アウトプット スピード制御

    保存したクリップの ライブラリ 複数クリップの プレイリスト 専用コントローラ でも操作可能
  63. NDI カメラ AIDA PTZ カメラ • NDI|HX / SRT /

    IP / HDMI • 4K60 • 30x ズーム
  64. NDI カメラ NDI|HX • HX = High Efficiency • 低帯域幅

    ◦ 通常の NDI より高圧縮での映像伝送 ◦ H.264 使用、NDI HX2 は H.265 も使用可能 ◦ 通常の NDI の 10% 程の帯域幅 • 遅延 ◦ 通常の NDI より遅延 ◦ 2 フレーム程度 NDI よりも限られた帯域幅で効率良く映像伝送するための規格
  65. M2A Media AWS Media Services 上の All-in-one なライブ動画配信システム • スケジュール管理

    • コンテンツタイトル管理 • ライブ動画のリアルタイムモニタリング などのシステムと使いやすい GUI を提供
  66. M2A Media 構成するコンポーネント • M2A Connect ◦ クラウド IP による動画の収集、伝送、変換

    • M2A Live ◦ 安定性、品質、低遅延を制御するライブ配信 • M2A VOD ◦ ライブ動画伝送後の VOD アセットワークフローの中央管理 • M2A Capture ◦ 伝送直後に Amazon Channels など動画プラットフォームに合わせて複数のフォーマット/コーデックでの出力
  67. Bitmovin Stream Lab ストリーム提出をトリガーに デバイスでの自動再生テスト • 完全制御可能な テストシナリオ • 事前用意されたユースケース

    ◦ 動画ドメイン知識の ハードルを下げる https://www.broadbandtvnews.com/2022/04/14/20-companies-support-mpeg-5-lcevc-showcase-at-nab-2022/
  68. Bitmovin Stream Lab 現状 20+ のデバイスでテスト可能 • スマートフォン • テレビデバイス

    • 各 OS の Web ブラウザ リクエストすると任意のデバイスを増やす ことが可能 • 日本のテレビデバイスなどもリクエスト可能