【shownet.conf_2023】ShowNetバックボーン融合した映像制作環境

shownet.conf_ での講演資料(Media over IP)

Transcript

1. ShowNetバックボーン融合した 映像制作環境 Interop Tokyo 2023 ShowNet NOCチーム MediaOverIP 担当
2. NOCルームでの映像制作風景 2 インターネット配信 現地編集モニタ
3. NOCルームでの映像制作風景 3 プロダクションスイッチャー
4. 映像制作において必要なこと 4 低遅延 秒単位はもちろんNG フレーム単位の遅延もできるだけ排除 高品質 制作段階ではエンコードは重ねるのは品質の低下を招く 可能なら非圧縮，そうでなくてもある程度の圧縮率の低い コーデック 耐障害性 制作段階でのフレームレベルの欠けはNG
5. 今年のテーマ Media over backbone network 3拠点を想定した映像制作 ShowNetバックボーンを通した拠点間における映像制作を実現 映像制作環境のフルIP化 映像はほぼ全てOver IPでやり取り SMPTE ST2110による4K非圧縮映像制作環境の実現 Internetを活用した低遅延モニタリング WebRTCを活用したST2110のリアルタイムモニタリング WHIPを活用したWebRTCサーバークライアントの相互接続性検証
6. 6 Media Over IP
7. ShowNetバックボーンを経由した映像伝送 マスター / スタジオ / 中継の3拠点間での映像伝送 7 マスター拠点 スタジオ拠点 中継拠点 Media L3 Fabric
8. 映像入出力 入力 ShowNetStage演者カメラ (4K/HD) ShowNetStageプレゼン画面 (HD) Pod4からの俯瞰映像 (HD) Local5G MIXIカメラ (HD) Local5G LiveUカメラ (HD) 8 出力 NOCルーム Smart vLiveトランスコーダー Moani カメラの返し サイドビュー 操作用マルチビュー NTTエレクトロニクスブース
9. 9 stage プレゼン pod メイン出力 スタンバイ live-U mixi
10. ShowNet Stage camera 10 ST2110の送受信可能なカメラ 映像をカメラ設置位置から 直接IPで送信 カメラ自体が ST2110のコントロール可能 • モニタで編集後映像を確認しながら撮 影可能 露出調整などマネジメント系も リモート操作可能 • リモートプロダクションを可能に
11. Pod4 camera 11 中継/ロケ想定のカメラ HD送信 IPSecによりバックボーンを 跨いでST2110を送信
12. ShowNet2023 MediaOverIP Protocols Multicast IGMPv3/SSMが基本 ASMのみの映像機器に関してはIGMP Mappingによって対応 Media Protocol SMPTE ST2110-10,20,30 • 映像伝送の基本となる仕様 SMPTE ST2022-7 • 冗長を確保するためのプロトコル SMPTE ST2059 • Media Profile 対応のPTP同期 映像 2160p59.94(4K)/1080i59.94(FHD)の2つを用途ごとに準備 基本は2160p59.94がベース 12
13. SMPTE ST2110 業務用映像をIPで伝送するための標準規格 ST2110-10 : System Timing and Definitions ST2110-20 : Uncompressed Active Video ST2110-30 : PCM Degital Audio ST2110-40 : Transport of SMPTE Ancillary Data など・・・ 映像の各コンポーネント（ビデオ/音声/アンシラリ ）を 個別ストリームとして送信 特定ストリームだけを取り出したり加工できるため柔軟 ただし，別ストリームなので同期にPTPを用いる 13
14. SMPTE2022-7 Hitless Protection Switching 1つの映像などに対して，2つの同一ストリーム RTPパケットのシーケンス，タイムスタンプを参照 受信はバッファし，Primaryが欠けてもSecondaryのRTPを採用 14 映像のドロップ無し！ Video Source Primary buffer Secondary buffer 1 2 4 5 … Output selector Lossy path 3 1 2 4 5 … 3 1 2 4 3 5
15. ShowNetバックボーンを経由した映像伝送 15 マスター拠点 Media L3 Fabric
16. Media L3 Fabric Network マスタコントロール拠点はL3 Fabric networkによって構成 Cisco IPFM/NDFCを中心にコア拠点を設計 フロー単位で帯域予約を実施 マルチキャストのOverSubscribeによる輻輳を防止 事前に防止することで既存通信への影響を排除 通過パスで輻輳しそうなら 流さない
17. Fabric Flow情報 17 Flow数 : 74 常時Active: 53 Host: 151 4K : 10 HD: 20
18. ShowNetバックボーンを経由した映像伝送 18 ShowNet Stage
19. ShowNet Stageを4K非圧縮で放映 • リアルな現場を想定した中継先の環境を再現 • ST2110システムでCCUレスな中継拠点を構築、4K映像IPで伝送!! nexus93180yc-6 hdce-tx50 hdc3500 ce6865 ShowNet マスターコントロール(N-11) IPFM 中継拠点(ShowNetstage) スタジオ拠点(D-1) マルチビュー 非圧縮IP伝送 MRX Switcher 編集後映像もIPでカメラから確認可能！
20. 20 Stage---PGM遅延比較 • ストップウォッチで遅延を計測 • PGM : 21.765sec • Stage : 21.843sec →約80msec程度の遅延 • 遅延の要因として推測されるもの • ST2022−7のbuffer遅延 • プロダクションスイッチャー • バッファ等で遅延が発生する
21. ShowNetバックボーンを経由した映像伝送 21 Pod4 中継拠点
22. 22 IPsec-VPNによる，ShowNetのバックボーンをまたいだ映像伝送 広域イーサを想定したPTP非同期区間を跨いだ映像伝送実験 IPsec-VPN cisco8300 cisco8300 hol-pb-lt Pod4 camera hol-pb-lt SHOWNET backbone Switcher 非圧縮IP伝送（HD） SMPTE ST2110 over IPsec-VPN 開催期間中のトラブル無し
23. ShowNetバックボーンを経由した映像伝送 23 ST2110 UpDown Convert
24. 複数拠点を想定した映像制作 • 各拠点から創出される映像をマスター拠点で受けプログラムアウトの制作 • 映像をLiveシステムマネージャーでXPT制御 • 4k/HDをST2110でUpDown Convertを実施 • 用途別に最適な映像を提供 ST2110 flow登録画面 システムコントローラ画面
25. PTP精度 モニタリング 25
26. PTPトポロジー図 26 ts2950-1.moip nexus93180yc-1.moip esw5112.moip ts2950-2.moip GM GM nexus93180yc-5.moip BC TC nexus9332d-1.moip nexus9332d-2.moip BC BC P10 P11 nexus93180yc-2.moip BC P100 P100 P100 nexus93180yc-3.moip nexus93180yc-4.moip BC BC ts1550-1.moip P100 P100 slave mrx-1.moip hol-pbl-lt-1.moip fusion6b-1.moip ip50y-1.moip ip50y-2.moip ip51y.moip slave slave slave slave slave slave ce6865.moip BC ts1550-3.moip mrx-2.moip pragon-x.moip fusion6b2.moip nexus93180yc-6.moip BC P100 P100 hdce-tx50.moip slave slave slave slave slave P100 ① ②
27. PTP同期状態のモニタリング① 27 ParagonX PTP Slave として受け取ったPacketと GNSSの信号を比較 • PTPのゆらぎを計測 • 要件の100nsの精度を超過していないかを 常時モニタリング
28. PTPの同期状態の可視化② 28 ZabbixによるPTPの状態監視 複雑なトポロジになりがちなPTPのMaster/Slaveの状態を可視化 • どの機器のPTPに問題が発生しているかを素早く察知 • TS2950 / TS2910 及び精度計測TS-1550をもとに作成
29. インターネット配信 29
30. ShowStageを配信 約40セッション数をイン ターネット越しに配信 WebRTC / WHIPを利用した相 互接続試験を実施 30
31. ST2110 to WebRTC with WHIP 31 SMPTE ST2110の映像をインターネット越しに低遅延で配信 WebRTC-HTTP ingestion protocol(WHIP) によるWebRTCの相互接続 WebRTCクライアントとSFUサーバーの相互接続の実現 2022-7 ShowNet Backbone Internet Smart vLive moani WHIP Signaling!! 2022-7 Encode video&audio
32. 参考: WebRTC-HTTP ingestion protocol(WHIP) 32
33. 33 Stage---PGM遅延比較 • ストップウォッチで遅延を計測 • PGM : 2m37.496sec • Stage : 2m37.069sec →約420msec程度の遅延 ※80m程度は非圧縮区間での遅延 • 遅延の要因として推測されるもの • エンコード遅延 • 今回は非圧縮 -> H264でCPUエンコード • Internet jitter / SFU buffer • WebRTCの場合どこかの区間でバッファするこ ともある
34. オンライン視聴統計 ユニークユーザ 6/14: 643 6/15: 534 6/16: 393 6/14〜16: 1472 最大同時接続数: 82 (6/15 11:08) 34 6/14 6/15 6/16
35. Media Over IPまとめ バックボーンを跨いだ映像トラフィック伝送 IPFMとオーケストレーターを利用した映像品質保証 拠点間のフルSTMPTE ST2110の映像編集 拠点間のPTP同期と高精度なモニタリング 配信映像のWebRTCモニタリング 35
36. さらなる新技術 SMPTE ST2110-22 : Transport of compressed video Jpeg-XS等を用いた低遅延エンコードによる送信 Cloud native production system ST2110-22と組み合わせ，クラウド上に映像を引き込む インスタンスやコンテナで映像編集や送受信の制御を実施 BIER/SRv6 Spray等を活用 バックボーン上でのマルチキャスト制御 36
37. Media over IPコントリビュータの皆様 ※順不同