Upgrade to Pro — share decks privately, control downloads, hide ads and more …

一瞬の異常も見逃さない/発生させないライブ配信の伝送と監視体制/lcrandcdr

D61ddf92e6140b59d044632d453ed5c4?s=47 NobuteruKondo
December 14, 2021

 一瞬の異常も見逃さない/発生させないライブ配信の伝送と監視体制/lcrandcdr

ABEMA devcon2021資料
ABEMAでは1週間に約150番組の生配信があります。アラート監視と目視監視を組み合わせて、準備から配信終了まで有人で対応を行っており、イレギュラーな事象を即座に報告できる体制をとっています。
また、ライブ配信の映像伝送ネットワークのの現状について、2021年に新しく稼働を開始したシステムの構築の状況を交えながら、やり直しが聞かないライブ配信をスムーズに実施ができることを目指した体制を紹介します。

D61ddf92e6140b59d044632d453ed5c4?s=128

NobuteruKondo

December 14, 2021
Tweet

More Decks by NobuteruKondo

Other Decks in Business

Transcript

  1. None
  2. 近藤 信輝 @kondo_nobuteru  2017年5月中途入社 所属 サイバーエージェント スタジオ戦略室 兼 CIU Group Success Div

    / Studio Team  過去:LINE ( LINE LIVE ),          J-Stream,              KENEK Japan •映像とIPの狭間にいるテクニカルディレクター
  3. ここで過去の事例クイズです •テスト配信時の際に、特定の環境で音が聞こえない 1:一部のiPhoneのスピーカーから音が聞こえない。 2:ヘッドフォンをすると、音は聞こえる。 3:ヘッドフォンで聞こえている音は、ちょっとおかしい気がする。 4:オーディオコーデックはAAC 128kbps Stereo 5:問題が発生している機種はiPhone6s •さて、どんなトラブルが発生しているでしょう?

  4. ここで過去の事例クイズです •テスト配信時の際に、特定の環境で音が聞こえない 1:一部のiPhoneのスピーカーから音が聞こえない。 2:ヘッドフォンをすると、音は聞こえる。 3:ヘッドフォンで聞こえている音は、ちょっとおかしい気がする。 4:オーディオコーデックはAAC 256kbps Stereo 5:問題が発生している機種はiPhone6s •正解:音声で、逆位相が発生していた。

    左の音声と右の音声で、音を打ち消し合ってしまう(ノイキャンと同原理) →iPhone旧型機種だと、モノラルスピーカーなので音が聞こえなくなる。 →正常な音声ではないので、ヘッドフォンで聞いてもおかしい。
  5. 配信における異常の例 •映像の異常がある →映像側で問題が有る。 →エンコード前後に発生している。 →トランスコードで発生している。 →ネットワークに問題が有る。 →クライアントのみで発生している。 •音声に異常がある →映像の異常と同じ理由に引っ張られる。 →「見えない事象」

    •これらの事象を速やかに切り分け/解決できる環境が必要。 →過去は、「配信エンジニアのスキルに頼る」  現在は、「見えない事象をシステムでキャッチをする」 Encoder SDI input LAN Router Transcode WAN Cliant CDN Audio Visual
  6. ライブ配信の特徴 •電源・映像音声・ネットワーク •配信現場からクライアント端末の一歩手前まで、常に正常 とこか1箇所でも一瞬でも、閾値以下の正常性で、問題が発生。  →すぐに復旧することがあっても、クライアント影響が発生する。 •関係者が気が付かないうちに、 問題が発生~終了している可能性。 →サービス満足度の課題につながる  

  7. ライブ配信の大まかな分類 伝送場所の違いによる大まかな分類 •スタジオからの配信 →制作環境が固定的。準備から配信までの間でのイレギュラーが把握しやすい。 常にベストプラクティスを取り入れた状態からスタート。   •イベント現場からなどの配信 →ほとんどが、仮設の制作環境。アップロード回線も臨時設置。 問題発生時の切り分けのパターンが多く範囲も広い。 •特にネットワーク周りの切り分けノウハウが必要になる。

  8. ABEMAにおけるライブ配信の監視 •1ヶ月でのライブ配信監視本数 600本~700本以上 (AbemaNewsを除く)  9割はスタジオ設備を利用した配信。  1つの配信は30分~12時間まで様々 監視対象は3500時間以上 • すべてのライブ配信をマスターチームで監視 24時間365日、配信の予定に合わせて対応。 Live Contribution

    Room (通称 LCR) 配信開始前の現場準備の信号確認から、配信終了まで。 トラブル時の1次切り分け・1.5次対応。2次対応へのフォワード
  9. 配信手順の共通化と監視手順マニュアル •配信現場とマスターチームの共通言語 配信現場のマニュアル(ABEMA技術局作成)  マスターの対応マニュアル/問い合わせワークフロー •マスターのワークフローは、目視監視/現場問い合わせ/アラートから 状況によって、対応スタートの変化

  10. 共通テスト動画 •すべての配信準備で利用する動画 カラーバー&1K 音声L/Rのチェック 画音のシンクロ   動きの大きい動画と音楽で、エンコード正常性確認。  →統一することで、品質チェックにブレがなくなる。 ・ 配信用エンコーダから、配信システムまでの通しチェック用途  →個別環境でのリップシンクや信号チェックは、現場で完結OK。

  11. ABEMAのライブ配信監視ポイント Encoder-A Encoder-B SDI SDI Zixi Feeder Zixi BC WOWZA

    Watchman CDN IP-Multi Viewer Decoder Multi view APP Internet Condent Distribution Room マスターチームが受信しているアラート/status マスターチームが見ている映像音声 @LCR @Cloud @Studio @DC
  12. 配信システムへの投資(CDRの誕生) •2021年8月より利用開始 配信アップロード環境の高度化・ネットワークの集中管理。  4つのスタジオ環境と外配信の配信経路を集約。 •アップロードに、RTPマルチキャストを利用。 •コミュニケーション回線をインカムに。 →電話や内線に比べて自由度や聞き取りやすさが向上。 Chateau Ameba M-League

    Stuido SDI SDI Zixi Feeder IP-Multi Viewer Decoder Multi view Internet Condent Distribution Room UDAGAWA BASE テレビ朝日 SDI SDI
  13. CDRとマルチキャスト CDRの内部は、RTPマルチキャストでストリームが流れる •エンコードビットレートの向上 開局から段階的に増え、当初の5倍のビットレート CDR化でFEQ、ARQリクエストの減 →切断リスクの低減。 •マルチキャスト採用のメリット アップロード・監視を同じストリーム利用ができる。 →ユニキャスト要因の”通信のぶれ”の排除 →複数箇所で同時に受信をしても、NW負荷を気にしない 将来的にはスタジオ間映像伝送にも利用ができる。 

    •CDRでクオリティアップとキャパ強化を実現
  14. CDRと目視監視の機器選定 •Decoder Outの目視監視は、テスト信号受信および重点監視対象に利用。 •利用する機器の選定(Decoder) 正常に映像への書き戻しができること。 できれば、HD-SDIのOUT PUTがあること。 通信・ストリームのstatisticsの機能が十分に備えられていること。 →映像信号自体のモニタリング機能は、映像機器に依存した。 Decoder

    Condent Distribution Room 波形モニタ 放送用モニタ 音声モニター SDI SDI SDI
  15. IPマルチビューアを利用した監視 •テストおよび本番中のストリームを監視 •アラート監視と目視監視の両方の用途 •1台のマルチビューアで、16ストリームを表示/監視。 •4セット、64ストリームの表示/監視が可能。 アラートは映像上に表示されて 異常に気が付きやすい アラート音も鳴動 アラートシステムのアラートと編成情報と 同時に確認できるモニター配置

  16. IPマルチビューアを利用した監視 •アラート監視の項目 •必要な項目を優先して、アラートレベルを決定。  誤検知回避/みやすさを考慮したの設定 •たとえば 左右聞こえない場合は、 Audio Silenceで3エラーが上がる 右だけ/左だけ聞こえない 発生はかなり少ない。

  17. 「幸運が三度 姿を現すように、不運もまた三度 兆候を示す。   見たくないから見ない、気がついても言わない、言っても聞かない、    そして破局を迎える。   だが、俺たちの世界じゃ三度どころか、最初の兆候を見逃せば終わりだ」 押井守監督/脚本.(2004):『イノセンス』

  18. KPIについて •いかに開始前に問題発生を防ぐことができるか 手順に則った対応で、配信基準の徹底を現場と共に実施。  対応数のカウントよりも、対応の内容の質向上。   •トラブル対応をフォワードしない努力 見えない現地の状況を、的確に把握をする。 現場で解決できる課題は、現場で収束させる。   •トラブル対応のロールプレイ

    大規模障害を見据えた、連絡HUBとしてのシュミレーション
  19. statusとstatistics: •status change アラートで状況の即時把握 多くの配信に対応するため、statusの変化と映像影響を同時に確認。  わかりやすいeventlogの必要性 •statistics は、2次対応の要 「再発性のある問題」か、「突発的な状況」か  24時間前まで(できれば1週間程度)をグラフで見られるとよい。

     →アプライアンス機器での対応が少ない。 •映像データのstatisticsが取得できる機器を優先的に採用する →eventlogとstatisticsの組み合わせで即時に状況解析
  20. statistics リアルタイム 数時間前まで 24時間前まで

  21. ライブ配信監視のこれから •アラート監視をより利用する 映像監視の自動化。監視閾値と映像制作ルールの課題。  システムキャパシティーの増加・監視対象範囲の拡大。 人は、事故未然防止に集中する。 •statisticsの重要性の啓蒙(開発・メーカー) logだけでなく、ユーザで解析もできるライブに適した表現に。 配信業界全体の、クオリティ底上げ。 •ユーザの満足度の向上。未来のテレビに沿う視聴体験の品質維持。  Contributionし続けるチームであること。

  22. None