一瞬の異常も見逃さない／発生させないライブ配信の伝送と監視体制/lcrandcdr

ABEMA devcon2021資料
ABEMAでは1週間に約150番組の生配信があります。アラート監視と目視監視を組み合わせて、準備から配信終了まで有人で対応を行っており、イレギュラーな事象を即座に報告できる体制をとっています。
また、ライブ配信の映像伝送ネットワークのの現状について、2021年に新しく稼働を開始したシステムの構築の状況を交えながら、やり直しが聞かないライブ配信をスムーズに実施ができることを目指した体制を紹介します。

Transcript

2. 近藤 信輝　@kondo_nobuteru　 2017年5月中途入社 所属 サイバーエージェント スタジオ戦略室 兼　CIU Group Success Div / Studio Team　 過去：LINE ( LINE LIVE ), 　　　　　　　　 J-Stream, 　　　　　　　　　　　　　KENEK Japan •映像とIPの狭間にいるテクニカルディレクター
3. ここで過去の事例クイズです •テスト配信時の際に、特定の環境で音が聞こえない １：一部のiPhoneのスピーカーから音が聞こえない。 ２：ヘッドフォンをすると、音は聞こえる。 ３：ヘッドフォンで聞こえている音は、ちょっとおかしい気がする。 ４：オーディオコーデックはAAC 128kbps Stereo ５：問題が発生している機種はiPhone6s •さて、どんなトラブルが発生しているでしょう？
4. ここで過去の事例クイズです •テスト配信時の際に、特定の環境で音が聞こえない １：一部のiPhoneのスピーカーから音が聞こえない。 ２：ヘッドフォンをすると、音は聞こえる。 ３：ヘッドフォンで聞こえている音は、ちょっとおかしい気がする。 ４：オーディオコーデックはAAC 256kbps Stereo ５：問題が発生している機種はiPhone6s •正解：音声で、逆位相が発生していた。 左の音声と右の音声で、音を打ち消し合ってしまう（ノイキャンと同原理） →iPhone旧型機種だと、モノラルスピーカーなので音が聞こえなくなる。 →正常な音声ではないので、ヘッドフォンで聞いてもおかしい。
5. 配信における異常の例 •映像の異常がある →映像側で問題が有る。 →エンコード前後に発生している。 →トランスコードで発生している。 →ネットワークに問題が有る。 →クライアントのみで発生している。 •音声に異常がある →映像の異常と同じ理由に引っ張られる。 →「見えない事象」 •これらの事象を速やかに切り分け／解決できる環境が必要。 →過去は、「配信エンジニアのスキルに頼る」 　現在は、「見えない事象をシステムでキャッチをする」 Encoder SDI input LAN Router Transcode WAN Cliant CDN Audio Visual
6. ライブ配信の特徴 •電源・映像音声・ネットワーク •配信現場からクライアント端末の一歩手前まで、常に正常 とこか１箇所でも一瞬でも、閾値以下の正常性で、問題が発生。 　→すぐに復旧することがあっても、クライアント影響が発生する。 •関係者が気が付かないうちに、 問題が発生～終了している可能性。 →サービス満足度の課題につながる 　
7. ライブ配信の大まかな分類 伝送場所の違いによる大まかな分類 •スタジオからの配信 →制作環境が固定的。準備から配信までの間でのイレギュラーが把握しやすい。 常にベストプラクティスを取り入れた状態からスタート。 　 •イベント現場からなどの配信 →ほとんどが、仮設の制作環境。アップロード回線も臨時設置。 問題発生時の切り分けのパターンが多く範囲も広い。 •特にネットワーク周りの切り分けノウハウが必要になる。
8. ABEMAにおけるライブ配信の監視 •1ヶ月でのライブ配信監視本数 600本～700本以上　（AbemaNewsを除く） 　9割はスタジオ設備を利用した配信。 　１つの配信は30分～12時間まで様々　監視対象は3500時間以上 • すべてのライブ配信をマスターチームで監視 24時間365日、配信の予定に合わせて対応。 Live Contribution Room　（通称　LCR） 配信開始前の現場準備の信号確認から、配信終了まで。 トラブル時の１次切り分け・1.5次対応。２次対応へのフォワード
9. 配信手順の共通化と監視手順マニュアル •配信現場とマスターチームの共通言語 配信現場のマニュアル（ABEMA技術局作成） 　マスターの対応マニュアル／問い合わせワークフロー •マスターのワークフローは、目視監視／現場問い合わせ／アラートから 状況によって、対応スタートの変化
10. 共通テスト動画 •すべての配信準備で利用する動画 カラーバー&１K　音声L/Rのチェック　画音のシンクロ　 　動きの大きい動画と音楽で、エンコード正常性確認。 　→統一することで、品質チェックにブレがなくなる。 ・ 配信用エンコーダから、配信システムまでの通しチェック用途 　→個別環境でのリップシンクや信号チェックは、現場で完結OK。
11. ABEMAのライブ配信監視ポイント Encoder-A Encoder-B SDI SDI Zixi Feeder Zixi BC WOWZA Watchman CDN IP-Multi Viewer Decoder Multi view APP Internet Condent Distribution Room マスターチームが受信しているアラート／status マスターチームが見ている映像音声 ＠LCR ＠Cloud ＠Studio ＠DC
12. 配信システムへの投資(CDRの誕生) •２０２１年８月より利用開始 配信アップロード環境の高度化・ネットワークの集中管理。 　４つのスタジオ環境と外配信の配信経路を集約。 •アップロードに、RTPマルチキャストを利用。 •コミュニケーション回線をインカムに。 →電話や内線に比べて自由度や聞き取りやすさが向上。 Chateau Ameba M-League Stuido SDI SDI Zixi Feeder IP-Multi Viewer Decoder Multi view Internet Condent Distribution Room UDAGAWA BASE テレビ朝日 SDI SDI
13. CDRとマルチキャスト CDRの内部は、RTPマルチキャストでストリームが流れる •エンコードビットレートの向上 開局から段階的に増え、当初の５倍のビットレート CDR化でFEQ、ARQリクエストの減　→切断リスクの低減。 •マルチキャスト採用のメリット アップロード・監視を同じストリーム利用ができる。 →ユニキャスト要因の”通信のぶれ”の排除 →複数箇所で同時に受信をしても、NW負荷を気にしない 将来的にはスタジオ間映像伝送にも利用ができる。　 •CDRでクオリティアップとキャパ強化を実現
14. CDRと目視監視の機器選定 •Decoder Outの目視監視は、テスト信号受信および重点監視対象に利用。 •利用する機器の選定（Decoder） 正常に映像への書き戻しができること。 できれば、HD-SDIのOUT PUTがあること。 通信・ストリームのstatisticsの機能が十分に備えられていること。 →映像信号自体のモニタリング機能は、映像機器に依存した。 Decoder Condent Distribution Room 波形モニタ 放送用モニタ 音声モニター SDI SDI SDI
15. IPマルチビューアを利用した監視 •テストおよび本番中のストリームを監視 •アラート監視と目視監視の両方の用途 •１台のマルチビューアで、１６ストリームを表示／監視。 •４セット、６４ストリームの表示／監視が可能。 アラートは映像上に表示されて 異常に気が付きやすい アラート音も鳴動 アラートシステムのアラートと編成情報と 同時に確認できるモニター配置
16. IPマルチビューアを利用した監視 •アラート監視の項目 •必要な項目を優先して、アラートレベルを決定。 　誤検知回避／みやすさを考慮したの設定 •たとえば 左右聞こえない場合は、 Audio Silenceで３エラーが上がる 右だけ／左だけ聞こえない 発生はかなり少ない。
17. 「幸運が三度 姿を現すように、不運もまた三度 兆候を示す。 　　見たくないから見ない、気がついても言わない、言っても聞かない、 　　　そして破局を迎える。 　　だが、俺たちの世界じゃ三度どころか、最初の兆候を見逃せば終わりだ」 押井守監督/脚本．(2004):『イノセンス』
18. KPIについて •いかに開始前に問題発生を防ぐことができるか 手順に則った対応で、配信基準の徹底を現場と共に実施。 　対応数のカウントよりも、対応の内容の質向上。 　 •トラブル対応をフォワードしない努力 見えない現地の状況を、的確に把握をする。 現場で解決できる課題は、現場で収束させる。 　 •トラブル対応のロールプレイ 大規模障害を見据えた、連絡HUBとしてのシュミレーション
19. statusとstatistics： •status change アラートで状況の即時把握 多くの配信に対応するため、statusの変化と映像影響を同時に確認。 　わかりやすいeventlogの必要性 •statistics は、2次対応の要 「再発性のある問題」か、「突発的な状況」か 　２４時間前まで（できれば１週間程度）をグラフで見られるとよい。 　→アプライアンス機器での対応が少ない。 •映像データのstatisticsが取得できる機器を優先的に採用する →eventlogとstatisticsの組み合わせで即時に状況解析
20. statistics リアルタイム 数時間前まで ２４時間前まで
21. ライブ配信監視のこれから •アラート監視をより利用する 映像監視の自動化。監視閾値と映像制作ルールの課題。 　システムキャパシティーの増加・監視対象範囲の拡大。 人は、事故未然防止に集中する。 •statisticsの重要性の啓蒙（開発・メーカー） logだけでなく、ユーザで解析もできるライブに適した表現に。 配信業界全体の、クオリティ底上げ。 •ユーザの満足度の向上。未来のテレビに沿う視聴体験の品質維持。 　Contributionし続けるチームであること。