Loudness Management for AbemaTV (InterBEE2017)

InterBEE2017 technical session
”Web連動コンテンツの音声制作”より
”AbemaTVにおけるラウドネスマネージメントへの努力”

TV-OA世界においては
”ラウドネス戦争の終結"は非常に画期的であった。
しかしながらインターネット動画配信事業においては、
AESの推奨レベルなどがあるものの、
まだまだカオスであると言わねばならない。

AbemaTVは開局当初より
モバイル視聴に特化した独自の音量基準を打ち出し、
さらにプロダクト全体としての音量バランスを取るべく、
より最適な音量レベルを探ってきた。

入稿素材の音量を定量的に分析すると
非常に面白い傾向が出てくる。
これらをいかにコントロールするか。

72時間本音テレビにおける事例も紹介していく。

Loudness War
Loudness "Civil" War
Integrated Loudness
Loudness Range(LRA)
Sample Peak
True Peak

AbemaTV
Transcode Enginieer
OIKE TAKAFUMI

Transcript

1. AbemaTV における ラウドネスマネージメント への努力 開発局QA トランスコードエンジニア 御池 崇史 1
2. 2 ラウドネスマネージメント 音量は品質に直結する
3. 3 AbemaTVの視聴スタイルいろいろ ・20数チャンネル x マルチレゾリューションを展開 ・多様な視聴デバイスに対応 モバイル視聴（縦＆横） PC視聴 TV/TVデバイス視聴
4. 4 -15LUFS
5. 民放連技術基準T-032との差異 開局当初の状態・波形で音量差を見てみよう 5 OA基準 AbemaTV基準 -24LUFS -15LUFS -23LUFS -24LUFS -25LUFS -28LUFS 特記事項として処理 ±1LU -15LUFS With No Peak Limiter +9LU 左 右 ピーク振幅 : 0.00 dB -0.24 dB トゥルーピーク振幅 : 0.27 dBTP 0.17 dBTP ITU-R BS.1770-3 ラウドネス : -15.05 LUFS 左 右 ピーク振幅 : -8.94 dB -8.64 dB トゥルーピーク振幅 : -8.30 dBTP -8.23 dBTP ITU-R BS.1770-3 ラウドネス : -24.00 LUFS
6. ストリーミング展開イメージとラウドネス 6 本編 （録画放送） C M 本編 （生放送）  Server Side Ad InsertionというCM挿入方式が特徴  録画放送・CM・生放送が複雑に絡む編成  Adaptive Bitrateにより、回線状況に応じたレゾリューションを配信（1080p-180pまで可変・ステレオ/モノ混在）  これらすべてに対しラウドネス管理が必要 AbemaTV内の一般的なチャンネルの例 ラウドネス実装OK ラウドネス実装OK 高ラウドネスを狙うには課題あり 本編 （録画放送） C M C M 本編 （生放送） C M C M 本編 （生放送） CM C M C M C M C M C M 本編 （録画放送） C M 本編 （録画放送） C M C M
7. ラウドネス管理デバイス＆ソフトウェア  録画放送 カスタムされたトランスコーダー(FFMPEGベース)  開局当初よりラウドネス機能使用・リミッター含め自由な設定の余地がある  CM Zencoder “audio_loudness_level”+厳密な入稿規定  2017年8月に前倒し実装していただいた・ピーク管理にやや改善の余地あり  現状は入稿時に代理店に対してラウドネス適合を求めてしまっている  Abema News スタジオ設備としてJüngerを設置、鉄壁の管理  ダイアログを主体とした単一の番組特性であることから決め打ちでの設定で問題ない  生放送 送出時（ほぼ最終段階）に追加ゲイン  収録状況や機材の充実度に左右される  配信ソフトウェアでの追加ゲインは+6dBが限界・・・など課題が多い 7
8. -15LUFSが抱える問題  新しい番組（ラウドネス運用開始後に制作されたもの）ほど悪い影響を受ける  ライブ番組制作における調整が非常に困難  特記事項処理としての下方修正幅を持っていない  外部制作会社に事前にAbemaTV仕様に適合を強いても対応不可能な場合が多い  CMも-15LUFSに固定、少しでもずれた物はすべて差し戻している（運用上の無駄） 8
9. トータルバランスの改善へ テレ朝技術陣との協議の結果、下方修正を決議 9 OA基準 新AbemaTV基準 -24LUFS -18LUFS -23LUFS -24LUFS -25LUFS -28LUFS 特記事項 ±1LU -18LUFS With Peak Limitter -15LUFS With No Peak Limiter +6LU +9LU +6LU 左 右 ピーク振幅 : -2.62 dB -3.12 dB トゥルーピーク振幅 : -2.52 dBTP -2.72 dBTP ITU-R BS.1770-3 ラウドネス : -18.05 LUFS 左 右 ピーク振幅 : -8.94 dB -8.64 dB トゥルーピーク振幅 : -8.30 dBTP -8.23 dBTP ITU-R BS.1770-3 ラウドネス : -24.00 LUFS
10. AESのレポートによれば  インターネット動画配信事業者として望ましきターゲット・ラウドネス値 推奨：-16LUFS～-20LUFS 引用：AES “Recommendation for Loudness of Audio Streaming & Network File Playback 10
11. 他社の動向  NETFLIX -24LUFS±2LUを基準に徹底的な管理体制を構築。 ※パートナー企業に求める水準がすこぶる高い。OA準拠のサービスとしてはこれを参考にすればまず完璧。  YOUTUBE 2015年よりラウドネス規定を導入 -13LUFS以下への自動補正 ※実際の挙動はピークリミット重視のショートターム判断に基づく補正。あまり参考にならない。  Apple iTunes/iOSに音量均一化機能を搭載・再生段階での音量感統一（オプション） ※-16.5LUFSあたりを適正値とみなしている様子（音楽のみを想定か？） 曲ごとアルバムごとの音量感のバラツキをなくすアプローチ（ただしユーザーの任意）  その他 不明な点もあるが基本的にはOAラウドネス規定を意識していると思われる 11
12. mp4コンテナ H.264 （入稿規定準拠） AAC-LC 圧縮系 CP様からの入稿素材もいろいろ 収録・ノンリニア編集で用いられる汎用的なCODECに対しては概ね対応可能。 古い素材はとくにラウドネスがばらついた状態で入稿される。 MOVコンテナ ProRes422HQ ProRes422 非圧縮 アニメーション圧縮 CanopusHQ/HQX リニアＰＣＭ 非圧縮音声 MXFコンテナ XDCAM HD 422 （シャトースタジオ常用） AVC-intra100 XAVC DNxHD リニアＰＣＭ 非圧縮音声 12
13. 入稿素材のラウドネス分布【音楽番組比較】 13 0 2 4 6 8 10 12 14 16 18 20 -70 -60 -50 -40 -30 -20 -10 0 LRA Integrated Loudness 横軸：ラウドネス値 縦軸：LRA 完全にOA基準準拠のもの、音楽特性依存のものが混在 -15LUFS
14. 入稿素材のラウドネス分布(韓流・華流ドラマ) 14 0 2 4 6 8 10 12 14 16 18 20 -70 -60 -50 -40 -30 -20 -10 0 LRA Integrated Loudness 横軸：ラウドネス値 縦軸：LRA ラウド＆ワイドという、音声制作・演出の特徴が出ている。 -15LUFS
15. 入稿素材のラウドネス分布(囲碁・将棋) 15 0 2 4 6 8 10 12 14 16 18 20 -70 -60 -50 -40 -30 -20 -10 0 LRA Integrated Loudness 横軸：ラウドネス値 縦軸：LRA 静かなシーンが多い囲碁将棋。ダイアログ・ラウドネスで計るべき。 -15LUFS
16. 入稿素材のラウドネス分布(釣り) 16 0 2 4 6 8 10 12 14 16 18 20 -70 -60 -50 -40 -30 -20 -10 0 LRA Integrated Loudness 横軸：ラウドネス値 縦軸：LRA やや低いラウドネス値だが許容範囲に展開、LRA特性も程よい。 -15LUFS
17. 入稿素材のラウドネス分布(ドキュメンタリー：ラウドネス無視系) 17 0 2 4 6 8 10 12 14 16 18 20 -70 -60 -50 -40 -30 -20 -10 0 LRA Integrated Loudness 横軸：ラウドネス値 縦軸：LRA 自由な番組ももちろんある。 -15LUFS
18. 入稿素材のラウドネス分布(ドキュメンタリー:海外の大人気番組) 18 0 2 4 6 8 10 12 14 16 18 20 -70 -60 -50 -40 -30 -20 -10 0 LRA Integrated Loudness 横軸：ラウドネス値 縦軸：LRA ラウドネス運用がこなれている海外ドキュメンタリー。 -15LUFS
19. 入稿素材のラウドネス分布(アニメ網羅) 500ファイルほど計測 19 0 2 4 6 8 10 12 14 16 18 20 -70 -60 -50 -40 -30 -20 -10 0 LRA Integrated Loudness 横軸：ラウドネス値 縦軸：LRA 多様な種別・年代を計測したためばらけて見えるが、基本的にリテラシーは高い。 -15LUFS
20. 入稿素材のラウドネス分布(アニメ) 某アニメ限定でシーズンごとに比較 20 0 2 4 6 8 10 12 14 16 18 20 -70 -60 -50 -40 -30 -20 -10 0 LRA Integrated Loudness 横軸：ラウドネス値 縦軸：LRA 第1シーズンのみAbema仕様に合わせようとしたか？ -15LUFS
21. 高ラウドネスを狙うということ  現状はモバイル視聴に特化したラウドネス設定  AbemaTVでのチャンネルザッピングは高速かつ直感的、場合によっては“いきなり大音量”が生じやすい  低レゾリューション帯におけるモノラルミックスダウンによる変化も考慮しなければならない  生放送の場合、アーカイブ用途は-24LUFSで収録、配信用にゲインアップしている  生放送における高ラウドネス適合は負担が大きい（録画放送との音量差が顕著）  ラウドネス管理デバイス・ノウハウの現場への普及が急がれる  古き良きピーク基準のノーマライズではかえって素材ごとに音量がばらつく  CPさんの中にはAbemaTV基準を事前処理で目指してくれるところもあるが、かえって悪い結果に。  ラウドネス運用の魅力に気づいていないエンジニアが散見される（ラウドネスなんて、いるの？系）  OA基準に盲目的に従っておけば葛藤は生じなかった？→Yes,but No.  いずれにせよ素材の多様性への対応のためにハード・ソフトによる管理は必要  開局当初から部分的にせよラウドネス管理が出来ていたのは大きい  あるいは-24LUFS@TV視聴、-18LUFS＠モバイル視聴のダブルスタンダードを用いるという方法もある 21
22. Dynamic Drive Pool 高速・大容量ストレージ Win/Mac両方からアクセス HDD/SSD FTP/FASP 編集 その他 Vantage トランスコーダー Quales QCツール 管理 ツール 配信用 トランスコーダー HLS MPEG-DASH (厳密にはHLSの後段で処理) 1080p/720p/480p/360p/ 240p/180p MP4 MP4 DRM 処理 入稿データ QCと中間ファイルの生成 著作権保護 最 適 化 多様性への対応・品質強化 ファイル変換システム内でのラウドネス計測＆調整ポイント ※販社に画像使用の許諾を取っております 配信ファイルの生成 管理情報付与 22 計測のみ可能 計測と調整が可能 OA基準しか対応できない ① ② ③計測と調整が可能 狙ったラウドネス値を実現できる
23. EDITOR OPERATOR 映像品質 自動評価ソフト ワークフローデザイナー トランスコーダー 各種データ OPERATOR 投入 ・インターレース判定 ・シンタックスエラー判定 ・音声ch判定など 編集依頼 ・ウォッチフォルダー運用 ・インターレース解除/非解除 ・任意のリサイズ ・音声ch判定 ・コンテナ判定 ・コーデックごとのバリエーション ・etc CP ※画像使用の許諾を取っております 23 安全なラウドネス運用への意識付け オペレーターレベルでは いかなる音量処理も行わせない 編集マンによる調整は 内製番組のみ許可する カンパケ・OA基準を正として 入稿していただく
24. CMの場合 ルール・ツール・コマンドのコンボで  入稿規定により-15LUFS±1LU -3dBFS以下のピークを規定  結果としてダイナミックレンジ圧縮が強くかかった素材が入稿されやすい  入稿規定の下方修正も準備中  代理店さんの負担を少しでも減らしたい  独自のチェックツールによる運用強化  映像および音声に関する項目をトランスコード前にチェックしている  差し戻しの頻度も高い→CP/代理店の負担（改善予定）  Zencoder “audio_loudness_level”で-18LUFSに下げる処理  72時間本音TVではCMの音量に関するクレームは皆無だった  brightcove様、前倒しでの機能実装ありがとうございました 24
25. 独自のフォーマットチェッカー 25 -2LU(dB) -2LU(dB) -18LUFS -4.4dBFS 規 定 の 範 囲 CM運用者には水際でのラウドネスチェックをお願いしている 結果的にラウドネス運用としてピーク管理も含めて成り立たせていく
26. 結果的にかなり安全な運用に 26 -6dBFS -3dBFS -3dBFS -6dBFS Sample Peakが-6dBFS以下になるようにもって行けば、 誤差の大きな周波数帯（1kHzあたり）でも安心できる ただし入稿段階ですでに強めのダイナミックレンジ圧縮が 発生している場合が多く、聴感上のインパクトは強いものが多い
27. 処理後のラウドネス分布(CM_zencoderを通した後のファイル) 27 0 2 4 6 8 10 12 14 16 18 20 -70 -60 -50 -40 -30 -20 -10 0 LRA Integrated Loudness 横軸：ラウドネス値 縦軸：LRA CMに関しては9月ごろからｰ18LUFSへの方修正を実施・事前確認を徹底 入稿規定ライン
28. 72時間本音テレビ ラウドネス問題における一つの成果  配信された動画の音量バランスはきっちり平準化されていた（クレームもなし）  生放送におけるラウドネス・コントローラーの活用  CM音声の事前確認の徹底とラウドネス下方修正が奏功  すべてのLIVE放送でこの水準を達成したい 28 CM 本編（生放送） CM CM 本編（生放送） 本編（生放送） -18LUFS
29. 運用レベル・段階的に高精度化  当面はSample Peak運用で安全マージンを確保、いずれTrue Peak運用へ  最終的にはLRA（ラウドネスレンジ）による分岐処理やベリファイも行う  もっと便利な運用ツールの開発  品質指標の多様化と可視化 29 当初はラウドネス差分のみを 基準とした単純なゲインアップ。 ピークやダイナミックレンジへの 配慮は存在しなかった。 リニア振幅だったことが せめてもの救い。 規定の下方修正と ハードリミッター実装で 安全マージンを確保する Sample Peak管理で結果的に True Peak：-1dBTP以下を目指す ハードリミッター ハードリミッター より多くの具体的指標をとるべき 開発エンジニアと指標の可視化を推進中
30. サラウンド素材が来た場合  AbemaTVでは5.1chダウンミックスなどはいっさい行わない。  2chミックスダウン済みのトラックの抽出は行う場合もある。 30
31. まとめ 31  単純に完パケを正とする運用はかえって危うい  出来る限りリニア振幅のみで処理したい  劇場版では特にダイナミックレンジへの配慮を  高ラウドネスではピークリミットをより慎重に  OAにおける許容幅と特記事項は取り入れるべき  圧縮音声では24bit192kHz/LPCMにおけるような 高精度の管理は求めようが無い  よってAAC圧縮による突発変性を考慮した余裕が必要  すべては安全マージンの確保に尽きる  LRAをいかに使いこなすかが今後の鍵になる