NPAW QoE Analytics Video と作る ABEMA の自然な視聴体験

This presentation describes how ABEMA, A Japanese Internet TV station, makes use of NPAW QoE Analytics Video in order to build a comfort experience watching ABEMA. The use cases include gatekeeping a challenge in introducing aggressive features and experiences, practicing SRE (site / streaming reliability engineering) by defining SLIs composed of Video QoE Metrics, and controlling a viewer’s playback configuration real-time by analyzing the QoE log data.

Transcript

1. NPAW QoE Analytics Video と作る ABEMA の自然な視聴体験 2025.06.19 NPAW CONFERENCE TOKYO 2025 五藤 佑典（株式会社サイバーエージェント／株式会社 AbemaTV）
2. 五藤 佑典 YUSUKE GOTO https://ygoto3.com/ @ygoto3_ • California State University, San Bernardino グラフィックデザイン専攻 • CyberAgent Developer Expert @（株）サイバーエージェント • Director of Device Engineering @（株）AbemaTV Career History 1. Graphic / Web Designer 2. Marketer 3. Web Engineer 4. Video Engineer 5. Technical Product Manager 6. Director of Engineering
3. in Video Technology and Product Design
4. アジェンダ • Video QoE Metrics Basics • 新しい視聴体験のゲートキーパー • 信頼性エンジニアリングへの活用 • Audience-Aware な再生制御
5. アジェンダ • Video QoE Metrics Basics • 新しい視聴体験のゲートキーパー • 信頼性エンジニアリングへの活用 • Audience-Aware な再生制御 ABEMA では NPAW QoE Analytics Video を どのように使っているかを話します
6. Video QoE Metrics Basics
7. Video QoE Metrics Basics Joining Playing 期待される視聴体験
8. Video QoE Metrics Basics - 再生失敗 Joining Playing Startup failure Startup failure - 再生が開始する前に失敗
9. Video QoE Metrics Basics - 再生失敗 Joining Playing Startup failure Joining Playing In-Stream failure Startup failure - 再生が開始する前に失敗 In-Stream failure - 再生の途中で失敗
10. Video QoE Metrics Basics - リバッファリング Buffering Ratio - バッファリング時間の比率 Joining Playing Buffering 1 Buffering Buffering Playing Playing Buffering 2 + Ended
11. Video QoE Metrics Basics - リバッファリング Buffering Ratio - バッファリング時間の比率 Joining Playing Buffering 1 Buffering Buffering Playing Playing Buffering 2 + Ended Buffering Event % - バッファリングイベントの頻度 Joining Playing 1 Buffering Ended 2 3 4 5
12. Video QoE Metrics Basics - 再生開始までの時間 Join Time - 再生開始までにかかった時間 Joining Playing Join time
13. Video QoE Metrics Basics Joining Playing Buffering Ended 問題が多い視聴体験
14. Video QoE Metrics Basics Joining Playing 理想の視聴体験 Joining Playing Buffering Ended Ended 問題が多い視聴体験
15. NPAW QoE Analytics Video 視聴体験をデータで可視化するソリューション
16. NPAW QoE Analytics Video ABEMA では、2018 年から 視聴体験の可視化を 実現するために導入
17. NPAW QoE Analytics Video ABEMA では、2018 年から 視聴体験の可視化を 実現するために導入 見えていなかった体験の問題が 見えるように
18. 特定の視聴条件にセグメントしたら ExoPlayer の BehindLiveWindowException 起因の In-Stream Failures が 92.41% という記録 特定の視聴条件のライブストリームで メディアセグメントが利用可能なウィンドウから 外れて再生が継続していないことが判明
19. 特定の視聴条件にセグメントしたら ExoPlayer の BehindLiveWindowException 起因の In-Stream Failures が 92.41% という記録 特定の視聴条件のライブストリームで メディアセグメントが利用可能なウィンドウから 外れて再生が継続していないことが判明 このように動画配信システムや再生クライアントの リリース前 QA テストで回避できなかった不具合を Real User Measurement（実際のユーザーからの記録） で対処できるように
20. 新しい視聴体験のゲートキーパー
21. ABEMA の視聴品質ビジョン いつでもどこでも人が 自然に ABEMA の動画を視聴する世界の実現
22. ABEMA の視聴品質ビジョン いつでもどこでも人が 自然に ABEMA の動画を視聴する世界の実現
23. 管理された視聴品質が届ける価値 視聴者に届ける価値 • 文脈に応じた視聴体験 = 動画視聴の自然 • 時間／場所／人／コンテンツ／デバイスという文脈に応じた最適な情報量を提供 する • 例 ◦ ホームでリラックスした視聴では、芸術性と情報解像度を高めるための映像再生を提供 ◦ 移動中の視聴は、視認可能な映像と音声を途切れることなく視聴 ◦ スポーツ観戦コンテンツでは、リアルタイムに遅延することなく視聴 ◦ 車載デバイスでの再生では、乗車ユーザーの注意を逸らさない安全な視聴
24. 視聴体験を常に進化させる 自然な視聴体験を実現していくために試行錯誤を繰り返しながら アセット、ストリーム、プレイヤーに変更を加え続けることが必至 • エンコーダーの導入 • エンコーディング・パラメータの変更 • CDN の追加 • コンテンツ・ステアリング手段の変更 • 広告挿入手段の変更 • DRM／権利設定の変更 • マニフェスト操作の調整 • プレイヤーのコンフィギュレーション調整 … etc.
25. 新しい視聴体験導入時のフロー 機能追加／ システム変更
26. 新しい視聴体験導入時のフロー 機能追加／ システム変更 ステージング デプロイ
27. 新しい視聴体験導入時のフロー 機能追加／ システム変更 ステージング デプロイ Sphinx 自動エージングテスト
28. Sphinx エイジング・テスト 新しい視聴体験の導入が長時間の視聴に耐え得るか iPhone 1 台で自動テストする独自システム VMAF Motion Score でカクツキを 検出する例
29. Sphinx エイジング・テスト ABEMA は「いつでも、どこでも」視聴できるサービス マルチデバイスで視聴できることが「自然」 多種のデバイス・スペックに対して自動長時間テスト
30. Sphinx エイジング・テスト 自動テストされた再生セッションは NPAW QoE Analytics Video 1 対 1 で紐づけ 課題が検出された再生セッションは分析→システム調整
31. 新しい視聴体験導入時のフロー 機能追加／ システム変更 ステージング デプロイ Sphinx 自動エージングテスト システム調整 Sphinx 再テスト プロダクション カナリアリリース
32. プロダクション・カナリアリリース フィーチャー・フラグによるカナリアリリースを実施 Bucketeer ABEMA で利用している フィーチャー・フラグ管理システム
33. 新しい視聴体験導入時のフロー 機能追加／ システム変更 ステージング デプロイ Sphinx 自動エージングテスト システム調整 Sphinx 再テスト プロダクション カナリヤリリース NPAW QoE Analytics RUM テスト
34. NPAW QoE Analytics RUM テスト サンプルに対して NPAW QoE Analytics で視聴品質を統計的に確認 count (parameter) count (sample) Count (per sec) UU (parameter) UU (sample) UU (per sec) 507 11877 424 219 3.57% 1969 240 100 12.19% 507 6362 772 205 12.13% 1270 487 110 38.35% 507 1294 37 15 2.86% 222 29 11 13.06% 507 61344 3656 1698 5.96% 6884 1432 667 20.80% 507 80877 4889 2137 6.04% 10345 2188 888 21.15% 521 4802 133 69 2.77% 977 87 41 8.90% 521 13723 1531 359 11.16% 1942 839 189 43.20% 521 2659 81 30 3.05% 341 45 15 13.20% 521 12751 1877 674 14.72% 1907 706 248 37.02% 521 33935 3622 1132 10.67% 5167 1677 493 32.46%
35. 新しい視聴体験導入時のフロー 機能追加／ システム変更 ステージング デプロイ Sphinx 自動エージングテスト システム調整 Sphinx 再テスト プロダクション カナリヤリリース NPAW QoE Analytics RUM テスト プロダクション 100% リリース
36. 信頼性エンジニアリングへの活用
37. 信頼性エンジニアリングへの活用 SRE（Site Reliability Engineering）の考え方を応用 • SLI（Service Level Indicators）の定義 • SLO（Service Level Objectives）の設定 • 視聴品質の保証を個人のオーナーシップに委ねない • アプリや SNS からの主観レビューに惑わされない • 徐々にサービス品質が下がっていく流れを回避する
38. SLI（Service Level Indicators）の定義 動画視聴においてユーザーに本質的に影響がある状態を問う • 動画視聴を開始できているか？ • 待つことなく動画を視聴しているか？ • 邪魔が入ることなく動画を視聴しているか？ • 適切な品質で動画を視聴できているか？
39. SLI（Service Level Indicators）の定義 動画視聴においてユーザーに本質的に影響がある状態を問う • 動画視聴を開始できているか？ • 待つことなく動画を視聴しているか？ • 邪魔が入ることなく動画を視聴しているか？ • 適切な品質で動画を視聴できているか？ NPAW QoE メトリクスからこの問いに答える SLI を定義する
40. SLI（Service Level Indicators）の定義 • 動画視聴を開始できているか？ → Startup Success Rate
41. SLI（Service Level Indicators）の定義 • 動画視聴を開始できているか？ → Startup Success Rate • 待つことなく動画を視聴しているか？ → Join Time Success Rate
42. SLI（Service Level Indicators）の定義 • 邪魔が入ることなく動画を視聴しているか？ → Completion Success Rate
43. SLI（Service Level Indicators）の定義 • 邪魔が入ることなく動画を視聴しているか？ → Completion Success Rate • 適切な品質で動画を視聴できているか？ → Rendition Distribution Success Rate
44. SLI のダッシュボード化 デバイス種別ごと に SLI 遷移を 時系列で 選択期間の SLI を表示
45. SLI のダッシュボード化 同じ Android OS + ExoPlayer での再生でも Android スマートフォンと Android 系テレビだと 体験に差が生じていることが分かる
46. デバイスごとに SLO に対する結果を出力
47. SLO を達成するために振り返る
48. Audience-Aware な再生制御
49. Video QoE メトリクスは情報の宝庫 SLI が下がっているセグメントを 判断できる • デバイス ◦ Device Type • コンテンツ ◦ Content ID • 視聴形態 ◦ Custom Dimensions ▪ Linear ▪ Live event ▪ Start over ▪ VOD
50. Video QoE メトリクスは情報の宝庫 SLI が下がっているセグメントを 判断できる • デバイス ◦ Device Type • コンテンツ ◦ Content ID • 視聴形態 ◦ Custom Dimensions ▪ Linear ▪ Live event ▪ Start over ▪ VOD リアルタイムに情報を参照することで Audience-Aware な再生制御に応用
51. 再生品質を動的に制御するシステムへの応用 QoE Data
52. 再生品質を動的に制御するシステムへの応用 QoE Data
53. 再生品質を動的に制御するシステムへの応用 QoE Data CMCD
54. 再生品質を動的に制御するシステムへの応用 Configuration Decider QoE Data Analyze CMCD
55. 再生品質を動的に制御するシステムへの応用 Configuration Decider QoE Data Analyze CMCD 加えて QoE メトリクスに対する重みづけなどを人で調整 Zeus ABEMA で独自開発している動的再生視聴品質制御システム
56. 再生品質を動的に制御するシステムへの応用 Configuration Decider QoE Data Analyze Low-latency Client Group A CMCD
57. 再生品質を動的に制御するシステムへの応用 Configuration Decider QoE Data Client Group B Analyze Low-latency upto 4Mbps Client Group A CMCD
58. 再生品質を動的に制御するシステムへの応用 Client Group C Configuration Decider QoE Data Client Group B Analyze SDK CDN α Low-latency upto 4Mbps Client Group A CMCD
59. まとめ ABEMA では NPAW QoE Analytics Video を使い、 • Video QoE メトリクスのログデータで、 日々の視聴品質の改善点の分析や急激な劣化をアラートしている • 視聴品質ビジョンの達成のために新しい視聴体験を導入する際にゲートキーパーにしている • Video QoE メトリクスを組み合わせ、 SLI と SLO を設定し、 信頼性エンジニアリングを実践している • Video QoE メトリクスのログを半リアルタイムに参照／分析し、 Audience-Aware な再生制御システムを開発している
60. 五藤 佑典 YUSUKE GOTO https://ygoto3.com/ @ygoto3_ ありがとうございました