Video QoEへの取り組み

Transcript

1. Video QoE計測への 取り組み TV TOKYO Communications Corporations Yuichiro Danno
2. －2007年 　テレビ東京入社 　情報システム局システム部 －2012年 　技術局制作技術部 カメラマン －2015年 　テレビ東京コミュニケーションズ 　動画配信サービスの技術・システム担当 　　・WEB、アプリ 　　・CMS 　　・分析基盤（DHW、DMP） 　　・PUSH通知基盤 　　・ライブ配信 　　・R&D 株式会社テレビ東京コミュニケーションズ 動画・データビジネス部　テックリード 段野　祐一郎 [興味関心ワード] フロント ：　TypeScript, vue.js サーバー ：　Java, PHP(Laravel) DB ：　MySQL, Redshift, Treasure Data, BigQuery クラウド ：　AWS, GCP その他 ：　Firebase, Docker, redash, Talend, Tableau, 機械学習 プロフィール
3. いま配信周りでやってること ・見逃し配信サービス設計・開発 　アプリ、WEB、CMS、関連システム、アドサーバ、TVer ・ライブ配信対応 　主にスポーツ案件のシステム構築、運用、マネタイズ ・同時再送信システム検討 　局内放送設備、配信基盤の設計・検証・評価
4. 広告付き動画配信サービス ・テレビ東京のテレビ番組を放送終了後に 　インターネットで無料で視聴できる見逃し配信サービス ・若年層を中心としたテレビ離れや 　テレビ番組の違法アップロード視聴への対策 ・2015年4月にサービス開始 　PCブラウザとスマホアプリを提供 ・民放5社で協働し、2015年10月にはTVerも立ち上げた
5. サービスのモニタリングしてますか？
6. 主要なサービスモニタリング指標 対象 KPI ビジネス LTV（Life Time Value） 動画再生数、広告再生数 DAU/WAU/MAU アプリケーション Apdex (アプデックス: Application Performance Index), ログ サーバー Load Average, CPU, memory, networks, Disk エンコーダー ベースバンド、マニフェストファイル 動画視聴 QoE（パフォーマンス、エラートラッキング）
7. 弊社の環境　 サブ SW'er エンコーダ 回線室 テレビ東京 クラウド iOS / Android / ブラウザ ユーザー OVP アドサーバ CDN iOS / Android / ブラウザ ユーザー アドサーバ CDN OVP ノンリニア 編集機 テレビ東京 クラウド ラ イ ブ Ｖ Ｏ Ｄ 監視実施中 機器の稼働状況 ・再生状況 ・視聴体験 サービスの稼働状況 （詳細な監視や原因究明は困難） 監視対象 監視未着手（一部実施済み）
8. http://www.ringdigital. tv/stream-quality/ 悪い視聴体験は、収益に悪影響を与える
9. 動画視聴に影響を与える要因 • コンテンツ（解像度、ビットレート、コーデック、エンコード） • ネットワーク • CDN（キャッシュヒット率） • ネットワーク（ISP、帯域、混雑状況、通信環境） • デバイス • アプリケーション • ユーザー操作（シーク、画質変更） これら外的要因を内包した、ユーザーの視聴体験 （QoE:quality of experience）を計測する
10. QoE計測主要サービス（RUM:Real User Monitoring） Mux Youbora Conviva 機能 QoE QoE + BI + Others QoE + BI + CDN switch 料金 ※最新情報は要問い合わせ $0.0005/view upto 1,000,000 views $750/month upto 500,000 views starting at $1,000–$1,200/month 「動画（広告）再生数」　と　「広告収益」　と　「コスト」　が リニアに相関するAVOD事業では、サービス導入にちょっと勇気がいるお値段…
11. QoE計測指標 一般的なQoE計測対象。 全部必要なわけではないので整理する https://mux.com/data から転載
12. 計測目的 何のために何をモニタリングしたいか ①視聴エラーのトラッキング（動画の視聴可否） 　・リリースに伴うもの（バグ） 　・視聴環境のアップデートに伴うもの（ブラウザの新バージョン、新デバイス） ※動画配信サーバー／CDNの不具合は、それぞれが監視すべき項目 　インターネット上の経路[ASやISP]は、制御不能なので監視しない ②視聴環境の最適化（パフォーマンス・チューニング） 　・プレイヤー／動画／広告のロードタイムの短縮 　・配信ビットレートの最適化（リバッファリング低減、ビットレートやCDN費削減）
13. QoE計測対象候補 【取るべきもの】MUST 【取らないもの】 ・ページロード 　ページ側のスコープ ・シーク 　動画・広告ロード時間に依存 ・AS/ISP/国 　現状シングルCDNで運用している、且つ、制御できない ・ユーザーの離脱タイミング 　QoEだけが原因ではないので計測対象から外す イベント 内容 視聴エラー エラーメッセージ 発生時間 コンテンツID、ファイル名 IPアドレス、通信環境（WiFi/モバイル回線） OS、デバイス、ブラウザ バージョン ロード（プレイヤー、 広告動画、本編動画） ロード時間 リバッファリング リバッファリング秒数
14. 計測ツール・方法 WEB アプリ ツール Google Analytics Firebase エラー 例外トラッキング Crashlytics イベント カスタムイベント Performance [要件] ・無償 ・リアルタイムモニタリング可能
15. 内部イベント（例：HTML5プレイヤー） @koshoさんのスライド「Video analytics seminar 2018」を ご参照ください https://www.slideshare.net/MasaakiNabeshima/video-analytics-seminar-2018
16. イベントのトラッキング対象 HTML5 Player + IMAプラグインの場合 videoエレメントのイベントは下記を参照 https://html.spec.whatwg.org/multipage/media.html#mediaevents WEBプレイヤー例 ▪ロード ▪リバッファリング 発火タイミング ロード時間算式　 t(x)：xイベント発火時の時間 プレイヤー ready t(ready) - t(loadstart) 広告 ads-ad-started t(ads-ad-started) - t(ads-request) 本編 playing（※初回のみ） t(playing) - t(play) 発火タイミング リバッファリング時間算式　 リバッファリング waiting　(seeking中は除外) t(waiting) - t(playing) 指標の考え方は下記MUXのサイトがわかりやすい https://mux.com/blog/the-four-elements-of-video-performance/
17. 計測サンプル（これはアプリのvideo_load）
18. 次の展開 本番モニタリング、改善 video.js GA計測プラグイン化
19. W anted !! テレビ業界は今後、激変の時代を迎えます ・放送の高度化（4K/IP化） ・放送同時配信、テレビ局のアーカイブ映像を活用したビジネス ・外部とのパートナーシップ強化、協業 　（コンテンツ、ネットワーク、データ、デバイスetc） ・データを活用したビジネス展開 ぜひ、一緒に働きましょう！ 「テレビ」の再構築