Video QoE計測への 取り組み TV TOKYO Communications Corporations Yuichiro Danno

－2007年 　テレビ東京入社 　情報システム局システム部 －2012年 　技術局制作技術部 カメラマン －2015年 　テレビ東京コミュニケーションズ 　動画配信サービスの技術・システム担当 　　・WEB、アプリ 　　・CMS 　　・分析基盤（DHW、DMP） 　　・PUSH通知基盤 　　・ライブ配信 　　・R&D 株式会社テレビ東京コミュニケーションズ 動画・データビジネス部　テックリード 段野　祐一郎 [興味関心ワード] フロント ：　TypeScript, vue.js サーバー ：　Java, PHP(Laravel) DB ：　MySQL, Redshift, Treasure Data, BigQuery クラウド ：　AWS, GCP その他 ：　Firebase, Docker, redash, Talend, Tableau, 機械学習 プロフィール

いま配信周りでやってること ・見逃し配信サービス設計・開発 　アプリ、WEB、CMS、関連システム、アドサーバ、TVer ・ライブ配信対応 　主にスポーツ案件のシステム構築、運用、マネタイズ ・同時再送信システム検討 　局内放送設備、配信基盤の設計・検証・評価

広告付き動画配信サービス ・テレビ東京のテレビ番組を放送終了後に 　インターネットで無料で視聴できる見逃し配信サービス ・若年層を中心としたテレビ離れや 　テレビ番組の違法アップロード視聴への対策 ・2015年4月にサービス開始 　PCブラウザとスマホアプリを提供 ・民放5社で協働し、2015年10月にはTVerも立ち上げた

サービスのモニタリングしてますか？

主要なサービスモニタリング指標 対象 KPI ビジネス LTV（Life Time Value） 動画再生数、広告再生数 DAU/WAU/MAU アプリケーション Apdex (アプデックス: Application Performance Index), ログ サーバー Load Average, CPU, memory, networks, Disk エンコーダー ベースバンド、マニフェストファイル 動画視聴 QoE（パフォーマンス、エラートラッキング）

弊社の環境　 サブ SW'er エンコーダ 回線室 テレビ東京 クラウド iOS / Android / ブラウザ ユーザー OVP アドサーバ CDN iOS / Android / ブラウザ ユーザー アドサーバ CDN OVP ノンリニア 編集機 テレビ東京 クラウド ラ イ ブ Ｖ Ｏ Ｄ 監視実施中 機器の稼働状況 ・再生状況 ・視聴体験 サービスの稼働状況 （詳細な監視や原因究明は困難） 監視対象 監視未着手（一部実施済み）

http://www.ringdigital. tv/stream-quality/ 悪い視聴体験は、収益に悪影響を与える

動画視聴に影響を与える要因 • コンテンツ（解像度、ビットレート、コーデック、エンコード） • ネットワーク • CDN（キャッシュヒット率） • ネットワーク（ISP、帯域、混雑状況、通信環境） • デバイス • アプリケーション • ユーザー操作（シーク、画質変更） これら外的要因を内包した、ユーザーの視聴体験 （QoE:quality of experience）を計測する

QoE計測主要サービス（RUM:Real User Monitoring） Mux Youbora Conviva 機能 QoE QoE + BI + Others QoE + BI + CDN switch 料金 ※最新情報は要問い合わせ $0.0005/view upto 1,000,000 views $750/month upto 500,000 views starting at $1,000–$1,200/month 「動画（広告）再生数」　と　「広告収益」　と　「コスト」　が リニアに相関するAVOD事業では、サービス導入にちょっと勇気がいるお値段…

QoE計測指標 一般的なQoE計測対象。 全部必要なわけではないので整理する https://mux.com/data から転載

計測目的 何のために何をモニタリングしたいか ①視聴エラーのトラッキング（動画の視聴可否） 　・リリースに伴うもの（バグ） 　・視聴環境のアップデートに伴うもの（ブラウザの新バージョン、新デバイス） ※動画配信サーバー／CDNの不具合は、それぞれが監視すべき項目 　インターネット上の経路[ASやISP]は、制御不能なので監視しない ②視聴環境の最適化（パフォーマンス・チューニング） 　・プレイヤー／動画／広告のロードタイムの短縮 　・配信ビットレートの最適化（リバッファリング低減、ビットレートやCDN費削減）

QoE計測対象候補 【取るべきもの】MUST 【取らないもの】 ・ページロード 　ページ側のスコープ ・シーク 　動画・広告ロード時間に依存 ・AS/ISP/国 　現状シングルCDNで運用している、且つ、制御できない ・ユーザーの離脱タイミング 　QoEだけが原因ではないので計測対象から外す イベント 内容 視聴エラー エラーメッセージ 発生時間 コンテンツID、ファイル名 IPアドレス、通信環境（WiFi/モバイル回線） OS、デバイス、ブラウザ バージョン ロード（プレイヤー、 広告動画、本編動画） ロード時間 リバッファリング リバッファリング秒数

計測ツール・方法 WEB アプリ ツール Google Analytics Firebase エラー 例外トラッキング Crashlytics イベント カスタムイベント Performance [要件] ・無償 ・リアルタイムモニタリング可能

内部イベント（例：HTML5プレイヤー） @koshoさんのスライド「Video analytics seminar 2018」を ご参照ください https://www.slideshare.net/MasaakiNabeshima/video-analytics-seminar-2018

イベントのトラッキング対象 HTML5 Player + IMAプラグインの場合 videoエレメントのイベントは下記を参照 https://html.spec.whatwg.org/multipage/media.html#mediaevents WEBプレイヤー例 ■ロード ■リバッファリング 発火タイミング ロード時間算式　 t(x)：xイベント発火時の時間 プレイヤー ready t(ready) - t(loadstart) 広告 ads-ad-started t(ads-ad-started) - t(ads-request) 本編 playing（※初回のみ） t(playing) - t(play) 発火タイミング リバッファリング時間算式　 リバッファリング waiting　(seeking中は除外) t(waiting) - t(playing) 指標の考え方は下記MUXのサイトがわかりやすい https://mux.com/blog/the-four-elements-of-video-performance/

計測サンプル（これはアプリのvideo_load）

次の展開 本番モニタリング、改善 video.js GA計測プラグイン化

W anted !! テレビ業界は今後、激変の時代を迎えます ・放送の高度化（4K/IP化） ・放送同時配信、テレビ局のアーカイブ映像を活用したビジネス ・外部とのパートナーシップ強化、協業 　（コンテンツ、ネットワーク、データ、デバイスetc） ・データを活用したビジネス展開 ぜひ、一緒に働きましょう！ 「テレビ」の再構築