Tweet
Tweet

Slide 1

Slide 1 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 1 未来のテレビを形づくる ABEMAのグロース戦略： ユーザー体験と品質向上のアプローチ 2024 Nov 15th Inter BEE 2024 株式会社 AbemaTV 
 田所 義朗 | 波戸 勇二 | 山口 想 | 野口 直寛 


Slide 2

Slide 2 text

2 1. ABEMAについて 2. 品質向上の取り組み 3. グロース戦略 4. パフォーマンス改善 5. まとめ INDEX

Slide 3

Slide 3 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 3 ABEMAについて 株式会社AbemaTV Development Headquarters - Product Division Chief Product Manager 田所 義朗

Slide 4

Slide 4 text

AbemaTV, Inc. All Rights Reserved
 ABEMA 紹介 4 登録不要で、いつでも無料で楽しめる 24時間365日編成されているリニア配信と 見逃した作品を好きなタイミングでオンデマンドでも楽しむこともできます。 国内最大級のオリジナルエピソード数 オリジナルエピソード数は国内発の動画サービスで日本No.1(※)を誇り、 注目の新作映画、国内外の人気ドラマ、話題のアニメなど豊富なラインナップの作品や、 様々な音楽や舞台のオンラインライブも展開。 ※2024年8月時点、自社調べ 100%プロコンテンツ サイバーエージェントとテレビ朝日 それぞれの強みを活かした制作体制で高品質なコンテンツを配信しています。 多彩なラインナップ 24時間編成のニュース専門チャンネルをはじめ、 オリジナルのドラマや恋愛番組、アニメ、スポーツなど、 多彩なジャンルの約25チャンネルを24時間365日放送しています。

Slide 5

Slide 5 text

AbemaTV, Inc. All Rights Reserved
 ABEMAの配信モデル ライブイベント リニア オンデマンド

Slide 6

Slide 6 text

AbemaTV, Inc. All Rights Reserved
 リニア(チャンネル ) 様々なチャンネルをリアルタイム配信 24時間365日編成されているリニア配信 登録なし・無料で視聴できる 16時 17時 18時 19時 番組A 番組C 番組D 番組B 番組E 無料

Slide 7

Slide 7 text

AbemaTV, Inc. All Rights Reserved
 ライブイベント ABEMAプレミアム 外部OTTプラン 無料 ペイパービュー ライブ単位のリアルタイム配信 決まった放送枠ではなく、任意の配信時間 無料のみではなく、有料ライブも提供 16時 17時 18時 19時 ライブA ライブB ライブC

Slide 8

Slide 8 text

AbemaTV, Inc. All Rights Reserved
 オンデマンド いつでも繰り返し視聴できる ・TV番組・映画コンテンツパッケージ ・リニア・ライブ配信のアーカイブ 無料のみではなく、有料コンテンツも提供 ABEMAプレミアム 外部OTTプラン 無料 レンタル (撤退) シリーズA エピソード エピソード シーズン1 シーズン2 エピソード エピソード

Slide 9

Slide 9 text

AbemaTV, Inc. All Rights Reserved
 ABEMAの変遷 2016 2017 2018 2019 2020 2021 2022 2023 2024 ペイパービューライブ リニアチャンネル (無料) オンデマンド (無料・プレミアム ) レンタル 外部 OTTプラン 外部 OTTプラン 外部 OTTプラン

Slide 10

Slide 10 text

AbemaTV, Inc. All Rights Reserved
 構造の複雑さ ABEMAプレミアム 外部OTTプラン 無料 ペイパービュー 無料 ABEMAプレミアム 外部OTTプラン 無料 ライブイベント リニア (チャンネル ) オンデマンド アーカイブ 視聴 権限 配信 リアルタイム配信 オンデマンド配信

Slide 11

Slide 11 text

AbemaTV, Inc. All Rights Reserved
 ABEMAのプロダクト 対応デバイス・環境が多岐にわたる アプリ WEBブラウザ CTV ゲーム

Slide 12

Slide 12 text

AbemaTV, Inc. All Rights Reserved
 事業もサービスも複雑になってきている実態 ビジネス デバイス 環境 プロダクト ABEMA プレミアム 広告 ペイパービュー 外部OTT プラン アプリ WEB ブラウザ CTV ゲーム 来訪~探索 視聴 ライブ リニア オン デマンド ジャンル レコメンド ホーム 検索

Slide 13

Slide 13 text

AbemaTV, Inc. All Rights Reserved
 ABEMAのビジネスとプロダクトを成長させる ABEMAプレミアム 広告 ペイパービュー 外部OTTプラン ビジネス プロダクト パフォーマンス ユーザ体験 品質 機能・デバイス

Slide 14

Slide 14 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 14 品質向上の取り組み 株式会社AbemaTV Development Headquarters - Product Division Principal Product Engineer 波戸 勇二

Slide 15

Slide 15 text

AbemaTV, Inc. All Rights Reserved
 マルチデバイス 2016年の開局当初の対応デバイス は、iOSとAndroidのモバイルアプリ とWebのPC/モバイルでスタートしま したが、2024年現在では様々なデバ イスに対応しています。

Slide 16

Slide 16 text

AbemaTV, Inc. All Rights Reserved
 マルチデバイス iOS mobile Android mobile Web PC/mobile 2016年の開局当初の対応デバイスは、iOSとAndroidのモバイルアプリと WebのPC/モバイルでスタート。

Slide 17

Slide 17 text

AbemaTV, Inc. All Rights Reserved
 Chromecast マルチデバイス Apple TV Android TV 2016年中には当時の主要なテレビデバイスのプラットフォームに順次対応。 Amazon Fire TV 2016/08 2016/10 2016/11 2016/12

Slide 18

Slide 18 text

AbemaTV, Inc. All Rights Reserved
 Web-based TV マルチデバイス Daydream Clova Desk 2017年 ~ 2019年にAmazon Alexa、Daydream、Amazon Fire Tablet, Web-based TV, Clova Deskに対応。 ※ Web-based TVはここではスマートテレビ向け HTML5アプリケーションをさしています Amazon Fire Tablet 2017/12 2018/11 2018/03 2019/03 Amazon Alexa 2017/11 ※ サポート終了デバイスを含む

Slide 19

Slide 19 text

AbemaTV, Inc. All Rights Reserved
 Nintendo Switch Google Nest Hub マルチデバイス 2021年にGoogle Nest HubとNintendo Switch、2024年にはApple Vision Proに対応。 2021/06 2021/12 Apple Vision Pro 2024/06

Slide 20

Slide 20 text

AbemaTV, Inc. All Rights Reserved
 Apple TV Google Nest Hub マルチデバイス 2016 2017 2018 2019 2020 2021 2022 2023 2024 iOS mobile Android mobile Web PC/mobile Chromecast Amazon Fire TV Android TV Amazon Alexa Web-based TV Daydram Amazon Fire Tablet Clova Desk Nintendo Switch ※ サポート終了デバイスを含む Apple Vision Pro

Slide 21

Slide 21 text

AbemaTV, Inc. All Rights Reserved
 Apple TV Google Nest Hub マルチデバイス iOS mobile Android mobile Mobile Browser Chromecast Amazon Fire TV Android TV Web-based TV Nintendo Switch Amazon Fire Tablet Desktop Browser iOS/tvOS/VisionOS Apple Vision Pro Android Web Unity ユースケース 技術スタック

Slide 22

Slide 22 text

AbemaTV, Inc. All Rights Reserved
 開発体制 PM Product Design Product Backend Web Browser Quality Engineering Mobile Android-ba sed TV Web-based TV Game Console Data Science Data Platform Data Enabling Content Engineering Content Delivery Broadcast Technology Streaming Client Cloud Platform Platform Backend Developer Productivity SRE Security DX Promotion Operation Strategy Product Platform Content Data Data Science

Slide 23

Slide 23 text

AbemaTV, Inc. All Rights Reserved
 Service Growth 開発体制 Monetize CTV Experience 横断Projects PM Product Design Product Backend Web Browser Quality Engineering Mobile Android-ba sed TV Web-based TV Game Console Product Data Science

Slide 24

Slide 24 text

AbemaTV, Inc. All Rights Reserved
 プロダクト開発フロー 設計 企画 開発 テスト リリース 分析・検証 大きく3パターン ● ビジネスの優先事項をもとに要件を整理した機能開発 ● 仮説・分析・ユーザーフィードバックをもとにした改善サイ クル ● プロトタイピングを元にした開発サイクル 仮説 プロト タイピング

Slide 25

Slide 25 text

AbemaTV, Inc. All Rights Reserved
 開発プロセス全体を通した品質エンジニアリング 品質エンジニアリングを 各チームにembedded コードレビュー の品質向上 静的解析ツール の活用 ユニットテスト・統合テスト・ UIテ スト・E2Eなど自動テストの拡充 リスクベースアプローチ による効率化 Feature Flagによる柔軟な 開発プロセスとリリース カナリアリリース による安全性 の確保、即時ロールバックを可 能としたリスクの最小化 SLI/SLOによる品質目標の設定と モニタリング

Slide 26

Slide 26 text

AbemaTV, Inc. All Rights Reserved
 リリースサイクル Product Backend Web Browser Mobile Android- based TV Web-based TV Game Console 週一リリース 週一リリース 手動オンデマンドリリース 手動オンデマンドリリース 手動オンデマンドリリース Apple TV 手動オンデマンドリリース オンデマンドリリース ※一部手動オンデマンド

Slide 27

Slide 27 text

AbemaTV, Inc. All Rights Reserved
 各PFチーム 各PFチーム 各Featureチーム 各Featureチーム 品質エンジニアリングの embedded 各Featureチーム Quality Engineering Team QE 各PFチーム QE ● 開発プロジェクトの初期段階から品質エンジニアやテストチームを組み込み、要件や設計段階で品質の視 点を反映 ● 要件レビューや設計レビューを通じた、不具合の早期検出や予防とテスト品質の向上 ● 品質エンジニアと開発チームが同じ目線で協力できる体制、各チームに適したテスト戦略と最適化

Slide 28

Slide 28 text

AbemaTV, Inc. All Rights Reserved
 コードレビュー品質向上 https://www.morling.dev/blog/the-code-review-pyramid/ CodeRabbit https://www.infracost.io/docs/features/usage_based_resources/#infracost-usageyml https://docs.coderabbit.ai/about/features Review Policy GitHub Advanced Security https://github.blog/jp/2024-03-28-found-means-fixed-introducing-code-scanning-autofix-powered-by-github-copilot-and-codeql/ ● 各種Lintの活用とCI組み込み ● 各チームでのコードレビュー指針 の 策定によるレビュー品質の向上 ● CodeRabbitによるコードレビュー支援 ● Gatekeeperによるポリシーチェック ● Infracostによるコスト可視化 ● GitHub Advanced Securityによる 脆弱性検知 ● etc…

Slide 29

Slide 29 text

AbemaTV, Inc. All Rights Reserved
 自動テストの拡充 https://developer.android.com/training/testing/fundamentals#write-tests https://kentcdodds.com/blog/the-testing-trophy-and-testing-classifications Android-based TVのUTカバレッジの推移 ● 各テストレベルのバランスを加味した効率的で 包括的な品質保証 ● 自動テストの拡充とCI/CDパイプラインへの統合 ● 手動テストに大きく依存した状態から脱却し リリースサイクルを短縮

Slide 30

Slide 30 text

AbemaTV, Inc. All Rights Reserved
 リスクベースアプローチ 機能Tier ユーザー体験 ビジネス影響 (広告・課金 ) コンテンツ 契約・法律 セキュリティ 運用 ● ユーザー体験・ビジネス影響度などから 機能tierを策定して、機能の重要度・リスクを明確化 ● シナリオベースのテストを活用し、ユーザーの主要な操作フローを網羅 ● ユーザー体験に直結する部分、自動化が難しい部分、影響が大きい重要機能に対して 手動テストを行い、テストリソースを効率化

Slide 31

Slide 31 text

AbemaTV, Inc. All Rights Reserved
 Feature Flagの活用 https://docs.bucketeer.io/#what-is-bucketeer ● デプロイとリリースを切り離して、機能の ライフサイクルを管理 ○ ダークローンチ ○ カナリアリリース ○ キルスイッチ ○ システム動作制御 ○ パーソナライズ ○ ベータテスト ○ A/Bテスト

Slide 32

Slide 32 text

AbemaTV, Inc. All Rights Reserved
 Feature Flagの活用 https://www.martinfowler.com/articles/feature-toggles.html ● Release Toggles ○ Trunk-Based Development ○ 機能有効/無効フラグ ● Ops Toggles ○ 低遅延配信配信 ○ 広告タイムアウト値 ○ ビットレート最大値 ○ 画質設定上限値 ● Permission Toggles ○ ユーザーサンプリング ○ VoiceOver機能限定配布 ● Experiment Toggles ○ コンテンツサムネイル ○ コンテンツレコメンド ○ アンケート表示

Slide 33

Slide 33 text

AbemaTV, Inc. All Rights Reserved
 カナリアリリース https://pipecd.dev/docs-v0.46.x/user-guide/managing-application/customiz ing-deployment/automated-deployment-analysis/ (視聴品質) (プロダクト品質) 段階リリースの期間中の視聴品質と プロダクト品質をチェック Automated Deployment Analysis 機能を一部ユーザーに限定してリリースし、モニタリングで問題がないことを確認。 異常が検出された場合には即座にロールバックして、広範な影響を防ぐ。 ● Feature FlagやStore機能、CDNを使ったカナリアリリース ● Progressive Rollout

Slide 34

Slide 34 text

AbemaTV, Inc. All Rights Reserved
 モニタリング IOSアプリのSLI/SLO https://sre.google/workbook/alerting-on-slos/ SLI/SLO バックエンドだけでなく、クライアントアプリケーション においても機能ごとに SLI/SLOを定義することで、 ユーザー体験に近い観点で品質を管理 Alerting ● エラーバジェットの算出 ● バーンレートを参考にしたアラート設定 ○ ワーニングはSlack通知 ○ クリティカルはPagerDutyでOn-Call

Slide 35

Slide 35 text

AbemaTV, Inc. All Rights Reserved
 インシデント チャンネル インシデント対応 事象確認 /障 害連絡 障害対応個 別チャンネル 障害対応マス ターチャンネ ル Monitoring System 1.検知 4.ステータス更新 2.対応開始 3.定期的な共有 Cloud Monitoring BugSnag etc… インシデントの検知から対応、再発防止までの流れを一貫 して管理 関係者間のリアルタイムな状況把握、対応の効率化と迅速 な復旧を実現 1. モニタリングシステムによる検知または障害連絡・事 象確認によるインシデント生成 2. 専用のSlackチャンネルが作られ対応開始 3. 定期的な情報共有 4. インシデントのステータス更新

Slide 36

Slide 36 text

AbemaTV, Inc. All Rights Reserved
 開発プロセス全体を通した品質エンジニアリング ● 高速に改善サイクルを回して仮説・検証の精度を上げて素早くユーザーのニーズに応える ● 品質を維持しながら継続的に改善する このCapabilityが、変化の激しい環境でビジネス競争力の向上につながる。

Slide 37

Slide 37 text

AbemaTV, Inc. All Rights Reserved
 品質向上の取り組みのまとめ ● ABEMAのプロダクト開発における開発プ ロセス全体を通した品質エンジニアリング の取り組みについてご紹介しました ● 次のセクションでは、ABEMAのグロース戦 略と具体的な施策についてご紹介します

Slide 38

Slide 38 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 38 株式会社AbemaTV Development Headquarters - Product Division Senior Product Manager & Data Scientist 山口 想 グロース戦略

Slide 39

Slide 39 text

AbemaTV, Inc. All Rights Reserved
 ABEMAのプロダクトの構造 | 作品を掲載する代表的なページ ホーム面 ジャンル面 詳細面 (再生面) モジュール 作 品 作 品 作 品

Slide 40

Slide 40 text

AbemaTV, Inc. All Rights Reserved
 ABEMAのグロース戦略の紹介 ● ABEMAの特性とビジネスモデルの概要 ● フリーミアムモデルとサブスクリプションモデルの説明 広告が表示 される ユーザが コンテンツを視 聴 広告収益が 発生 サブスクリプ ション登録 ユーザが コンテンツを選 択 月額料金の 支払い コンテンツを 視聴 コンテンツ視 聴 広告視聴 月額料金 フリーミアム サブスクリプション サブスクリプション フリーミアム

Slide 41

Slide 41 text

AbemaTV, Inc. All Rights Reserved
 ハイブリッドモデルの挑戦 無料ユーザへの二つの選択肢 無料ユーザ 広告視聴 課金視聴 モジュール 視聴 できる 視聴 できる 課金 限定 視聴 できる モジュール 面(ページ )

Slide 42

Slide 42 text

AbemaTV, Inc. All Rights Reserved
 エンゲージメント 課金ユーザ 視聴 している 視聴 していない 解約 継続 作品 サブスクリプション 課金ユーザのサブスクリプション継続 無料ユーザの継続 無料ユーザ 視聴 している 視聴 していない 離反 継続 プロダクト利用 作品

Slide 43

Slide 43 text

AbemaTV, Inc. All Rights Reserved
 グロースの目的 レコメンド した作品の 閲覧 ABEMAへ 来訪 興味ある 作品を選択 視聴 ABEMAに来訪して 作品を視聴してもらうこと ユーザ行動

Slide 44

Slide 44 text

AbemaTV, Inc. All Rights Reserved
 レコメンドシステムの役割 1. モジュール内の作品の並び順の最適化 2. モジュール自体の並び順の最適化 モジュール モジュール 面(ページ )

Slide 45

Slide 45 text

AbemaTV, Inc. All Rights Reserved
 モジュール内の作品の選定と並び順の最適化 手動で 作品を選定 テーマ (題材)の 決定 指標で最適化 アルゴリズム処理で 作品を選定 ユーザの実績など データ収集 指標で最適化 自動 手動 手動 自動 表示 表示 モジュール 作 品 作 品

Slide 46

Slide 46 text

AbemaTV, Inc. All Rights Reserved
 モジュール自体の並び順の最適化 ユーザA ホーム面 ユーザB ホーム面 ビルボード ランキング 大々的に作品を伝えた時に訴求するモジュール アベマで視聴されている作品をランキング形式で 掲載するモジュール

Slide 47

Slide 47 text

AbemaTV, Inc. All Rights Reserved
 レコメンドシステムの概要 拡張データ コンテンツ メタデータ ユーザ データ レコメンド システム 提案 ユーザー 作品 ※ 全てのレコメンドシステムが全てのデータを使っているわけではない

Slide 48

Slide 48 text

AbemaTV, Inc. All Rights Reserved
 ユーザーデータ デモグラ ロイヤリティ など 興味/関心 ジャンル など 視聴実績 行動実績 作品接触 など ※ レコメンドシステムが全てのユーザデータを使っているわけではない 視聴デバイス

Slide 49

Slide 49 text

AbemaTV, Inc. All Rights Reserved
 コンテンツメタデータ ● 作品・番組に紐づくデータ ● 作品のタイトル ● 作品の概要 ● 作品に出演している人物 ● 作品のスタッフ ● 作品のジャンル ● 作品の公開年 ● 作品の受賞歴 など ※ 全てのレコメンドシステムが全てのデータを使っているわけではない

Slide 50

Slide 50 text

AbemaTV, Inc. All Rights Reserved
 拡張データ | 生成AIによる拡張したデータ例 ● 生成AIによるデータ拡張 コンテンツ メタデータ コンテンツ メタデータ コンテンツ メタデータ プロンプト 生成AIモデル 拡張データ 【プロンプト例】次の文章は,ある動画コンテンツの説明です.この説明文に対してタグを付与してください. タグは単一の名詞で一般名詞のみが利用できます. (以下略) コンテンツ メタデータ ユーザデータ ※Geminiを利用 レコメンド システム 生成 ※ 全てのレコメンドシステムが全てのデータを使っているわけではない

Slide 51

Slide 51 text

AbemaTV, Inc. All Rights Reserved
 レコメンドシステムの概要 拡張データ コンテンツ メタデータ ユーザ データ レコメンド システム 提案 ユーザー 作品 ※ 全てのレコメンドシステムが全てのデータを使っているわけではない

Slide 52

Slide 52 text

AbemaTV, Inc. All Rights Reserved
 新規ユーザの継続利用が課題 ● ABEMAの新規ユーザの来訪の多くは強い目的があり来訪している ● 目的の作品目当てで来訪し、ユーザが目的作品視聴後に ABEMAに来訪しなくなる課題 独占 コンテンツ ABEMA オリジナル コンテンツ 話題作 新規ユーザ 新規ユーザの主要な来訪目的

Slide 53

Slide 53 text

AbemaTV, Inc. All Rights Reserved
 新規ユーザの継続利用が課題　｜　データが十分でない ● 新規ユーザとABEMAを使ってくれているユーザでは保持してるデータが異なる 利用デバイス 興味があるジャンル 性別・年齢 視聴実績 行動実績 利用デバイス 興味があるジャンル 行動実績 視聴実績 性別・年齢 新規 既存

Slide 54

Slide 54 text

AbemaTV, Inc. All Rights Reserved
 新規ユーザの継続利用が課題　｜　データの拡充と反映 詳細面 (再生面) 作 品 ユーザが離反するまでに なるべく多くのデータを取得して レコメンド提案精度を改善 ジャンル・作品の奥行きの提示 NEWS HIPHOP スポーツ バラエティ NEWS アニメ

Slide 55

Slide 55 text

AbemaTV, Inc. All Rights Reserved
 グロース戦略のまとめ ● フリーミアムとサブスクリプションモデルの成立 ● データとレコメンドシステムの紹介 グロースを支えるのはユーザにとって快適でスムーズな体験を提供するための プロダクトとしてのパフォーマンスであり、パフォーマンスの向上がグロースを加速。 次のセクションではパフォーマンス改善に関する取り組みを紹介。

Slide 56

Slide 56 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 56 パフォーマンス改善 株式会社AbemaTV Development Headquarters - Product Division Senior Software Engineer 野口 直寛

Slide 57

Slide 57 text

AbemaTV, Inc. All Rights Reserved
 課題 事例: スマートテレビにおけるパフォーマンス向上 57 ● スマートテレビデバイス (Android, Web) において、パフォーマンス品質が他 社アプリに劣後している ● ユーザーの継続率上昇のため、プロダクト品質を高める必要がある

Slide 58

Slide 58 text

AbemaTV, Inc. All Rights Reserved
 事例: スマートテレビにおけるパフォーマンス向上 58 起動 所要時間（自社調査） 回遊 再生 アプリA 　　　B 　　　C 　　　D 　　　E 　　　F ABEMA ABEMA ABEMA

Slide 59

Slide 59 text

AbemaTV, Inc. All Rights Reserved
 パフォーマンス向上プロジェクトの目標 59 動画市場 No.1 のパフォーマンス

Slide 60

Slide 60 text

AbemaTV, Inc. All Rights Reserved
 パフォーマンス改善のサイクル 60 目標設定 現状分析 改善 検証

Slide 61

Slide 61 text

AbemaTV, Inc. All Rights Reserved
 パフォーマンス改善のサイクル 61 目標設定 現状分析 改善 検証

Slide 62

Slide 62 text

AbemaTV, Inc. All Rights Reserved
 手動計測 現状分析・目標設定 62 ● 他社アプリとの比較は手動計測で実施 ○ 動画を撮影してコマ送りで再生して計測 ○ ３回計測して平均を取る ● 目標を計測結果から設定 ○ 動画配信サービスとして最速水準を目指す

Slide 63

Slide 63 text

AbemaTV, Inc. All Rights Reserved
 手動計測の様子

Slide 64

Slide 64 text

AbemaTV, Inc. All Rights Reserved
 自動計測 現状分析・目標設定 64 ● 手動計測は定常的に実施するにはコストが高い ● New Relic を使用して、自動計測・可視化の仕組みを整えた ○ TV メーカーごとにパフォーマンスを分けて見られる ○ New Relic 組み込みのパフォーマンス指標は使用できない ■ 計測区間の始点と終点を定義して New Relic に送信

Slide 65

Slide 65 text

AbemaTV, Inc. All Rights Reserved
 ダッシュボード

Slide 66

Slide 66 text

AbemaTV, Inc. All Rights Reserved
 ダッシュボード

Slide 67

Slide 67 text

AbemaTV, Inc. All Rights Reserved
 パフォーマンス改善のサイクル 67 目標設定 現状分析 改善 検証

Slide 68

Slide 68 text

AbemaTV, Inc. All Rights Reserved
 リリース後 リリース前 検証 68 ● New Relic で改善効果を事前予測 ● A/B テスト ● New Relic で前後比較

Slide 69

Slide 69 text

AbemaTV, Inc. All Rights Reserved
 検証: リリース前 - 事前予測 69 ● 改善あり/なしで3回ずつ計測して平均をとって比較 ● 顕著にパフォーマンスが向上した施策をリリース

Slide 70

Slide 70 text

AbemaTV, Inc. All Rights Reserved
 検証: リリース後 - A/B テスト 70 A/B テストによりパフォーマンスやビジネス指標の変化を検証 → パフォーマンス改善がビジネス指標にも好影響をもたらしている

Slide 71

Slide 71 text

AbemaTV, Inc. All Rights Reserved
 検証: リリース後 - 前後比較 71 ● A/B テストが難しいケースでは、リリース前後で指標を比較 0.8秒高速化

Slide 72

Slide 72 text

AbemaTV, Inc. All Rights Reserved
 プロジェクトの成果 : 回遊パフォーマンス 72 所要時間（自社調査） Before After ABEMA ABEMA

Slide 73

Slide 73 text

AbemaTV, Inc. All Rights Reserved
 プロジェクトの成果 : 起動パフォーマンス 73 Before 所要時間（自社調査） アプリA 　　　B 　　　C 　　　D 　　　E 　　　F After ABEMA ABEMA

Slide 74

Slide 74 text

AbemaTV, Inc. All Rights Reserved
 プロジェクトの成果 : 起動パフォーマンスの推移 74

Slide 75

Slide 75 text

AbemaTV, Inc. All Rights Reserved
 パフォーマンス改善のまとめ 75 ● スマートテレビにおけるパフォーマンス改善事例の紹介 ● 他社サービスとの比較により目標値を設定 ● New Relic でパフォーマンスを計測・モニタリング ● 起動・回遊において業界最速水準を達成 ● パフォーマンス改善によるユーザー体験の向上が、ビジネス指標の改善にも つながった

Slide 76

Slide 76 text

AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 76 まとめ

Slide 77

Slide 77 text

AbemaTV, Inc. All Rights Reserved
 まとめ 77 高度に複雑化するビジネスとコンテンツ戦略の成立と ユーザー満足度の向上を共に実現していく ・ユーザー行動・システムの状態を リアルタイムで把握 ・品質を維持 しながら迅速な改善 を実行

Slide 78

Slide 78 text

AbemaTV, Inc. All Rights Reserved