成長し続けるTVerサービスを支える オブザーバビリティとカスタマーサポート

民放公式テレビ配信サービス｢TVer（ティーバー）｣では月間動画再生数が4.5億回を超え、サービス規模が拡大し続けております。
サービス規模の拡大していくことで、カスタマーサポートと開発チームの運用負荷が増え続けてしまうことが懸念されております。

今回はオブザーバビリティツールであるNew Relicを活用することでカスタマーサポートと開発チームの運用負荷を減らす取り組みについてご紹介させていただきます。

Transcript

1. ©2024 TVer INC. 　 　 成長し続けるTVerサービスを支える オブザーバビリティとカスタマーサポート 2024.06.15 鈴木 彩人 株式会社TVer バックエンドタスク SREチーム
2. ©2024 TVer INC. 2 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ
3. ©2024 TVer INC. 3 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ
4. ©2024 TVer INC. 4 自己紹介 鈴木 彩人 / Ayato Suzuki 株式会社TVer バックエンドタスク SREチーム 株式会社メディアドゥのSREチームでNew Relicの導入から運用設計を担当。 2023年11月に株式会社TVerのSREチームに所属し、オブザーバービリティの 推進、トイル削減を担当。
5. ©2024 TVer INC. 5 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ
6. ©2024 TVer INC. • 開発者の運用負荷を軽減したい人 • 新機能や改善のためのリリース頻度を高めたい人 • SREに関わる仕事をしている人 6 誰に向けた内容か
7. ©2024 TVer INC. 7 今回の登壇で伝えたいこと オブザーバビリティを導入することで 問い合わせ対応の品質向上とアジリティの向上に繋がる
8. ©2024 TVer INC. 8 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ
9. ©2024 TVer INC. 9 TVerとは 民放テレビ局がひとつになった テレビの新しい プラットフォーム ドラマ バラエティ アニメ / ヒーロー 報道 / ドキュメンタリー スポーツ その他 見放題 ¥ 0
10. ©2024 TVer INC. 10 トピックス 2024年 歴代最高 3,500万MUB＆4.5億再生を記録！ 民放公式テレビ配信サービス｢TVer (ティーバー)｣の2024年1 月における月間ユニークブラウザ数(以下、MUB)3,500万 (※1)を突破し、過去最高記録を更新。月間動画再生数も 2024年3月に4.5億回(※2)を達成し、最高記録を更新。 ※1：2024年1月1日～31日におけるTVerサービス全体でのユニークブラウザ数 ※2：2024年3月1日～31日におけるTVer 単体のVOD・リアルタイム配信・追っかけ再生およびSP LIVEを合計した動画再生数 (ビデオリサーチにて算出)
11. ©2024 TVer INC. 11 サービスの成長曲線 ▪ ダウンロード数、再生数、MUBにおいて順調に伸長 ▪ レギュラー番組の配信コンテンツは800番組以上に 万 億
12. ©2024 TVer INC. 12 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ
13. ©2024 TVer INC. 13 サービス規模拡大に伴い生じた課題 ① 問い合わせ対応の品質維持の難化 利用者 CSチーム 開発チーム CSチーム 利用者の増加に伴い、対応の精度と スピードがこれまで以上に重要に ② アジリティの低下 利用者の増加に伴い、運用負荷の軽減や 調査効率化がこれまで以上に重要に
14. ©2024 TVer INC. サービス規模拡大に伴い生じた課題 ① 問い合わせ対応の品質維持の難化の要因 • 求められるスキルが高度化する ◦ 効率的に対応するために、問い合わせ内容から事象を推測するために勘と 経験が求められる • 問い合わせの増加 ◦ 現状1ヶ月あたり1000件以上の問い合わせを対応している 14
15. ©2024 TVer INC. 15 サービス規模拡大に伴い生じた課題 ② アジリティの低下の要因 • コミュニケーションコスト ◦ チーム間で技術的知識のギャップがあるため、正確なコミュニケーションに 時間がかかる • 多様なデバイスでのトラブルシューティング ◦ ブラウザやモバイル、コネクテッドTVなど利用端末が広範囲のため問い合わせの 幅が広く調査ポイントが多い • 問い合わせの増加 ◦ 利用者の増加に伴い、問い合わせに関する調査が増える
16. ©2024 TVer INC. 16 サービス規模拡大に伴い生じた課題 課題解決のアプローチとしてオブザーバビリティに注目
17. ©2024 TVer INC. 17 サービス規模拡大に伴い生じた課題 オブザーバビリティが確保されていない場合 参考 : https://www.oreilly.co.jp/books/9784814400126/ • サポートチームはパフォーマンスの問題を検証、再現、解決できないことが多く、 サービスに対する顧客満足度が低下する • さまざまなサービスがどのように相互作用しているのかを把握するのが困難で、予 見できない作業が開発チームで処理できないほど積み上がり、新機能リリースが数 週間から数ヶ月も遅延する
18. ©2024 TVer INC. 18 サービス規模拡大に伴い生じた課題 オブザーバビリティが確保されていない場合 参考 : https://www.oreilly.co.jp/books/9784814400126/ • サポートチームはパフォーマンス問題を検証、再現、解決できないことが多く、 サービスに対する顧客満足度が低下する • さまざまなサービスがどのように相互作用しているのかを把握するのが困難で、予 見できない作業が開発チームで処理できないほど積み上がり、新機能リリースが数 週間から数ヶ月も遅延する オブザーバビリティを導入してみよう！ 弊社の課題と一致
19. ©2024 TVer INC. 19 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ
20. ©2024 TVer INC. 20 課題解決のためのアクション オブザーバビリティツール「New Relic」を採用
21. ©2024 TVer INC. 21 課題解決のためのアクション New Relicでオブザーバビリティ導入にあたり以下対応 ① アプリケーションや外部サービスの観測データを集約 ② 社員にNew Relicのアカウントを発行 ③ ダッシュボードを利用した観測データの可視化 ④ デプロイの自動記録
22. ©2024 TVer INC. 22 課題解決のためのアクション フロントエンドの観測データ バックエンドの観測データ 観測データを集約 ① アプリケーションや外部サービスの観測データを集約 外部サービスの観測データ
23. ©2024 TVer INC. 23 課題解決のためのアクション • 同時接続数 • キャッシュヒット率 • etc … • リクエスト数 • API別実行数 • タスク数 • etc … • JSエラー / クラッシュ • リクエストURL • OS情報 • etc … ① アプリケーションや外部サービスの観測データを集約 フロントエンドの観測データ バックエンドの観測データ 観測データを集約 外部サービスの観測データ
24. ©2024 TVer INC. 24 課題解決のためのアクション CSチーム 開発者チーム PdMやディレクター等 ② 社員にNew Relicのアカウントを発行
25. ©2024 TVer INC. 25 課題解決のためのアクション • 同時接続数 • キャッシュヒット率 • etc … • リクエスト数 • API実行数 • タスク数 • etc … • JSエラー / クラッシュ • リクエストURL • OS情報 • etc … ③ ダッシュボードを利用した観測データの可視化 フロントエンドの観測データ バックエンドの観測データ 観測データを集約 外部サービスの観測データ
27. ©2024 TVer INC. 27 課題解決のためのアクション CI/CDでデプロイを自動的に記録 GitHub Actions ④ デプロイの自動記録 New Relic公式のワークフローを組み込むだけでデプロイの記録が可能 開発チーム
28. デプロイのタイミングと内容の可視化
29. ©2024 TVer INC. 29 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ
30. ©2024 TVer INC. 30 TVerでのNew Relic活用事例 • 活用事例① 開発チームに頼らない問い合わせ対応 • 活用事例② チーム間の効率的なコミュニケーション • 活用事例③ リリースに伴うユーザー影響の可視化
31. ©2024 TVer INC. 31 開発チーム CSチーム xxの問い合わせの調査お願いします 活用事例① 開発チームに頼らない問い合わせ対応 yyの問い合わせの調査お願いします 新規開発が進まない・・・
32. ©2024 TVer INC. 32 活用事例① 開発チームに頼らない問い合わせ対応 利用者 CSチーム ② 問い合わせ (自動で端末IDが付属) ① 端末IDやOSの情報の保存 ③ 端末IDから利用者のOSの情報を確認 ④ 調査結果の連絡
33. 端末IDの入力 OSの情報やイベント エラーメッセージやスタックトレース
34. ©2024 TVer INC. 34 活用事例① 開発チームに頼らない問い合わせ対応 • 広告ブロックアプリ起因で動画が再生されない • ネットワークが不安定な環境で動画が再生されない • 利用者の申告内容とエラーが発生している端末に差異 • etc … CSチーム
35. ©2024 TVer INC. 問い合わせ内容から事象を 推測するための勘と経験が必要 35 活用事例① 開発チームに頼らない問い合わせ対応 CSチーム Before 誰でもイベントやログから 正確な対応ができるように After 調査依頼の減少による運用負荷軽減 大量の調査依頼による運用負荷増加 CSチーム 開発チーム 開発チーム
36. ©2024 TVer INC. 36 活用事例② チーム間の効率的なコミュニケーション 開発チーム CSチーム どんなエラー？ 端末は何？ いつ？ こんな問い合わせ来てます
37. パーマリンクのコピー ※選択した期間や検索条件も保存される
38. ©2024 TVer INC. 38 活用事例② チーム間の効率的なコミュニケーション CSチーム 開発チーム 特定の端末でこのような事象が発生しています https://onenr.io/xxxxx 問い合わせに関する調査を開発者に依頼するケース
39. ©2024 TVer INC. 39 活用事例② チーム間の効率的なコミュニケーション バージョン起因のバグようです！ https://onenr.io/yyyyy 最新版では発生しないため、アップデートの連絡お願いします！ 問い合わせに関する調査を開発者に依頼するケース CSチーム 開発チーム
40. パーマリンクのコピー
41. ©2024 TVer INC. 41 CSチーム Before After CSチーム 開発チーム 開発チーム 調査に必要な正確な情報を揃える ことに時間がかかる 調査に必要かつ正確な情報を迅速に揃え 開発チームに共有できるように 手戻りの少ないコミュニケーションで 効率的な調査が可能に コミュニケーションミスにより不正確で 非効率な調査をすることも 活用事例② チーム間の効率的なコミュニケーション
42. ©2024 TVer INC. • リリースに起因しているのか通常の問い合わせなのかの判断 • 調査中と案内済みの利用者に新バージョンで事象が改善する旨の案内 • 新機能リリースに伴うヘルプページの更新等 42 活用事例③ リリースによるユーザー影響の可視化 CSチームはサービスのリリースについて把握しておく必要がある CSチーム
43. ©2024 TVer INC. 43 開発チーム CSチーム 改善版はいつリリースした？ この前のリリースと 今来てる問い合わせは関係ある？ リリースしてから このエラーが発生した？ リリースしてから パフォーマンス悪くなった？ 活用事例③ リリースによるユーザー影響の可視化
44. デプロイのタイミングと内容の可視化
45. デプロイ前後のパフォーマンスの変化 デプロイの詳細
46. ©2024 TVer INC. 46 活用事例③ リリースに伴うユーザー影響の可視化 リリースが起因して問い合わせが増えているケース CSチーム 開発チーム 先日のリリース以降、xxに関する問い合わせが複数来てます。 https://onenr.io/xxxxx
47. ©2024 TVer INC. 47 活用事例③ リリースに伴うユーザー影響の可視化 リリースが起因して問い合わせが増えているケース CSチーム 開発チーム 原因特定して修正版リリースしました。 利用者に最新版を利用するようご案内お願いします。 https://onenr.io/yyyyy
48. ©2024 TVer INC. 48 CSチーム Before After CSチーム 開発チーム 開発チーム リリースが起因した 問い合わせか判断が難しい リリースが起因した問い合わせを 迅速かつ正確に対応できるように リリースが起因した 問題か判断が容易に リリースが起因した 問題か判断が難しい 活用事例③ リリースに伴うユーザー影響の可視化
49. ©2024 TVer INC. 49 活用事例まとめ • 経験が少なくてもイベントやログから正確な対応ができるように • 調査に必要かつ正確な情報を迅速に揃え開発チームに共有できるように • リリースが起因した問い合わせを迅速かつ正確に対応できるように CSチーム
50. ©2024 TVer INC. 50 開発チーム 活用事例まとめ • 開発チームへの調査依頼の減少による運用負荷軽減 • 手戻りの少ないコミュニケーションで効率的な調査が可能に • リリースが起因したエラーか判断が容易に
51. ©2024 TVer INC. 51 活用事例まとめ Win-Win CSチーム 開発チーム SREチーム ① 問い合わせ対応の品質向上！ ② アジリティの改善！
52. ©2024 TVer INC. 52 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ
53. ©2024 TVer INC. • SLI / SLOの策定準備 ◦ ビジネスやユーザー体験に関連する指標を整理し、ユーザー目線でサービスが 健全に稼働しているのか可視化したい • システム全体の可視性向上 ◦ システム全体を見渡せるよう分散トレーシングの範囲を広げ、さらに効率的な 調査をできるようにして本質的な開発にかける時間を増やしたい • キャパシティプランニング ◦ アクセス数や負荷、コストなどを可視化しサービス拡大に伴うサーバー台数の 増加などを適切に評価できるようにしたい 53 今後の取り組み
54. ©2024 TVer INC. 54 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ
55. ©2024 TVer INC. 55 まとめ オブザーバビリティを導入することで 問い合わせ対応の品質向上とアジリティの向上に繋がる