Slide 1

Slide 1 text

©2024 TVer INC.     成長し続けるTVerサービスを支える オブザーバビリティとカスタマーサポート 2024.06.15 鈴木 彩人 株式会社TVer バックエンドタスク SREチーム

Slide 2

Slide 2 text

©2024 TVer INC. 2 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ

Slide 3

Slide 3 text

©2024 TVer INC. 3 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ

Slide 4

Slide 4 text

©2024 TVer INC. 4 自己紹介 鈴木 彩人 / Ayato Suzuki 株式会社TVer バックエンドタスク SREチーム 株式会社メディアドゥのSREチームでNew Relicの導入から運用設計を担当。 2023年11月に株式会社TVerのSREチームに所属し、オブザーバービリティの 推進、トイル削減を担当。

Slide 5

Slide 5 text

©2024 TVer INC. 5 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ

Slide 6

Slide 6 text

©2024 TVer INC. ● 開発者の運用負荷を軽減したい人 ● 新機能や改善のためのリリース頻度を高めたい人 ● SREに関わる仕事をしている人 6 誰に向けた内容か

Slide 7

Slide 7 text

©2024 TVer INC. 7 今回の登壇で伝えたいこと オブザーバビリティを導入することで 問い合わせ対応の品質向上とアジリティの向上に繋がる

Slide 8

Slide 8 text

©2024 TVer INC. 8 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ

Slide 9

Slide 9 text

©2024 TVer INC. 9 TVerとは 民放テレビ局がひとつになった テレビの新しい プラットフォーム ドラマ バラエティ アニメ / ヒーロー 報道 / ドキュメンタリー スポーツ その他 見放題 ¥ 0

Slide 10

Slide 10 text

©2024 TVer INC. 10 トピックス 2024年 歴代最高 3,500万MUB&4.5億再生を記録! 民放公式テレビ配信サービス「TVer (ティーバー)」の2024年1 月における月間ユニークブラウザ数(以下、MUB)3,500万 (※1)を突破し、過去最高記録を更新。月間動画再生数も 2024年3月に4.5億回(※2)を達成し、最高記録を更新。 ※1:2024年1月1日~31日におけるTVerサービス全体でのユニークブラウザ数 ※2:2024年3月1日~31日におけるTVer 単体のVOD・リアルタイム配信・追っかけ再生およびSP LIVEを合計した動画再生数 (ビデオリサーチにて算出)

Slide 11

Slide 11 text

©2024 TVer INC. 11 サービスの成長曲線 ■ ダウンロード数、再生数、MUBにおいて順調に伸長 ■ レギュラー番組の配信コンテンツは800番組以上に 万 億

Slide 12

Slide 12 text

©2024 TVer INC. 12 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ

Slide 13

Slide 13 text

©2024 TVer INC. 13 サービス規模拡大に伴い生じた課題 ① 問い合わせ対応の品質維持の難化 利用者 CSチーム 開発チーム CSチーム 利用者の増加に伴い、対応の精度と スピードがこれまで以上に重要に ② アジリティの低下 利用者の増加に伴い、運用負荷の軽減や 調査効率化がこれまで以上に重要に

Slide 14

Slide 14 text

©2024 TVer INC. サービス規模拡大に伴い生じた課題 ① 問い合わせ対応の品質維持の難化の要因 ● 求められるスキルが高度化する ○ 効率的に対応するために、問い合わせ内容から事象を推測するために勘と 経験が求められる ● 問い合わせの増加 ○ 現状1ヶ月あたり1000件以上の問い合わせを対応している 14

Slide 15

Slide 15 text

©2024 TVer INC. 15 サービス規模拡大に伴い生じた課題 ② アジリティの低下の要因 ● コミュニケーションコスト ○ チーム間で技術的知識のギャップがあるため、正確なコミュニケーションに 時間がかかる ● 多様なデバイスでのトラブルシューティング ○ ブラウザやモバイル、コネクテッドTVなど利用端末が広範囲のため問い合わせの 幅が広く調査ポイントが多い ● 問い合わせの増加 ○ 利用者の増加に伴い、問い合わせに関する調査が増える

Slide 16

Slide 16 text

©2024 TVer INC. 16 サービス規模拡大に伴い生じた課題 課題解決のアプローチとしてオブザーバビリティに注目

Slide 17

Slide 17 text

©2024 TVer INC. 17 サービス規模拡大に伴い生じた課題 オブザーバビリティが確保されていない場合 参考 : https://www.oreilly.co.jp/books/9784814400126/ ● サポートチームはパフォーマンスの問題を検証、再現、解決できないことが多く、 サービスに対する顧客満足度が低下する ● さまざまなサービスがどのように相互作用しているのかを把握するのが困難で、予 見できない作業が開発チームで処理できないほど積み上がり、新機能リリースが数 週間から数ヶ月も遅延する

Slide 18

Slide 18 text

©2024 TVer INC. 18 サービス規模拡大に伴い生じた課題 オブザーバビリティが確保されていない場合 参考 : https://www.oreilly.co.jp/books/9784814400126/ ● サポートチームはパフォーマンス問題を検証、再現、解決できないことが多く、 サービスに対する顧客満足度が低下する ● さまざまなサービスがどのように相互作用しているのかを把握するのが困難で、予 見できない作業が開発チームで処理できないほど積み上がり、新機能リリースが数 週間から数ヶ月も遅延する オブザーバビリティを導入してみよう! 弊社の課題と一致

Slide 19

Slide 19 text

©2024 TVer INC. 19 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ

Slide 20

Slide 20 text

©2024 TVer INC. 20 課題解決のためのアクション オブザーバビリティツール「New Relic」を採用

Slide 21

Slide 21 text

©2024 TVer INC. 21 課題解決のためのアクション New Relicでオブザーバビリティ導入にあたり以下対応 ① アプリケーションや外部サービスの観測データを集約 ② 社員にNew Relicのアカウントを発行 ③ ダッシュボードを利用した観測データの可視化 ④ デプロイの自動記録

Slide 22

Slide 22 text

©2024 TVer INC. 22 課題解決のためのアクション フロントエンドの観測データ バックエンドの観測データ 観測データを集約 ① アプリケーションや外部サービスの観測データを集約 外部サービスの観測データ

Slide 23

Slide 23 text

©2024 TVer INC. 23 課題解決のためのアクション ● 同時接続数 ● キャッシュヒット率 ● etc … ● リクエスト数 ● API別実行数 ● タスク数 ● etc … ● JSエラー / クラッシュ ● リクエストURL ● OS情報 ● etc … ① アプリケーションや外部サービスの観測データを集約 フロントエンドの観測データ バックエンドの観測データ 観測データを集約 外部サービスの観測データ

Slide 24

Slide 24 text

©2024 TVer INC. 24 課題解決のためのアクション CSチーム 開発者チーム PdMやディレクター等 ② 社員にNew Relicのアカウントを発行

Slide 25

Slide 25 text

©2024 TVer INC. 25 課題解決のためのアクション ● 同時接続数 ● キャッシュヒット率 ● etc … ● リクエスト数 ● API実行数 ● タスク数 ● etc … ● JSエラー / クラッシュ ● リクエストURL ● OS情報 ● etc … ③ ダッシュボードを利用した観測データの可視化 フロントエンドの観測データ バックエンドの観測データ 観測データを集約 外部サービスの観測データ

Slide 26

Slide 26 text

No content

Slide 27

Slide 27 text

©2024 TVer INC. 27 課題解決のためのアクション CI/CDでデプロイを自動的に記録 GitHub Actions ④ デプロイの自動記録 New Relic公式のワークフローを組み込むだけでデプロイの記録が可能 開発チーム

Slide 28

Slide 28 text

デプロイのタイミングと内容の可視化

Slide 29

Slide 29 text

©2024 TVer INC. 29 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ

Slide 30

Slide 30 text

©2024 TVer INC. 30 TVerでのNew Relic活用事例 ● 活用事例① 開発チームに頼らない問い合わせ対応 ● 活用事例② チーム間の効率的なコミュニケーション ● 活用事例③ リリースに伴うユーザー影響の可視化

Slide 31

Slide 31 text

©2024 TVer INC. 31 開発チーム CSチーム xxの問い合わせの調査お願いします 活用事例① 開発チームに頼らない問い合わせ対応 yyの問い合わせの調査お願いします 新規開発が進まない・・・

Slide 32

Slide 32 text

©2024 TVer INC. 32 活用事例① 開発チームに頼らない問い合わせ対応 利用者 CSチーム ② 問い合わせ (自動で端末IDが付属) ① 端末IDやOSの情報の保存 ③ 端末IDから利用者のOSの情報を確認 ④ 調査結果の連絡

Slide 33

Slide 33 text

端末IDの入力 OSの情報やイベント エラーメッセージやスタックトレース

Slide 34

Slide 34 text

©2024 TVer INC. 34 活用事例① 開発チームに頼らない問い合わせ対応 ● 広告ブロックアプリ起因で動画が再生されない ● ネットワークが不安定な環境で動画が再生されない ● 利用者の申告内容とエラーが発生している端末に差異 ● etc … CSチーム

Slide 35

Slide 35 text

©2024 TVer INC. 問い合わせ内容から事象を 推測するための勘と経験が必要 35 活用事例① 開発チームに頼らない問い合わせ対応 CSチーム Before 誰でもイベントやログから 正確な対応ができるように After 調査依頼の減少による運用負荷軽減 大量の調査依頼による運用負荷増加 CSチーム 開発チーム 開発チーム

Slide 36

Slide 36 text

©2024 TVer INC. 36 活用事例② チーム間の効率的なコミュニケーション 開発チーム CSチーム どんなエラー? 端末は何? いつ? こんな問い合わせ来てます

Slide 37

Slide 37 text

パーマリンクのコピー ※選択した期間や検索条件も保存される

Slide 38

Slide 38 text

©2024 TVer INC. 38 活用事例② チーム間の効率的なコミュニケーション CSチーム 開発チーム 特定の端末でこのような事象が発生しています https://onenr.io/xxxxx 問い合わせに関する調査を開発者に依頼するケース

Slide 39

Slide 39 text

©2024 TVer INC. 39 活用事例② チーム間の効率的なコミュニケーション バージョン起因のバグようです! https://onenr.io/yyyyy 最新版では発生しないため、アップデートの連絡お願いします! 問い合わせに関する調査を開発者に依頼するケース CSチーム 開発チーム

Slide 40

Slide 40 text

パーマリンクのコピー

Slide 41

Slide 41 text

©2024 TVer INC. 41 CSチーム Before After CSチーム 開発チーム 開発チーム 調査に必要な正確な情報を揃える ことに時間がかかる 調査に必要かつ正確な情報を迅速に揃え 開発チームに共有できるように 手戻りの少ないコミュニケーションで 効率的な調査が可能に コミュニケーションミスにより不正確で 非効率な調査をすることも 活用事例② チーム間の効率的なコミュニケーション

Slide 42

Slide 42 text

©2024 TVer INC. ● リリースに起因しているのか通常の問い合わせなのかの判断 ● 調査中と案内済みの利用者に新バージョンで事象が改善する旨の案内 ● 新機能リリースに伴うヘルプページの更新等 42 活用事例③ リリースによるユーザー影響の可視化 CSチームはサービスのリリースについて把握しておく必要がある CSチーム

Slide 43

Slide 43 text

©2024 TVer INC. 43 開発チーム CSチーム 改善版はいつリリースした? この前のリリースと 今来てる問い合わせは関係ある? リリースしてから このエラーが発生した? リリースしてから パフォーマンス悪くなった? 活用事例③ リリースによるユーザー影響の可視化

Slide 44

Slide 44 text

デプロイのタイミングと内容の可視化

Slide 45

Slide 45 text

デプロイ前後のパフォーマンスの変化 デプロイの詳細

Slide 46

Slide 46 text

©2024 TVer INC. 46 活用事例③ リリースに伴うユーザー影響の可視化 リリースが起因して問い合わせが増えているケース CSチーム 開発チーム 先日のリリース以降、xxに関する問い合わせが複数来てます。 https://onenr.io/xxxxx

Slide 47

Slide 47 text

©2024 TVer INC. 47 活用事例③ リリースに伴うユーザー影響の可視化 リリースが起因して問い合わせが増えているケース CSチーム 開発チーム 原因特定して修正版リリースしました。 利用者に最新版を利用するようご案内お願いします。 https://onenr.io/yyyyy

Slide 48

Slide 48 text

©2024 TVer INC. 48 CSチーム Before After CSチーム 開発チーム 開発チーム リリースが起因した 問い合わせか判断が難しい リリースが起因した問い合わせを 迅速かつ正確に対応できるように リリースが起因した 問題か判断が容易に リリースが起因した 問題か判断が難しい 活用事例③ リリースに伴うユーザー影響の可視化

Slide 49

Slide 49 text

©2024 TVer INC. 49 活用事例まとめ ● 経験が少なくてもイベントやログから正確な対応ができるように ● 調査に必要かつ正確な情報を迅速に揃え開発チームに共有できるように ● リリースが起因した問い合わせを迅速かつ正確に対応できるように CSチーム

Slide 50

Slide 50 text

©2024 TVer INC. 50 開発チーム 活用事例まとめ ● 開発チームへの調査依頼の減少による運用負荷軽減 ● 手戻りの少ないコミュニケーションで効率的な調査が可能に ● リリースが起因したエラーか判断が容易に

Slide 51

Slide 51 text

©2024 TVer INC. 51 活用事例まとめ Win-Win CSチーム 開発チーム SREチーム ① 問い合わせ対応の品質向上! ② アジリティの改善!

Slide 52

Slide 52 text

©2024 TVer INC. 52 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ

Slide 53

Slide 53 text

©2024 TVer INC. ● SLI / SLOの策定準備 ○ ビジネスやユーザー体験に関連する指標を整理し、ユーザー目線でサービスが 健全に稼働しているのか可視化したい ● システム全体の可視性向上 ○ システム全体を見渡せるよう分散トレーシングの範囲を広げ、さらに効率的な 調査をできるようにして本質的な開発にかける時間を増やしたい ● キャパシティプランニング ○ アクセス数や負荷、コストなどを可視化しサービス拡大に伴うサーバー台数の 増加などを適切に評価できるようにしたい 53 今後の取り組み

Slide 54

Slide 54 text

©2024 TVer INC. 54 アジェンダ 1. 自己紹介 2. 今回の登壇内容について 3. TVerについて 4. サービス規模拡大に伴い生じた課題 5. 課題解決のためのアクション 6. TVerでのNew Relic活用事例 7. 今後の取り組み 8. まとめ

Slide 55

Slide 55 text

©2024 TVer INC. 55 まとめ オブザーバビリティを導入することで 問い合わせ対応の品質向上とアジリティの向上に繋がる

Slide 56

Slide 56 text

No content