2023/09/02 iOSDC Japan 2023 イベントURL : https://iosdc.jp/2023/ https://fortee.jp/iosdc-japan-2023/proposal/dd08cde4-d391-4538-800b-27bdf975f983
iOSエンジニアがいなくても泣かない！配信サービスのiOSアプリにおけるオブザーバビリティの実装と改善株式会社 TVer / 加我 貴志2023/09/02 iOSDC Japan 2023
View Slide
iOSエンジニア不在でもサービスを改善したい！配信サービスのiOSアプリにおけるオブザーバビリティの導入と改善株式会社 TVer / 加我 貴志2023/09/02 iOSDC Japan 2023
本セッションでお話すること● TVerにおけるiOSアプリ開発の課題● iOSアプリへのオブザーバビリティ導入● 視聴体験の可視化お話しないこと● TVerにおけるiOSアプリの具体的な設計や実装まえがき
自己紹介・加我 貴志 (@TAKA_0411)・株式会社TVer サービス事業本部 SRE・趣味はカメラとサウナとVTuber・iOSDC Japan 2023 への参加 コアスタッフ, スピーカー, 企業スポンサー, 個人スポンサー
自己紹介
アジェンダ● TVerについて● TVerのiOSアプリ開発の課題● iOSアプリへのオブザーバビリティ導入● 視聴体験の可視化● まとめ
TVerのiOSアプリ開発の課題iOS アプリ開発の課題 (リニューアル時)1. 組織的な課題2. 個人的な課題
TVerのiOSアプリ開発の課題iOS アプリ開発の課題 (リニューアル時)1. 組織的な課題○ アプリは協力会社との共同開発○ iOSの専任エンジニアが不在○ アプリの品質を計測するノウハウがなく、ユーザーに発生している問題を認識できない
クライアントは全て協力会社との共同開発
TVerのiOSアプリ開発の課題iOS アプリ開発の課題 (リニューアル時)2. 個人的な課題○ フロントエンドの知見が少ない■ バックエンド ( インフラ + α) まで○ New Relic (後述) に触れるのが初めて■ 他社のモニタリングSaaSの利用経験はあり
TVerのiOSアプリ開発の課題開発体制がどうであれ事業者がサービスの品質に責任を持つ必要がある
iOSアプリ開発の課題と今回のゴール● 課題○ アプリの品質を計測できていない○ ユーザーに発生している問題を認識できない● ゴール○ アプリの品質をデータとして計測する○ ユーザーに発生した問題をデータで解決するiOSアプリへのオブザーバビリティ導入読み込みが速い再生が途切れないクラッシュしない
iOSアプリへのオブザーバビリティ導入💡 オブザーバビリティ 💡
iOSアプリへのオブザーバビリティ導入オブザーバビリティとは (1)● システムの内部状態を把握するための尺度○ 普段得られているデータからシステムで起きていることをどれだけ把握できるか○ 把握するためにはテレメトリーデータが必要■ イベント■ トレース■ メトリクス■ ログ■ プロファイル
iOSアプリへのオブザーバビリティ導入オブザーバビリティとは (2)● 予期せぬ問題に対処するために必要○ “ ”未知の未知 への対応○ “ ”モニタリングは 既知の未知 への対応● アプリのデータを収集・分析すればユーザーの問題も認識できるのでは？【三石誠司・グローバルとローカル：世界は今】（146）「既知」と「未知」https://www.jacom.or.jp/column/2019/09/190906-39038.php
問題を認識できていないケースiOSアプリへのオブザーバビリティ導入サービスのユーザー サービスの開発者アプリのクラッシュ無限ローディング外部サービスとの通信エラーデバイスの発熱でアプリが強制終了サービスが使えないんだけど！！！システムに問題は出てないですねメモリリークでスローダウン
iOSアプリへのオブザーバビリティ導入アプリの品質可視化に向けた3ステップサービスの利用者 サービスの開発者１．アプリで発生している データの収集2．収集したデータを サーバーに集約3．集約されたデータを 分析・可視化
iOSアプリへのオブザーバビリティ導入アプリのデータを収集・分析するサービス● Firebase○ Crashlytics○ Performance Monitoring● Sentry○ Error Monitoring○ Performance Monitoring● Datadog○ Mobile Real User Monitoring
iOSアプリへのオブザーバビリティ導入TVerではリニューアル時にNew Relic Mobileを導入● データの収集○ アプリのテレメトリーデータ○ メモリ使用量やアプリの起動時間○ 独自のカスタムイベント● データの分析○ ビルトインのダッシュボード○ カスタムダッシュボード
iOSアプリへのオブザーバビリティ導入Q. なぜNew Relic Mobileを導入したのか● サービスを横断的に同一UIで観測できる○ フロントエンドもバックエンドも○ 少人数組織なのでツールのサイロ化を避けたい● 動画プレイヤーも観測できる (後述)
iOSアプリへのオブザーバビリティ導入
iOSアプリへのオブザーバビリティ導入New Relic Mobile Agentの導入● パッケージマネージャーで導入可能○ CocoaPodshttps://docs.newrelic.com/docs/mobile-monitoring/new-relic-mobile-ios/installation/cocoapods-installation/○ Swift Package Managerhttps://docs.newrelic.com/docs/mobile-monitoring/new-relic-mobile-ios/installation/spm-installation/
iOSアプリへのオブザーバビリティ導入アプリの観測が可能となった👏
改善👏iOSアプリへのオブザーバビリティ導入サービスのユーザー サービスの開発者アプリのクラッシュ番組を見てるとアプリが落ちるんだけど！！ライブ配信の視聴中に◯◯の処理が原因でアプリがクラッシュしていますね。
視聴体験の可視化当初の課題とゴール● 課題○ アプリの品質を計測できていない○ ユーザーに発生している問題を認識できない● ゴール○ アプリの品質をデータとして計測するした○ データからアプリの問題を解決するしたアプリに問題がない = 快適に番組を視聴できている？
視聴体験の可視化“ ”視聴体験 の可視化● ユーザーが快適に番組を視聴できているか○ アプリの動作状況○ バックエンドの動作状況○ ユーザーの番組視聴状況※個人を特定できないようになっていますずっとバッファリングしてるなぁ・・・
視聴体験の可視化Q. なぜ視聴体験を可視化する必要があるのか
視聴体験の可視化A. 視聴体験を阻害する要因を速やかに取り除きたい
視聴体験の可視化New Relic Video Agent● 動画プレイヤーのイベントを検知, 取得○ iOSだとAVPlayer, AndroidだとMedia3○ 動画広告のイベントにも対応● iOS, Android, JavaScriptに対応○ https://github.com/newrelic/video-agent-iOS○ https://github.com/newrelic/video-agent-android○ https://github.com/newrelic/video-videojs-js
視聴体験の可視化# CocoaPodsによる導入pod 'NewRelicVideoCore', :git => 'https://github.com/newrelic/video-agent-iOS'pod 'NRAVPlayerTracker', :git => 'https://github.com/newrelic/video-agent-iOS'pod 'NRIMATracker', :git => 'https://github.com/newrelic/video-agent-iOS'# AVPlayerのイベントをトラッキングlet trackerId = NewRelicVideoAgent.sharedInstance().start(withContentTracker:NRTrackerAVPlayer.init(avPlayer: player))# AVPlayerとIMA3 trackerのイベントをトラッキングlet trackerId = NewRelicVideoAgent.sharedInstance().start(withContentTracker:NRTrackerAVPlayer.init(avPlayer: player), adTracker: NRTrackerIMA.init())New Relic Video Agent の導入 (Swift)i
視聴体験の可視化取得できるイベントと属性
動画再生時はデバイスに起因するエラーが発生していそう動画再生後は純粋なアプリ起因のエラーが多そう
視聴体験の可視化動画プレイヤーを観測してわかったこと● デバイス起因の問題と傾向● ネットワーク起因の問題と傾向● 配信サーバーやコンテンツの問題
まとめiOSエンジニア不在でも品質の改善は可能● 品質を可視化するための3ステップ○ データの収集、集約、分析○ TVerではNew Relic Mobileを導入● 実際の改善○ 収集したテレメトリーデータを可視化・分析○ データを見て効率的にクラッシュ改善● 想定外に対応するためのオブザーバビリティ
まとめ将来の展望● ユーザー体験のさらなる改善○ メモリ使用量の最適化○ MetricKitの導入・活用● オブザーバビリティの成熟度向上○ テレメトリーデータの拡充○ SLI / SLOの導入
iOSエンジニアと一緒にTVerをもっと改善したい
謝辞
モバイルアプリのオブザーバビリティを向上させるプラクティスhttps://fortee.jp/iosdc-japan-2022/proposal/6bafac07-06f1-4846-964e-78dccfb29185
おまけ：New Relic Mobileで見れるもの
サマリー
クラッシュ分析
バージョン毎のトレンドとバージョンの詳細
techtver
pkshadeck
orgachem
niftycorp
you
iamshunta
biwashi
nttcom
upura
loglass2019
palark
bigwheel
minorun365
soudai
lauravandoore
pauljervisheath
robhawkes
keathley
davidbonilla
denniskardys
chrislema
zakiyama
sachag
yeseniaperezcruz
rmw