Android Vitalsのデータを自動監視して、ビジネス指標を向上させよう/ Automatically monitor Android Vitals data to improve business metrics.

by Yusuke Suzuki

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© ZOZO, Inc. https://zozo.jp/  ● ファッションEC  ● 1,500以上のショップ、8,500以上のブランドの取り扱い  ● 常時90万点以上の商品アイテム数と毎日平均2,600点以上の新着商品を掲載（2022年6月末時点）  ● ブランド古着のファッションゾーン「ZOZOUSED」や  コスメ専門モール「ZOZOCOSME」、靴の専門モール  「ZOZOSHOES」、ラグジュアリー＆デザイナーズゾーン  「ZOZOVILLA」を展開  ● 即日配送サービス  ● ギフトラッピングサービス  ● ツケ払いなど  3

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© ZOZO, Inc. 6 ビジネス指標とエンジニアの貢献  ビジネス指標  ○ サービスの性能を測るための指標を指すこととする(e.g. CVR, UU)      エンジニアが貢献できること  ○ 案件の実装  ○ エンジニアからの新機能/機能改善の提案と実装  ○ アプリの品質を維持・改善する  品質の例: 起動速度, クラッシュ, ANR, レンダリングスピード  ○ etc.  話すこと 

Slide 7

Slide 7 text

© ZOZO, Inc. 7 アプリの品質とビジネス指標の関係①    (前略) アプリの指標が上昇すると宣伝材料となる価値が高まり、Google Play ストアの検索ランキングも向上します。また、 Google Play の「新着＆更新済み」や「エディターのおすすめ」のコレクション、Google Play アワードのノミネート作品に選ばれる可能性も高まります。  Android Developers「Android Vitals を使用してアプリのパフォーマンス、安定性、サイズを改善する」. https://developer.android.com/distribute/best-practices/develop/android-vitals?hl=ja   Android Developersにおいて、品質に関する指標が上昇すると下記のメリットがあることが言及されている    ● Play Storeの検索ランキングの向上  ● 「新着＆更新済み」「エディターのおすすめ」への掲載の可能性が上がる  ● Google Play アワードのノミネートの可能性が上がる 

Slide 8

Slide 8 text

© ZOZO, Inc. 8 アプリの品質とビジネス指標の関係②  Google I/O 2022. 「What’s new in app performance」. https://www.youtube.com/watch?v=DYdHLqLVspY     Google I/O 2022「What’s new in app performance」において紹介されている例  ● ANRを50%減少  → ユーザリテンション率が20%増加  → トランザクション数が30%増加    ● アプリ起動時間を35%改善  ● ANRを40%減少  → より良いレビューが20%増加   

Slide 9

Slide 9 text

© ZOZO, Inc. 9 Android Vitals  ● アプリの安定性とパフォーマンスを改善するための  Googleの取り組み    ● アプリの品質に関する指標が自動的に記録される    ● 主な指標 (=Core vitals)  ○ ANR発生率  ○ クラッシュ発生率  ○ 停止した部分的なwake lock(バックグラウンド)  ○ 過度のwakeup    ● その他の指標  ■ スタートアップ時間と読み込み時間  ■ バッテリー情報, etc.      Google Play Consoleでの表示例アプリの品質を確認する方法 

Slide 10

Slide 10 text

© ZOZO, Inc. 10 ● ANR発生率  ○ ANR(Application Not Responding)が発生した割合  ○ ANRはUIスレッドが長時間ブロックされると発生する    ● クラッシュ発生率  ○ クラッシュが発生した割合  ○ クラッシュは未処理の例外やシグナルがスローされると発生する    ● 停止した部分的なwake lock (バックグラウンド)  ○ アプリがバックグラウンドで実行されており、1時間以上続く部分的なwake-lockが発生した割合  ○ 部分的なwake-lockとはディスプレイがオフになった後もCPUを動作させられる仕組み    ● 過度のwakeup  ○ 平均して1時間に10回を超えるwakeupが発生したセッションの割合  ○ wakeupとはAlarmManagerAPIの機能で、指定した時間に処理を開始する仕組み  Core vitalsの詳細 

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© ZOZO, Inc. 12 ZOZOTOWN Android チーム内の取り組みと改善点      毎朝、手動で監視をして、クラッシュとANRの指標の改善・維持に取り組んでいる        ● 手動監視  ○ Firebase Crashlytics  ■ クラッシュフリー率  ■ 増加傾向のクラッシュ  ○ Google Play Console  ■ ANR発生率      自動監視 + 監視指標を増やす      改善点     

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© ZOZO, Inc. 2022年3月にリリースされ、API経由でCore vitalsの指標が取得可能になった    ● 「Core vitals」の4つ指標を取得可能  ○ ANR発生率  ○ クラッシュ発生率  ○ 停止した部分的なwake lock(バックグラウンド)  ○ 過度のwakeup    ● 使用例  ○ 独自のダッシュボードの構築  ○ 他のデータセットとの結合  ○ etc..  14 Google Play Developer Reporting APIが爆誕    Android Developers Blog. 「Access Android vitls data through the new Play Dveloper Reporting API」. https://android-developers.googleblog.com/2022/03/play-developer-reporting-API.html  

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© ZOZO, Inc. 17 指標値の取得     HTTP メソッド  POST applicationId: AndroidのアプリケーションIDを指定  ● 例: jp.zozo.android.town          metricSet: 指標の集合(=MetricSet)を指定  ● ANR: anrRateMetricSet  ● クラッシュ: crashRateMetricSet  ● 停止した部分的なwake lock(バックグラウンド): stuckBackgroundWakelockRateMetricSet  ● 過剰なウェイクアップ: excessiveWakeupRateMetricSet  エンドポイント https://playdeveloperreporting.googleapis.com/v1beta1/apps/{applicationId}/{metricSet}

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© ZOZO, Inc. 20 集計周期と集計期間を指定する。 TimeLineSpecのJSON  aggregationPeriod  ● 1日周期: DAILY  ● 1時間周期: HOURLY  ● 不特定の周期:  AGGREGATION_PERIOD_UNSPECIFIED    startTime  ● 集計開始日時を指定する  ● utcOffset, timeZoneなどを指定する    endTime  ● 集計終了日時を指定  ● startTimeと同様にパラメータを指定する    timelineSpec     

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© ZOZO, Inc. 22 指標データの「取得軸」を指定する。 dimensionsの例  ● apiLevel: AndroidのAPIレベル  ● versionCode: アプリケーションのバージョン  ● deviceModel: 端末のモデルを示す一意の文字列  ● deviceScreenSize: 端末の画面サイズ  ● deviceScreenDpi: 端末の画面密度  例: dimensionsにapiLevelを指定した場合    → Android APIレベルごとの指標(クラッシュ発生率, ANR発生率など)を取得できる。        dimensions     

Slide 23

Slide 23 text

Slide 24

Slide 24 text

© ZOZO, Inc. 24 取得する指標を設定する。(取得するmetricSetごとに異なる)  ※crashRateMetricSet のmetricsについて説明する  crashRate ● 集計期間中に少なくとも1回のクラッシュを経験したユーザの割合    crashRate7dUserWeighted ● 過去7日間のcrashRateの移動平均  ● その日のユーザ数で重み付けされる    crashRate28dUserWeighted  ● 過去28日間のcrashRateの移動平均  ● その日のユーザ数で重み付けされる distinctUsers ● 集計期間内のユーザ数 metrics     

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

© ZOZO, Inc. 33 指標値の鮮度情報の取得      HTTP メソッド  GET エンドポイント https://playdeveloperreporting.googleapis.com/v1beta1/apps/{applicationId}/{metricSet} レスポンスの例  APIリクエスト時では、クラッシュのmetricSetは2022/9/24 が取得可能な最新のデータとなる    TimelineSpecで指定可能な最新の時刻を取得できる 

Slide 34

Slide 34 text

Slide 35

Slide 35 text

© ZOZO, Inc. 35 ● DAILYの結果のみ取得可能  ○ 現在の時刻から「N時間前」という指定ができない    ● Core vitalsの指標のみ取得可能  ○ アプリの起動時間やバッテリーの情報などの取得ができない    ● タイムゾーンが「America/Los_Angeles」の指定のみ可能  ○ 日本のタイムゾーン指定ができない          Google Play Developer Reporting APIを調査した結果     

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

© ZOZO, Inc. 38 クラッシュを自動取得できる方法の比較      データソース  GA4  Firebase Crashlytics  取得方法  BigQuery API    ※ データをBigQueryに Exportする必要あり  Analytics Data API  BigQuery API    ※ データをBigQueryに Exportする必要あり  過去24時間前の  データ取得  △    ×        ◯      欠損値が発生する  可能性あり 30分前のデータしか取得できないストリーミングエクスポートの使用で取得可能 1. アナリティクスヘルプ.「[GA4] BigQuery Export」. https://support.google.com/analytics/answer/9358801   2. Google Developers Google Analytics Data API. 「Method: properties.runRealtimeReport」. https://developers.google.com/analytics/devguides/reporting/data/v1/rest/v1beta/properties/runRealtimeReport     １      2     

Slide 39

Slide 39 text

© ZOZO, Inc. 39 クラッシュを自動取得できる方法の比較      データソース  GA4  Firebase Crashlytics  取得方法  BigQuery API    ※ データをBigQueryに Exportする必要あり  Analytics Data API  BigQuery API    ※ データをBigQueryに Exportする必要あり  過去24時間前の  データ取得  △    ×        ◯      欠損値が発生する  可能性あり 30分前のデータしか取得できないストリーミングエクスポートの使用で取得可能１      2      Firebase Crashlyticsのデータを用いることに  ● 過去24時間前のデータが取得可能  ● BigQueryへのエクスポートも簡単にできる 

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

© ZOZO, Inc. 44 アラート発生時の運用      1. 日替わりの担当者がアラートの原因を調査する  2. 必要に応じてメンバーを招集し以下の対応を進める  3. 「重要度」を決定する  ■ High: hotfix対応  ■ Medium: 次回以降のリリースで対応  ■ Low: 静観  4. 修正するバージョンを決定する  5. 修正 or 調査タスクの作成と見積もりをする  6. 修正/QA相談の担当者を決める  7. 上記の対応方針をまとめる  ○ 内容: クラッシュの内容, 重要度とその決定理由, 修正担当者/QA相談者, 対応チケット  8. 必要に応じて関係部署へ連絡  ○ 例: 問い合わせが発生しそうな場合はカスタマーサポートのチームへ共有   

Slide 45

Slide 45 text

© ZOZO, Inc. 45 重要度決定の観点     下記の観点を総合的に判断して決定する    ● アプリの基本機能に関するクラッシュか？  ○ アプリを開く  ○ ログインする, etc.  ● ユーザの問い合わせにつながりそうか？  ● 案件に影響があるか？  ○ 案件のKPI  ○ プレスリリースの有無  ○ A/Bテストの分析への影響  ● クラッシュ数は増加する見込みか？  ○ クラッシュ増加の傾向の有無  ○ 週末をまたぐか？  ○ ユーザ数などが増えるイベントが控えているか？   

Slide 46

Slide 46 text

© ZOZO, Inc. まとめ  ● ビジネス指標の向上にはアプリの品質を向上させることが重要    ● チームの取り組みに対する改善点を目標として設定  ○ 手動監視 → (過去24時間の指標値を)自動監視  ○ 監視する指標を増やす    ● Google Play Developer Reporting APIについて    ● 目標を再設定  ○ 過去24時間のクラッシュフリー率を自動監視  ○ 基準値を割ったらアラート    ● Crashlyticのデータを用いる手法を解説    ● アラート発生時のチーム内の運用について解説  46