Firebase A/B Testingを使ってサーバ側までA/Bテストした話(Android)

Firebase A/B Testingを使ってサーバ側までA/Bテストした話 (Android)

Masahiro Higuchi / 樋口雅拓 • グリーグループのリミア株式会社で、LIMIA という住まい領域のメディアを作っています。 • 機械学習のエンジニアですが、iOS,
Androidなどもやっている何でも屋です。 • 4歳の娘のパパ

背景と目的みたいなもの • A/BテストにFirebase A/B Testingを使っている。 • 色や形などデザインについてA/Bテストしていた。 • これって、サーバ側のA/Bテストもできるんじゃね？ →
サーバのデータ取得APIのA/BテストをFirebase A/B Testingを使ってやってみた事例を発表します。

何をA/Bテストしたか • 記事一覧を表示し、タップすると記事を閲覧できる。 • 記事一覧はサーバから取得したデータを表示しており、この並び順をA/Bテストする。 • コンバージョンとして、記事のタップを使う。

Firebase RemoteConfig設定 • RemoteConfigはKey-Valueストア。 • PCブラウザから設定できるので、企画側で対応可能。 • Firebase A/B
Testingでは、直接的には指定したRemoteConfig keyの値が変更される。 • そこでデータを取得するAPI毎に RemoteConfig keyを作成する。

Firebase RemoteConfigからのデータ取得コード defaultはリソースファイルに保持しておき、 RemoteConfigから非同期に値を取得します。

HTTPリクエストのQueryStringに追加 QueryStringにRemoteconfigから取得したパラメータを追加します。サーバ側では、そのパラメータを使って処理を分けます。

Firebase A/B Testing設定 • ユーザグループAとBに送られる RemoteConfigの値を設定します。 • PCブラウザから設定できるので、企画側で対応可能。

テスト結果 PCブラウザから結果を確認できる。設定から結果確認までPCブラウザで出来るので、エンジニアが開発に集中できる！

テスト結果分析 A/Bテストでどちらのセグメントに振り分けられたか、UserPropertyに設定されます。keyは次のようになります。 firebase_exp_<ABテスト番号>

5メディア全てでFirebaseを使ってます。絶賛仲間募集中！グリーグループには全5メディアあり、Firebaseを使う事によって横比較が可能になった。 mogna

まとめ • Firebase A/B Testingを使ってサーバまでA/Bテストできた。 • PCブラウザから設定出来るため、企画だけでA/Bテスト可能に。 • テスト結果はUserPropertyに設定されBigQueryで分析できる。ご清聴、ありがとうございました！

Firebase A/B Testingを使ってサーバ側までA/Bテストした話(Android)

Firebase A/B Testingを使ってサーバ側までA/Bテストした話(Android)

mahiguch

More Decks by mahiguch

Other Decks in Programming

Featured

Transcript