Firebase A/B Testingを使って サーバ側までA/Bテストした話 (Android)

Masahiro Higuchi / 樋口雅拓 ● グリーグループのリミア株式会社で、LIMIA という住ま い領域のメディアを作っています。 ● 機械学習のエンジニアですが、iOS, Androidなどもやっ ている何でも屋です。 ● 4歳の娘のパパ

背景と目的みたいなもの ● A/BテストにFirebase A/B Testingを使っている。 ● 色や形などデザインについてA/Bテストしていた。 ● これって、サーバ側のA/Bテストもできるんじゃね？ → サーバのデータ取得APIのA/BテストをFirebase A/B Testingを使って やってみた事例を発表します。

何をA/Bテストしたか ● 記事一覧を表示し、タップすると記事を閲覧でき る。 ● 記事一覧はサーバから取得したデータを表示し ており、この並び順をA/Bテストする。 ● コンバージョンとして、記事のタップを使う。

Firebase RemoteConfig設定 ● RemoteConfigはKey-Valueストア。 ● PCブラウザから設定できるので、企 画側で対応可能。 ● Firebase A/B Testingでは、直接的に は指定したRemoteConfig keyの値 が変更される。 ● そこでデータを取得するAPI毎に RemoteConfig keyを作成する。

Firebase RemoteConfigからのデータ取得コード defaultはリソース ファイルに保持し ておき、 RemoteConfigか ら非同期に値を取 得します。

HTTPリクエストのQueryStringに追加 QueryStringにRemoteconfigから取得したパラメータを追加します。 サーバ側では、そのパラメータを使って処理を分けます。

Firebase A/B Testing設定 ● ユーザグループAとBに送られる RemoteConfigの値を設定しま す。 ● PCブラウザから設定できるので、 企画側で対応可能。

テスト結果 PCブラウザから結果を確認で きる。 設定から結果確認までPCブラ ウザで出来るので、エンジニ アが開発に集中できる！

テスト結果分析 A/Bテストでどちらのセグメントに振り 分けられたか、UserPropertyに設定さ れます。keyは次のようになります。 firebase_exp_

5メディア全てでFirebaseを使ってます。 絶賛仲間募集中！ グリーグループには全5メディアあり、Firebaseを使う事に よって横比較が可能になった。 mogna

まとめ ● Firebase A/B Testingを使ってサーバまでA/Bテストできた。 ● PCブラウザから設定出来るため、企画だけでA/Bテスト可能に。 ● テスト結果はUserPropertyに設定されBigQueryで分析できる。 ご清聴、ありがとうございました！