もう迷わない！A/Bテスト技術選定で重視すべきポイント

2021年5月28日(金)に行われたイベント「事業成長を加速させたエンジニアリングのウラ側」の登壇資料です。

開発中のECサイトのLPページにA/Bテストを導入しました。導入と運用をしてきて気づいた A/Bテストの比較観点と、多様なA/Bテストツールの比較についてお話しします。

Transcript

1. もう迷わない！ A/Bテスト技術選定で重 視すべきポイント 2021 /5 / 28 ~ 事業成長を加速させた加速させたエンジニアリングのウラ側 串崎康介 / @wisetlaloc
2. Agenda - A/Bテストとは - 今運用しているA/Bテストの事例 - 他のA/Bテストの方法と比較
3. A/Bテストとは 「広義のA/Bテストはインターネットマーケティングにおける 施策の良否を判断するために、2つの施策同士を比較検討 する行為全般」(wikipedia 「A/Bテスト」)
4. 今運用している A/Bテストの事例
5. 背景
6. 背景 対象: 初回購入者向け商品の LP チーム: PM Coder Eng(私)
7. Google Optimize (LowCode)
8. Google Optimize (LowCode) 2020/12~半年で4.5回A/Bテストで比較できた
9. 注意点 - コードが競合することもある - 動的要素の多いページには向かない - Railsが管理するasset(画像)の追加が手間 Google Optimize (LowCode)
10. 他のA/Bテストの方法と比較
11. Google Optimize (FrontEnd) 1 Experience を作成 2 Experience id から variant(0, 1など)を取得する const variant = window.google_optimize.get("ID"); 3 受け取った variant の値に応じて表示を変える
12. Google Optimize (BackEnd) 1 Experience を作成 2 ランダムな variant_id を設定する variant_id = [0, 1].sample 3 Experience id と Variant id をページ読み込み時に送信する ga('set', 'exp', “#{EXPERIENCE_ID}.#{variant_id}”);
13. Split (gem) https://github.com/splitrb/split Redisに記録 専用の管理画面 　→ GoogleAnalyticsを使う前提だと別途連携する必要がある 出しわけ: @cv_button = ab_test(:cv_button, '注文する', '購入する') CV記録: ab_finished(:cv_button)
14. 結論 さっくり(Easy) かっちり(Simple) デザイン変更 or 機能追加(FrontEnd) GoogleOptimize (LowCode) GoogleOptimize (FrontEnd) 機能追加(BackEnd) GoogleOptimize(BackEnd) (or Split (gem)) Google Optimize を使う
15. ご清聴ありがとうございました
16. おまけ - Google Optimize で多腕バンデットアルゴリズムは使えるか？ 動的なトラフィック調整はできないようです https://support.google.com/optimize/answer/9366791?hl=ja 使いたい場合は `split` を使うのも手ですね。