もう迷わない！A/Bテスト技術選定で重視すべきポイント

2021年5月28日(金)に行われたイベント「事業成長を加速させたエンジニアリングのウラ側」の登壇資料です。

開発中のECサイトのLPページにA/Bテストを導入しました。導入と運用をしてきて気づいた A/Bテストの比較観点と、多様なA/Bテストツールの比較についてお話しします。

Transcript

1. もう迷わない！
   A/Bテスト技術選定で重
   視すべきポイント
   2021 /5 / 28
   ~ 事業成長を加速させた加速させたエンジニアリングのウラ側
   串崎康介 / @wisetlaloc
   

   View Slide

2. Agenda
   - A/Bテストとは
   - 今運用しているA/Bテストの事例
   - 他のA/Bテストの方法と比較
   

   View Slide

3. A/Bテストとは
   「広義のA/Bテストはインターネットマーケティングにおける
   施策の良否を判断するために、2つの施策同士を比較検討
   する行為全般」(wikipedia 「A/Bテスト」)
   

   View Slide

4. 今運用している
   A/Bテストの事例
   

   View Slide

5. 背景
   

   View Slide

6. 背景 対象: 初回購入者向け商品の LP
   チーム:
   PM Coder Eng(私)
   

   View Slide

7. Google Optimize
   (LowCode)
   

   View Slide

8. Google Optimize
   (LowCode)
   2020/12~半年で4.5回A/Bテストで比較できた
   

   View Slide

9. 注意点
   - コードが競合することもある
   - 動的要素の多いページには向かない
   - Railsが管理するasset(画像)の追加が手間
   Google Optimize
   (LowCode)
   

   View Slide

10. 他のA/Bテストの方法と比較
    

    View Slide

11. Google Optimize (FrontEnd)
    1 Experience を作成
    2 Experience id から variant(0, 1など)を取得する
    const variant = window.google_optimize.get("ID");
    3 受け取った variant の値に応じて表示を変える
    

    View Slide

12. Google Optimize (BackEnd)
    1 Experience を作成
    2 ランダムな variant_id を設定する
    variant_id = [0, 1].sample
    3 Experience id と Variant id をページ読み込み時に送信する
    ga('set', 'exp', “#{EXPERIENCE_ID}.#{variant_id}”);
    

    View Slide

13. Split (gem) https://github.com/splitrb/split
    Redisに記録
    専用の管理画面
    　→ GoogleAnalyticsを使う前提だと別途連携する必要がある
    出しわけ: @cv_button = ab_test(:cv_button, '注文する', '購入する')
    CV記録: ab_finished(:cv_button)
    

    View Slide

14. 結論
    さっくり(Easy) かっちり(Simple)
    デザイン変更 or
    機能追加(FrontEnd)
    GoogleOptimize
    (LowCode)
    GoogleOptimize
    (FrontEnd)
    機能追加(BackEnd) GoogleOptimize(BackEnd) (or Split (gem))
    Google Optimize を使う
    

    View Slide

15. ご清聴ありがとうございました
    

    View Slide

16. おまけ
    - Google Optimize で多腕バンデットアルゴリズムは使えるか？
    動的なトラフィック調整はできないようです
    https://support.google.com/optimize/answer/9366791?hl=ja
    使いたい場合は `split` を使うのも手ですね。
    

    View Slide