Upgrade to Pro — share decks privately, control downloads, hide ads and more …

もう迷わない!A/Bテスト技術選定で重視すべきポイント

 もう迷わない!A/Bテスト技術選定で重視すべきポイント

2021年5月28日(金)に行われたイベント「事業成長を加速させたエンジニアリングのウラ側」の登壇資料です。

開発中のECサイトのLPページにA/Bテストを導入しました。導入と運用をしてきて気づいた A/Bテストの比較観点と、多様なA/Bテストツールの比較についてお話しします。

Fa37be48a20daa155e300c3c07365039?s=128

Kosuke Kushizaki

May 28, 2021
Tweet

Transcript

  1. もう迷わない! A/Bテスト技術選定で重 視すべきポイント 2021 /5 / 28 ~ 事業成長を加速させた加速させたエンジニアリングのウラ側 串崎康介

    / @wisetlaloc
  2. Agenda - A/Bテストとは - 今運用しているA/Bテストの事例 - 他のA/Bテストの方法と比較

  3. A/Bテストとは 「広義のA/Bテストはインターネットマーケティングにおける 施策の良否を判断するために、2つの施策同士を比較検討 する行為全般」(wikipedia 「A/Bテスト」)

  4. 今運用している A/Bテストの事例

  5. 背景

  6. 背景 対象: 初回購入者向け商品の LP チーム: PM Coder Eng(私)

  7. Google Optimize (LowCode)

  8. Google Optimize (LowCode) 2020/12~半年で4.5回A/Bテストで比較できた

  9. 注意点 - コードが競合することもある - 動的要素の多いページには向かない - Railsが管理するasset(画像)の追加が手間 Google Optimize (LowCode)

  10. 他のA/Bテストの方法と比較

  11. Google Optimize (FrontEnd) 1 Experience を作成 2 Experience id から

    variant(0, 1など)を取得する const variant = window.google_optimize.get("ID"); 3 受け取った variant の値に応じて表示を変える
  12. Google Optimize (BackEnd) 1 Experience を作成 2 ランダムな variant_id を設定する

    variant_id = [0, 1].sample 3 Experience id と Variant id をページ読み込み時に送信する ga('set', 'exp', “#{EXPERIENCE_ID}.#{variant_id}”);
  13. Split (gem) https://github.com/splitrb/split Redisに記録 専用の管理画面  → GoogleAnalyticsを使う前提だと別途連携する必要がある 出しわけ: @cv_button =

    ab_test(:cv_button, '注文する', '購入する') CV記録: ab_finished(:cv_button)
  14. 結論 さっくり(Easy) かっちり(Simple) デザイン変更 or 機能追加(FrontEnd) GoogleOptimize (LowCode) GoogleOptimize (FrontEnd)

    機能追加(BackEnd) GoogleOptimize(BackEnd) (or Split (gem)) Google Optimize を使う
  15. ご清聴ありがとうございました

  16. おまけ - Google Optimize で多腕バンデットアルゴリズムは使えるか? 動的なトラフィック調整はできないようです https://support.google.com/optimize/answer/9366791?hl=ja 使いたい場合は `split` を使うのも手ですね。