Save 37% off PRO during our Black Friday Sale! »

GunosyにおけるABテスト

24a9590ddc0cd89f41a902f87c024eaf?s=47 ij_spitz
March 18, 2016

 GunosyにおけるABテスト

2016/03/18
エムスリー x Gunosy Beer bash!(Gunosy.beer#2)

24a9590ddc0cd89f41a902f87c024eaf?s=128

ij_spitz

March 18, 2016
Tweet

Transcript

  1. 石塚 淳(Gunosy Inc.) 2016 年 3 月 18 日 GunosyにおけるABテスト

    第2回 エムスリー x Gunosy Beer bash!
  2. 2 ©Gunosy Inc. 自己紹介 • いしつか じゅん (@ij_spitz) • データ分析チーム

    • 入社して1ヶ月半くらい • 前職はソーシャルゲームの分析基盤づくり • 今やっていることはABテスト、アドホック分析など
  3. 3 ©Gunosy Inc. 今日話すこと • GunosyとABテスト • ABテストのよくある失敗事例

  4. 4 ©Gunosy Inc. GunosyとABテスト • GunosyとABテスト • ABテストのよくある失敗事例

  5. 5 ©Gunosy Inc. GunosyとABテスト • Gunosyではあらゆる機能のリリースやアップデー トにABテストを利用している ◦ 記事配信ロジック ◦

    UI / UX
  6. 6 ©Gunosy Inc. GunosyとABテスト • なぜやるか ◦ 数字は神より正しい ▪ HiPPOに流されないフェアな指針

    ◦ 施策を定量的に評価するため ▪ 平均への回帰に惑わされない
  7. 7 ©Gunosy Inc. ABテストのよくある失敗事例 • GunosyとABテスト • ABテストのよくある失敗事例

  8. 8 ©Gunosy Inc. AAテスト • AAテストとは ◦ テスト対象と比較対象に同じパターンを出して、 値のばらつきを確認するテスト •

    AAテストをしないとどうなる? ◦ 値の上がり下がりが誤差によるものなのか判断 できない ◦ 誤った判断につながる
  9. 9 ©Gunosy Inc. データ通信速度 • データ通信速度が与える影響 ◦ Amazonでは読み込み時間が0.1秒減ると、売 上が1%増加する(2006年Amazon公表) •

    気をつけるポイント ◦ デザインや画像の変更 ◦ APIを叩く回数の変更
  10. 10 ©Gunosy Inc. 希薄化(dilution) • すべてのユーザーが目的の機能を利用するわけで はない 50% 10% 全ユーザーの50%に公開

    目的の機能を利用したユーザーは 50%中の20% 全体の10%が目的の機能を利用したユーザーになる
  11. 11 ©Gunosy Inc. 希薄化(dilution) • 気をつけるポイント ◦ 対象となるABのサイズをあらかじめ想定しておく ◦ 集計時に指標を一人当たりで補正するときは機

    能を利用したユーザーに限定する
  12. 12 ©Gunosy Inc. バイアス • テスト対象にのみに特定の条件が満たされてしまう (条件にバイアスが掛かってしまう) 図はTwitterのエンジニアブログから引用

  13. 13 ©Gunosy Inc. 最後に • もっとABテストについて知りたい方はこちら ◦ The Twitter Engineering

    Blog ▪ https://blog.twitter.com/tags/experiments?blog=engineering ◦ LinkedIn Engineering Blog ▪ https://engineering.linkedin.com/blog/topic/ab-testing