GunosyにおけるABテスト

2016/03/18
エムスリー x Gunosy Beer bash！（Gunosy.beer#2）

Transcript

1. 石塚 淳（Gunosy Inc.） 2016 年 3 月 18 日 GunosyにおけるABテスト 第2回 エムスリー x Gunosy Beer bash！
2. 2 ©Gunosy Inc. 自己紹介 • いしつか じゅん (@ij_spitz) • データ分析チーム • 入社して1ヶ月半くらい • 前職はソーシャルゲームの分析基盤づくり • 今やっていることはABテスト、アドホック分析など
3. 3 ©Gunosy Inc. 今日話すこと • GunosyとABテスト • ABテストのよくある失敗事例
4. 4 ©Gunosy Inc. GunosyとABテスト • GunosyとABテスト • ABテストのよくある失敗事例
5. 5 ©Gunosy Inc. GunosyとABテスト • Gunosyではあらゆる機能のリリースやアップデー トにABテストを利用している ◦ 記事配信ロジック ◦ UI / UX
6. 6 ©Gunosy Inc. GunosyとABテスト • なぜやるか ◦ 数字は神より正しい ▪ HiPPOに流されないフェアな指針 ◦ 施策を定量的に評価するため ▪ 平均への回帰に惑わされない
7. 7 ©Gunosy Inc. ABテストのよくある失敗事例 • GunosyとABテスト • ABテストのよくある失敗事例
8. 8 ©Gunosy Inc. AAテスト • AAテストとは ◦ テスト対象と比較対象に同じパターンを出して、 値のばらつきを確認するテスト • AAテストをしないとどうなる？ ◦ 値の上がり下がりが誤差によるものなのか判断 できない ◦ 誤った判断につながる
9. 9 ©Gunosy Inc. データ通信速度 • データ通信速度が与える影響 ◦ Amazonでは読み込み時間が0.1秒減ると、売 上が1%増加する（2006年Amazon公表） • 気をつけるポイント ◦ デザインや画像の変更 ◦ APIを叩く回数の変更
10. 10 ©Gunosy Inc. 希薄化（dilution） • すべてのユーザーが目的の機能を利用するわけで はない 50% 10% 全ユーザーの50%に公開 目的の機能を利用したユーザーは 50%中の20% 全体の10%が目的の機能を利用したユーザーになる
11. 11 ©Gunosy Inc. 希薄化（dilution） • 気をつけるポイント ◦ 対象となるABのサイズをあらかじめ想定しておく ◦ 集計時に指標を一人当たりで補正するときは機 能を利用したユーザーに限定する
12. 12 ©Gunosy Inc. バイアス • テスト対象にのみに特定の条件が満たされてしまう （条件にバイアスが掛かってしまう） 図はTwitterのエンジニアブログから引用
13. 13 ©Gunosy Inc. 最後に • もっとABテストについて知りたい方はこちら ◦ The Twitter Engineering Blog ▪ https://blog.twitter.com/tags/experiments?blog=engineering ◦ LinkedIn Engineering Blog ▪ https://engineering.linkedin.com/blog/topic/ab-testing