GunosyにおけるABテスト

Transcript

1. 石塚 淳（Gunosy Inc.） 2016 年 3 月 18 日 GunosyにおけるABテスト

   第2回 エムスリー x Gunosy Beer bash！

2. 2 ©Gunosy Inc. 自己紹介 • いしつか じゅん (@ij_spitz) • データ分析チーム

   • 入社して1ヶ月半くらい • 前職はソーシャルゲームの分析基盤づくり • 今やっていることはABテスト、アドホック分析など

3. 3 ©Gunosy Inc. 今日話すこと • GunosyとABテスト • ABテストのよくある失敗事例

4. 4 ©Gunosy Inc. GunosyとABテスト • GunosyとABテスト • ABテストのよくある失敗事例

5. 5 ©Gunosy Inc. GunosyとABテスト • Gunosyではあらゆる機能のリリースやアップデー トにABテストを利用している ◦ 記事配信ロジック ◦

   UI / UX

6. 6 ©Gunosy Inc. GunosyとABテスト • なぜやるか ◦ 数字は神より正しい ▪ HiPPOに流されないフェアな指針

   ◦ 施策を定量的に評価するため ▪ 平均への回帰に惑わされない

7. 7 ©Gunosy Inc. ABテストのよくある失敗事例 • GunosyとABテスト • ABテストのよくある失敗事例

8. 8 ©Gunosy Inc. AAテスト • AAテストとは ◦ テスト対象と比較対象に同じパターンを出して、 値のばらつきを確認するテスト •

   AAテストをしないとどうなる？ ◦ 値の上がり下がりが誤差によるものなのか判断 できない ◦ 誤った判断につながる

9. 9 ©Gunosy Inc. データ通信速度 • データ通信速度が与える影響 ◦ Amazonでは読み込み時間が0.1秒減ると、売 上が1%増加する（2006年Amazon公表） •

   気をつけるポイント ◦ デザインや画像の変更 ◦ APIを叩く回数の変更

10. 10 ©Gunosy Inc. 希薄化（dilution） • すべてのユーザーが目的の機能を利用するわけで はない 50% 10% 全ユーザーの50%に公開

    目的の機能を利用したユーザーは 50%中の20% 全体の10%が目的の機能を利用したユーザーになる

11. 11 ©Gunosy Inc. 希薄化（dilution） • 気をつけるポイント ◦ 対象となるABのサイズをあらかじめ想定しておく ◦ 集計時に指標を一人当たりで補正するときは機

    能を利用したユーザーに限定する

12. 12 ©Gunosy Inc. バイアス • テスト対象にのみに特定の条件が満たされてしまう （条件にバイアスが掛かってしまう） 図はTwitterのエンジニアブログから引用

13. 13 ©Gunosy Inc. 最後に • もっとABテストについて知りたい方はこちら ◦ The Twitter Engineering

    Blog ▪ https://blog.twitter.com/tags/experiments?blog=engineering ◦ LinkedIn Engineering Blog ▪ https://engineering.linkedin.com/blog/topic/ab-testing