石塚 淳（Gunosy Inc.） 2016 年 3 月 18 日 GunosyにおけるABテスト 第2回 エムスリー x Gunosy Beer bash！

2 ©Gunosy Inc. 自己紹介 ● いしつか じゅん (@ij_spitz) ● データ分析チーム ● 入社して1ヶ月半くらい ● 前職はソーシャルゲームの分析基盤づくり ● 今やっていることはABテスト、アドホック分析など

3 ©Gunosy Inc. 今日話すこと ● GunosyとABテスト ● ABテストのよくある失敗事例

4 ©Gunosy Inc. GunosyとABテスト ● GunosyとABテスト ● ABテストのよくある失敗事例

5 ©Gunosy Inc. GunosyとABテスト ● Gunosyではあらゆる機能のリリースやアップデー トにABテストを利用している ○ 記事配信ロジック ○ UI / UX

6 ©Gunosy Inc. GunosyとABテスト ● なぜやるか ○ 数字は神より正しい ■ HiPPOに流されないフェアな指針 ○ 施策を定量的に評価するため ■ 平均への回帰に惑わされない

7 ©Gunosy Inc. ABテストのよくある失敗事例 ● GunosyとABテスト ● ABテストのよくある失敗事例

8 ©Gunosy Inc. AAテスト ● AAテストとは ○ テスト対象と比較対象に同じパターンを出して、 値のばらつきを確認するテスト ● AAテストをしないとどうなる？ ○ 値の上がり下がりが誤差によるものなのか判断 できない ○ 誤った判断につながる

9 ©Gunosy Inc. データ通信速度 ● データ通信速度が与える影響 ○ Amazonでは読み込み時間が0.1秒減ると、売 上が1%増加する（2006年Amazon公表） ● 気をつけるポイント ○ デザインや画像の変更 ○ APIを叩く回数の変更

10 ©Gunosy Inc. 希薄化（dilution） ● すべてのユーザーが目的の機能を利用するわけで はない 50% 10% 全ユーザーの50%に公開 目的の機能を利用したユーザーは 50%中の20% 全体の10%が目的の機能を利用したユーザーになる

11 ©Gunosy Inc. 希薄化（dilution） ● 気をつけるポイント ○ 対象となるABのサイズをあらかじめ想定しておく ○ 集計時に指標を一人当たりで補正するときは機 能を利用したユーザーに限定する

12 ©Gunosy Inc. バイアス ● テスト対象にのみに特定の条件が満たされてしまう （条件にバイアスが掛かってしまう） 図はTwitterのエンジニアブログから引用

13 ©Gunosy Inc. 最後に ● もっとABテストについて知りたい方はこちら ○ The Twitter Engineering Blog ■ https://blog.twitter.com/tags/experiments?blog=engineering ○ LinkedIn Engineering Blog ■ https://engineering.linkedin.com/blog/topic/ab-testing