ABテストの検定超入門

非エンジニア、非分析者の方向け。
ABテストの検定の用語とかイメージがわからない人向け。

Transcript

1. ABテストの検定 超⼊⾨ for ⾮エンジニア/分析者 @tomomoto_Lv3
2. 検定がなんで必要？ CVした⼈ CVしなかった⼈ CVR (UU) A⽅式 30⼈ 2,000⼈ 1.48% B⽅式 20⼈ 1,000⼈ 1.96% A/B⽅式のCVR(UU)を⽐較した結果、B⽅式のほうが優れている！ でも、これって偶然かも？ 検定を使って、偶然だったら何％の確率で発⽣するか考えよう！
3. 検定って何？ 出⼒イメージ：ABテストの結果の差が偶然発⽣する確率は、3.2％です。 A B A B AとBに差がないと仮定 test A test B ランダムに抽出する ABテストの結果 test Aとtest Bの差がABテストの結果の差以上になる確率を計算 検定
4. 95%検定、99%検定の数字って何？ これは、偶然ではないと結論づけるために 必要な偶然に起こらない確率を表しています。 つまり95%検定は、 偶然に起こる確率が5%以下なら偶然ではないと結論。 つまり99%検定は、 偶然に起こる確率が1%以下なら偶然ではないと結論。
5. 検定から判断する⽅法(1/2) CVした⼈ CVしなかった⼈ CVR (UU) A⽅式 30⼈ 2,000⼈ 1.48% B⽅式 20⼈ 1,000⼈ 1.96% ABの差が偶然発⽣する確率は、40.1％です (＊この時、統計⽤語ではp値が0.401といいます) 40.1％は、5.0％(100%-95%)以下なので、 AとBの差は偶然である。つまり、AとBには差がない。 (＊この時、統計⽤語ではAとBの間には有意差はないといいます) 検定 判断（95%検定の場合）
6. 検定から判断する⽅法(2/2) CVした⼈ CVしなかった⼈ CVR (UU) A⽅式 30⼈ 2,000⼈ 1.48% B⽅式 30⼈ 1,000⼈ 2.91% ABの差が偶然発⽣する確率は、1.0％です (＊この時、統計⽤語ではp値が0.010といいます) 1.0％は、5.0％(100%-95%)以下なので、 AとBの差は偶然ではない。つまり、AとBには差がある。 (＊この時、統計⽤語ではAとBの間には有意差があるといいます) 検定 判断（95%検定の場合）