A/Aテストにおけるサンプルサイズ/japanr2024

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. Point A/AテストはA/Bテストの分割の品質評価に用いる A/Aテストでt検定を用いるケースを例に、サンプルサイズも考慮した方が良いよ、という点を実験結果を交えて紹介 A/Aテストするときには、サンプルサイズにも気をつけよう 3  今日の発表で伝えたいこと発表の流れ 1. A/Aテストの概要 2. A/Aテストとサンプルサイズ 3. まとめ

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. KPIに対して検定を行った時のp値が一様分布しているか？ 9  A/Aテストで確認したいこと ※「同じ分布から得られた２群の平均に対するt検定のp値は一様分布に従う」の理論的な背景は本発表では割愛します。やりたいこと利用する性質方法 AとBのグループのKPIが期待値の意味で同じことを確かめたい同一分布から得た２群の平均のt検定のp値は一様分布に従うブートストラップでp値の分布を確認

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. ２グループのデータを用いてブートストラップにより繰り返しt検定を行い、p値をサンプリングする以下をI回繰り返す 1. データからサンプルサイズNでサンプリング 2. t検定を行なう 3. p値を得る 12  A/Aテストの実行　→　ブートストラップでp値の分布を確認【分布を確認】　p値のサンプルを用いてヒストグラムを描く

Slide 13

Slide 13 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. ほぼ一緒の分布にも関わらずp値の分布が偏るケースが確認される → サンプルサイズが大きく微小な差に過敏に反応していた 13  A/Aテストの結果：サンプルサイズを調整しない場合 😢 p値が0に偏るケースがある ✍ サンプルサイズが大きいケースで発生 🤔 微小な差に敏感になっている 💡 適切なサンプルサイズを決める必要 N=100 N=1,000 N=10,000

Slide 14

Slide 14 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. ２グループのデータを用いてブートストラップにより繰り返しt検定を行い、p値をサンプリングする以下をI回繰り返す 1. データからサンプルサイズNでサンプリング 2. t検定を行なう 3. p値を得る 14  A/Aテストの実行　→　ブートストラップでp値の分布を確認【分布を確認】　p値のサンプルを用いてヒストグラムを描く

Slide 15

Slide 15 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 検出したい効果量　・検出力　・有意水準　を決め、適切なサンプルサイズN’を計算する必要なサンプルサイズを見積もるステップを追加する 15  A/Aテストの実行 ※ サンプルサイズの詳細については参考文献[2]を御覧ください「２群の平均のt検定」のサンプルサイズ近似以下をI回繰り返す 1. データからサンプルサイズN’でサンプリング 2. t検定を行なう 3. p値を得る

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Copyright ⓒ 2024 Nikkei Inc. All rights reserved. 参考文献 [1] Kohavi, Ron, et al. "Trustworthy online controlled experiments: Five puzzling outcomes explained." Proceedings of the 18th ACM SIGKDD international conference on Knowledge discovery and data mining. 2012. [2] 永田靖. "サンプルサイズの決め方". 朝倉書店, 2003年. [3] なぜAAテストにおけるp値は一様分布になるのか？. Zenn [4] Microsoft. "p-Values for Your p-Values: Validating Metric Trustworthiness by Simulated A/A Tests". 2020. 20  Appendix

Slide 21

Slide 21 text