Slide 18
Slide 18 text
偽陽性リスク
● 結論から言うと、これは偽陽性のリスクが高い
○ 仮に真の効果が存在したとしても、それを検出できる確率が
3%しかない
● 正しくは事前検出力の計算という手続きで必要なサンプルサイズを計算する必要がある
● 元ネタは以下
○ Kohavi, Ron, Alex Deng, and Lukas Vermeer. "A/B testing intuition busters: Common misunderstandings in online controlled
experiments." Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2022.