Slide 31
Slide 31 text
Фиксация
дизайна
эксперимента
31
Гипотеза Добавление поля с кодом купона на страницу оформления
заказа приведет к снижению дохода на одного пользователя
для пользователей, которые начинают процесс покупки.
Метрика Выручка с пользователя
Практическая
значимость
Минимальный обнаруживаемый эффект: 1%
Единица
рандомизации
Пользователи
Сегментация Будем ориентироваться на всех пользователей и анализировать
тех, кто посещает страницу оформления заказа.
Размер групп Чтобы иметь 80% мощности для обнаружения хотя бы 1%-ного
изменения дохода на пользователя, мы проведем анализ
мощности для определения размера.
Длительность
эксперимента
Значит эксперимент проводится минимум в течение 4 дней
с распределением 34/33/33% между контрольной и двумя
исследуемыми группами. Запустим эксперимент в течение
целой недели, чтобы убедиться, что понимаем эффект дня
недели, и, возможно, продолжим, если обнаружим эффекты
первенства и новизны.
Гипотеза
Метрика
Цель
Что и как
Kohavi, Ron,Tang,
Diane,Xu, Ya. Trustworthy
Online Controlled
Experiments (p. 34).
Cambridge University
Press. Kindle Edition