Гео-тесты: инструкция по применению

Transcript

1. Геотесты: инструкция по применению Иван Уваров Product analyst
3. Есть решение!
4. Разновидность квази-экспериментов, в котором в качестве юнита разбиения выступает географический объект (город, область и т.д.) Что такое геотест?
5. Разновидность квази-экспериментов, в котором в качестве юнита разбиения выступает географический объект (город, область и т.д.) Зачем он нужен, если есть обычные A/B-тесты? 1) Юридические ограничения 2) Сетевые эффекты 3) Изменения, которые тяжело раскатить на конкретных пользователей Что такое геотест?
6. На какие этапы нужно обратить особое внимание при работе с геотестами Дизайн Разбиение на группы: мэтчинг, стратифицированное сэмплирование 01 Самая главная проблема: малый объем выборки
7. На какие этапы нужно обратить особое внимание при анализе геотестов Дизайн Разбиение на группы: мэтчинг, стратифицированное сэмплирование Анализ результатов Увеличение чувствительности 01 02
8. На какие этапы нужно обратить особое внимание при анализе геотестов Дизайн Разбиение на группы: мэтчинг, стратифицированное сэмплирование 01
9. Задача Раскатили в 3 городах фичу/произвели изменение. Нужно измерить получившийся эффект. #1
10. Совокупность методов для сопоставления друг с другом различных объектов. В тестовой группе будут наблюдения, в которых произошло какое-либо изменение, в контрольной – где все осталось как прежде. Мэтчинг
11. Мера близости групп
12. 1. MAE Мера близости групп
13. 1. MAE Мера близости групп
14. 1. MAE 2. Дисперсия отношения Корреляция Мера близости групп
15. Формируем тестовую и пустую контрольные группы d Тестовая группа Контрольная группа Оставшиеся города 2 1 3 4 5 6 7 8 9
16. Прибавляем один город d Тестовая группа Контрольная группа Оставшиеся города 2 1 3 4 5 6 7 8 9
17. Прибавляем пару городов d Тестовая группа Контрольная группа Оставшиеся города 2 1 3 4 5 6 7 9 8
18. Убираем один город d Тестовая группа Контрольная группа Оставшиеся города 2 1 3 4 5 6 7 9 8
19. Как устроен мэтчинг Выделяем тестовую и пустое множество контрольной группы Прибавляем один город Прибавляем пару городов Убираем один город Повторяем этот цикл до тех пор, пока мера близости групп не перестает меняться
20. Подведение результатов 1. Нужно провести серию АА тестов. На исторических данных выделяем обучающую и валидационную выборки
21. Подведение результатов 1. Нужно провести серию АА тестов. На исторических данных выделяем обучающую и валидационную выборки 2. Выбираем n рандомных тестовых городов
22. Подведение результатов 1. Нужно провести серию АА тестов. На исторических данных выделяем обучающую и валидационную выборки 2. Выбираем n рандомных тестовых городов 3. На обучающей выборке проводим мэтчинг
23. Подведение результатов 1. Нужно провести серию АА тестов. На исторических данных выделяем обучающую и валидационную выборки 2. Выбираем n рандомных тестовых городов 3. На обучающей выборке проводим мэтчинг 4. На валидационной выборке смотрим на отношение теста к контролю
24. Подведение результатов 1. Нужно провести серию АА тестов. На исторических данных выделяем обучающую и валидационную выборки 2. Выбираем n рандомных тестовых городов 3. На обучающей выборке проводим мэтчинг 4. На валидационной выборке смотрим на отношение теста к контролю 5. Повторяем шаги 2-4 n раз (100, 1000) и получаем распределение отношений
25. 1. Нужно провести серию АА тестов. На исторических данных выделяем обучающую и валидационную выборки 2. Выбираем n рандомных тестовых городов 3. На обучающей выборке проводим мэтчинг 4. На валидационной выборке смотрим на отношение теста к контролю 5. Повторяем шаги 2-4 n раз (100, 1000) и получаем распределение отношений 6. Выделяем области распределения, выход за которые будем считать прокрасом Подведение результатов
26. Хотим произвести изменение, например, реклама на билбордах, по всей стране. Хотим понять, как измерить эффект от этого изменения. Задача #2
27. Стратифицированное сэмплирование 1 10 12 2 4 6 7 8 11 3 5 9 2 10 8 5 Sample Population
28. Стратифицированное сэмплирование 1 10 12 2 4 6 7 8 11 3 5 9 2 10 8 5 Sample Population Разбивать города на страты будем с помощью алгоритма kmeans
29. Кластер 1 Кластер 2 Кластер 3 Множество всех городов m1, m2, m3, m4, m5 Разбиение на 3 кластера, по 5 метрикам
30. Кластер 1 Кластер 2 Кластер 3 1 1 1 1 1 1 2 2 2 2 3 3 3 3 Тест Контроль
31. Кластер 1 Кластер 2 Кластер 3 1 1 1 1 1 1 2 2 2 2 3 3 3 3 Тест Контроль 50% 50% Достаем рандомно по 50% из каждого кластера в тестовую и контрольную группы
32. Кластер 1 Кластер 2 Кластер 3 1 1 1 1 1 1 2 2 Тест Контроль 2 2 3 3 3 3 Считаем p-value для каждой метрики Производим n(100, 1000) симуляций формирования тестовых и контрольных групп Считаем процент прокрассов по каждой метрике
33. Саммари алгоритма разбиения на кластеры Задаем количество кластеров, метрики
34. Задаем количество кластеров, метрики Формируем кластера, из них n раз (например 100/1000) формируем тест/контроль Саммари алгоритма разбиения на кластеры
35. Задаем количество кластеров, метрики Формируем кластера, из них n раз (например 100/1000) формируем тест/контроль Считаем процент прокрасов по каждой метрике Саммари алгоритма разбиения на кластеры
36. Задаем количество кластеров, метрики Формируем кластера, из них n раз (например 100/1000) формируем тест/контроль Считаем процент прокрасов по каждой метрике Повторяем для всевозможных сочетаний метрик и количества кластеров Саммари алгоритма разбиения на кластеры
37. Задаем количество кластеров, метрики Формируем кластера, из них n раз (например 100/1000) формируем тест/контроль Считаем процент прокрасов по каждой метрике Выбираем наилучшее разбиение по min среднему проценту прокраса по метрикам Повторяем для всевозможных сочетаний метрик и количества кластеров Саммари алгоритма разбиения на кластеры
38. 1. Cuped 2. Прокси метрики 3. Работа над качеством данных Как можем ускорить принятие решения?
39. Какие еще есть способы? 1. Другие алгоритмы мэтчинга 2. Методы создания синтетического контроля (Causal Impact)
40. Внимательно относимся к формированию тестовых и контрольных групп, на откуп рандому отдать не получится. Поскольку юнитов в выборках будет мало, нужно не забывать про методы увеличения чувствительности. Если у вас нет проблем, которые перечислены в начале доклада – лучше делать классические АБ :) Итого
41. Спасибо!