Эффективное А/Б-тестирование

Слайды доклада про А/Б-эксперименты с Yandex Data Driven 2019
https://youtu.be/4sG40hyQ7WI?list=PLQC2_0cDcSKCw0yiUgk-Ts93-Hm1jEZIi

Transcript

2. Виталий Полшков, Аналитик-разработчик Эффективное А/Б тестирование
3. Вводная про А/Б тесты Эффективное А/Б тестирование 01 Выбор метрик 02 Ошибки в анализе экспериментов 03 Выводы и рекомендации 04
4. 01 Вводная про А/Б тесты Напоминание про механизм А/Б-тестирования
5. А/Б тесты 1
6. 02 Выбор метрик Почему он важен и как не сделать неправильный
7. Ранжирование заданий: позиция взятия 2
8. Ранжирование заданий: позиция взятия 2
9. Ранжирование заданий: позиция взятия 2
10. Ранжирование заданий: позиция взятия 2
11. Не только среднее 3
12. Не только среднее › Медиана 3
13. Не только среднее › Медиана › Квантили 3
14. Не только среднее › Медиана › Квантили › Меры разброса (e.g. дисперсия, IQR, энтропия) 3
15. Не только среднее › Медиана › Квантили › Меры разброса (e.g. дисперсия, IQR, энтропия) › Ratio-метрики 3
16. Не только среднее › Медиана › Квантили › Меры разброса (e.g. дисперсия, IQR, энтропия) › Ratio-метрики 3
17. Не только среднее › Медиана › Квантили › Меры разброса (e.g. дисперсия, IQR, энтропия) › Ratio-метрики 3
18. Корректный замер достоверности 4
19. Корректный замер достоверности 4
20. 03 Ошибки в анализе экспериментов Как избежать неверного толкования результатов А/Б-теста
21. › Хотим замерить эффект фичи, случайно разбиваем 50/50 5
22. › Хотим замерить эффект фичи, случайно разбиваем 50/50 › Фича необычная: боимся за «ядро» — самую лояльную аудиторию 5
23. › Хотим замерить эффект фичи, случайно разбиваем 50/50 › Фича необычная: боимся за «ядро» — самую лояльную аудиторию › Но хотим замерять эффект и на них тоже 5
24. › Хотим замерить эффект фичи, случайно разбиваем 50/50 › Фича необычная: боимся за «ядро» — самую лояльную аудиторию › Но хотим замерять эффект и на них тоже › Выкатываем на маленькую долю лояльных (99/1) 5
25. › Хотим замерить эффект фичи, случайно разбиваем 50/50 › Фича необычная: боимся за «ядро» — самую лояльную аудиторию › Но хотим замерять эффект и на них тоже › Выкатываем на маленькую долю лояльных (99/1) › По результатам эксперимента метрики показывают ухудшение 5
26. › Хотим замерить эффект фичи, случайно разбиваем 50/50 › Фича необычная: боимся за «ядро» — самую лояльную аудиторию › Но хотим замерять эффект и на них тоже › Выкатываем на маленькую долю лояльных (99/1) › По результатам эксперимента метрики показывают ухудшение › Хорошо, что не выкатывали на половину лояльных! 5
27. › Хотим замерить эффект фичи, случайно разбиваем 50/50 › Фича необычная: боимся за «ядро» — самую лояльную аудиторию › Но хотим замерять эффект и на них тоже › Выкатываем на маленькую долю лояльных (99/1) › По результатам эксперимента метрики показывают ухудшение › Хорошо, что не выкатывали на половину лояльных! Неравномерный отбор в эксперимент 5
28. Неравномерный отбор в эксперимент A B loyal other 6
29. Неравномерный отбор в эксперимент A B loyal other 6
30. Неравномерный отбор в эксперимент A B loyal other 99/1 (594 vs 6) 50/50 (500 vs 500) 6
31. Неравномерный отбор в эксперимент A B loyal other 0.4 0.6 99/1 (594 vs 6) 50/50 (500 vs 500) 6
32. Неравномерный отбор в эксперимент A B loyal 0.8 0.9 other 0.4 0.6 99/1 (594 vs 6) 50/50 (500 vs 500) 6
33. Неравномерный отбор в эксперимент A B loyal 0.8 0.9 other 0.4 0.6 99/1 (594 vs 6) 50/50 (500 vs 500) 0.617 0.604 6
34. Неравномерный отбор в эксперимент › Давайте на тачах побольше долю: там меньше людей 7
35. Неравномерный отбор в эксперимент › Давайте на тачах побольше долю: там меньше людей › Две недели — долго, давайте вести десять дней 7
36. Неравномерный отбор в эксперимент › Давайте на тачах побольше долю: там меньше людей › Две недели — долго, давайте вести десять дней › … 7
37. › Проводим эксперимент 8
38. › Проводим эксперимент › Обсчитываем интересующие метрики и отдельно — их же в срезе по активным пользователям сервиса 8
39. › Проводим эксперимент › Обсчитываем интересующие метрики и отдельно — их же в срезе по активным пользователям сервиса › Метрики по активным пользователям показывают ухудшение! 8
40. › Проводим эксперимент › Обсчитываем интересующие метрики и отдельно — их же в срезе по активным пользователям сервиса › Метрики по активным пользователям показывают ухудшение! › Решаем не внедрять фичу 8
41. Некорректный замер достоверности › Проводим эксперимент › Обсчитываем интересующие метрики и отдельно — их же в срезе по активным пользователям сервиса › Метрики по активным пользователям показывают ухудшение! › Решаем не внедрять фичу 8
42. Некорректный замер достоверности 9
43. Некорректный замер достоверности 9
44. Некорректный замер достоверности 9
45. Некорректный замер достоверности 9
46. Некорректный замер достоверности 9
47. Некорректный замер достоверности 9
48. Некорректный замер достоверности 10
49. Некорректный замер достоверности 10
50. Некорректный замер достоверности 10
51. › Средняя позиция взятия Некорректный замер достоверности 11
52. › Средняя позиция взятия › Средняя стоимость выполненного задания Некорректный замер достоверности 11
53. › Средняя позиция взятия › Средняя стоимость выполненного задания › Средняя длина сессии Некорректный замер достоверности 11
54. › Средняя позиция взятия › Средняя стоимость выполненного задания › Средняя длина сессии › … Некорректный замер достоверности 11
55. Некорректный замер достоверности 12
56. Некорректный замер достоверности 12
57. Некорректный замер достоверности 12
58. 04 Выводы и рекомендации Что делать, чтобы извлекать пользу из экспериментов
59. Хорошо планировать, корректно обсчитывать 13
60. Хорошо планировать, корректно обсчитывать › Аккуратно выбирать метрики и интерпретировать их изменения 13
61. Хорошо планировать, корректно обсчитывать › Аккуратно выбирать метрики и интерпретировать их изменения › Правильно разбивать пользователей и замерять стат. значимость 13
62. Хорошо планировать, корректно обсчитывать › Аккуратно выбирать метрики и интерпретировать их изменения › Правильно разбивать пользователей и замерять стат. значимость В помощь: › Метрики «гигиены данных», метрики для метрик 13
63. Хорошо планировать, корректно обсчитывать › Аккуратно выбирать метрики и интерпретировать их изменения › Правильно разбивать пользователей и замерять стат. значимость В помощь: › Метрики «гигиены данных», метрики для метрик › A/A-тесты, в частности и особенности — синтетические 13
64. Хорошо планировать, корректно обсчитывать › Аккуратно выбирать метрики и интерпретировать их изменения › Правильно разбивать пользователей и замерять стат. значимость В помощь: › Метрики «гигиены данных», метрики для метрик › A/A-тесты, в частности и особенности — синтетические › Пул полезных исторических экспериментов 13
65. Обзавестись инфраструктурой 14
66. Обзавестись инфраструктурой Подвергнуть автоматизации всё, что ей несложно поддаётся: • планирование и подготовку к запуску • мониторинги • обсчёты • ... 14
67. Обзавестись инфраструктурой Подвергнуть автоматизации всё, что ей несложно поддаётся: • планирование и подготовку к запуску • мониторинги • обсчёты • ... Так можно проводить много экспериментов*, эффективно отслеживать их состояние, быстро проводить процедуры валидации, и при этом не убиваться. 14
68. Обзавестись инфраструктурой Подвергнуть автоматизации всё, что ей несложно поддаётся: • планирование и подготовку к запуску • мониторинги • обсчёты • ... Так можно проводить много экспериментов*, эффективно отслеживать их состояние, быстро проводить процедуры валидации, и при этом не убиваться. И тщательно всё логируйте! 14
69. Обзавестись инфраструктурой Подвергнуть автоматизации всё, что ей несложно поддаётся: • планирование и подготовку к запуску • мониторинги • обсчёты • ... Так можно проводить много экспериментов*, эффективно отслеживать их состояние, быстро проводить процедуры валидации, и при этом не убиваться. И тщательно всё логируйте! *только не перебирайте 50 оттенков цвета кнопки помните про долю случайных покрасов 14