Ирина Пчелинцева (Яндекс), Тестирование рекомендательных систем, или как проверить то - не знаю что, CodeFest 2017

https://2017.codefest.ru/lecture/1188

В последние годы big data, машинное обучение и персонализация продукта проникают во всё большее и большее число областей. Персонализированная доставка контента потребителю стала одной из важнейших задач для практически любого производителя/поставщика этого самого контента.

Новые технологии требуют новых подходов к тестированию и, возможно, переосмысления роли функционального тестировщика. Значительная часть качества продукта лежит в области с недетерминированным "правильным" поведением. Как понять, что экспериментальная рекомендательная выдача для Васи П. лучше текущей?

Я расскажу про специфику тестирования рекомендательных систем, метрики качества и уязвимые места, с примерами из жизни высоконагруженного рекомендательного сервиса Яндекс.Дзен.

Transcript

2. Тестирование рекомендательных систем Как проверить то — не знаю что Ирина Пчелинцева, руководитель группы тестирования
3. Немного о себе ›  4 года в ручном тестировании ›  5 проектов ›  PhD по математике ›  Люблю Python, машинное обучение, котиков и крафтовое пиво. ›  Тестирование на проекте Дзен — с нуля
4. Дзен Тут представиться И про дзен
5. Машинное обучение захватывает мир
6. ML проникает повсеместно ›  Поиск ›  Дзен ›  Радио ›  Пробки ›  Погода ›  Маркет ›  …
7. Тестированию тоже надо меняться ›  Работа с логами ›  Работа с данными ›  Понимание работы компонент сервиса
8. Недетерминированное поведение — как тестировать?
9. Эксперименты Exp Эталон
10. Эксперименты Exp Эталон
11. Эксперименты Exp Эталон
12. Проблемы Как выбрать метрику Проблема не локализуется
13. Метрики
14. Различие метрик и целевой функции ▌ Целевая функция ›  Контекст 1 документа (вероятность клика, время в документе) ›  Контекст 1 пачки рекомендаций (число кликов, время чтения) ▌ Метрика ›  Контекст суточного или даже недельного поведения
15. «Сlick bait»
16. Различие метрик и целевой функции ▌ Целевая функция ›  Контекст 1 документа (вероятность клика, время в документе) ›  Контекст 1 пачки рекомендаций (число кликов, время чтения) ▌ Метрика ›  Sessions per User ›  возвращаемость ›  отток
17. Если эксперимент не удался ▌ Плохая фича или плохая ▌ реализация? ›  Анализ различий специалистом по качеству
18. Кто отвечает за качество?
19. Ручное тестирование рекомндаций
20. Если эксперимент не удался ▌ Плохая фича или плохая ▌ реализация? ›  Анализ различий специалистом по качеству ›  Анализ до эксперимента позволяет избежать глупых ошибок, экономить время
21. Анализ различий ▌ Подготовка тестового пула ›  Страны ›  Продукты ›  Пользовательские свойства
22. Поиск багов на самых страдающих ›  Много просмотров, но мало кликов ›  Много дизлайков ›  Много блокировок
23. Мониторинг здоровья сервиса
24. Мониторинги ›  Функциональные мониторинги по логам ›  Real-time метрики
25. Реабилитация кликов ▌ Любая сильная поломка на графике уже через минуту
26. Жалобы пользователей ›  За ними могу скрываться неизвестные баги или недоработки ›  Нужны специалисты, понимающие взаимодействие всех компонент ›  Хорошие инструменты дебага
27. Пример бага: не сработал классификатор ›  Не применили результат ›  Эксперименты всё усложняют ›  Классификатор плохо классифицирует ›  Рассинхронизация процессов
28. Пример бага: дубли Клиенты DB “Frontend” Recommender Логи
29. Пример бага: дубли Клиенты DB “Frontend” Recommender Логи
30. Пример бага: дубли Клиенты DB “Frontend” Recommender Логи
31. Пример бага: дубли Клиенты DB “Frontend” Recommender Логи
32. Пример бага: дубли Клиенты DB “Frontend” Recommender Логи
33. Пример бага: дубли Клиенты DB “Frontend” Recommender Логи
34. Пример бага: дубли Клиенты DB “Frontend” Recommender Логи
35. Инструменты дебага ›  Видеть продукт глазами пользователя ›  Возможность понять, как отработала каждая из компонент ›  Доступные интерфейсы к данным, базам, логам.
36. Смотрим глазами пользователя
37. Основная информация – на одной странице ›  Request Id ›  Дополнительные id пользователя ›  Эксперименты ›  Агрегированная статистика ›  Инстанс рекомендатора ›  Шард базы
38. Отображение документа Адрес документа Как его прочитали роботы Как его обработал наш код Как его показывает клиент
39. Жизнь на игле больших данных
40. Внешние данные ›  Может приводить к драматическому ухудшению продукта ›  Может не приводить к багрепортам ›  Поставщик может тоже не заметить
41. Внешние данные ›  Мониторинг поставок ›  Фоллбек режимы ›  Мониторинг срабатывания фоллбеков
42. Внутренние данные Запись (функциональные тесты) Обработка (функциональные тесты)
43. Обработка прямого фидбека
44. Внутренние данные Запись (функциональные тесты) Обработка (функциональные тесты) Поставка (Мониторинги)
45. Дерзайте и тестируйте
46. telegram.me/blindsight lipka@yandex-team.ru Cпасибо за внимание! Пчелинцева Ирина Руководитель группы тестирования