Avito NPS: голос пользователей в продуктовой разработке — Данила Леньков (Avito)

В любой большой компании знают, что секрет успешного бизнеса и светлого будущего — счастье клиентов. Но измерить его и научиться работать над повышением уровня счастья — непростая задача. Во всем мире её решают с помощью опросов клиентов. Наиболее успешная методика таких опросов называется Net Promoter Score, или NPS.

Avito — обширный бизнес с большим количеством бизнес-вертикалей. Поэтому задача построения системы опросов ещё более не простая, чем обычно. В докладе будет рассказана success-story об имплементации NPS во все части продукта и показано, как большой поток голосов наших пользователей помогает нам принимать эффективные решения и постоянно становиться лучше.

Особенности системы опросов Avito:
— тысячи голосов пользователей в неделю со всех платформ: сайта, мобильного сайта и приложений;
— решение о показе нужного варианта опроса персональное для каждого пользователя и принимается прямо онлайн;
— автоматизированный пайплайн сбора результатов и доставки их в отчетность;
— классификация текстовых фидбэков для приоритезации решений.

Avito Product Analytics Meetup
09/12/2017

Transcript

1. NPS в Avito голос пользователей в продуктовой разработке
2. Обо мне Данила Леньков Avito Аналитик BI, Buyer Experience Unit — Поиск, фильтры — Карточка объявления — Инструменты покупателей: избранное, сохраненные поиски, мессенджер 2
3. План доклада 1. Зачем Авито работает с фидбэком пользователей 2. Что такое NPS 3. Как мы запускали NPS 4. Как используем 3
4. 1. Зачем Авито работает с фидбэком пользователей?
5. Раньше фокус на рост, сейчас — на лояльность Много Необходимо максимизировать retention пользователей, предоставлять лучший опыт Анализировать обратную связь: понимать проблемы и пожелания пользователей, быстро реагировать 5 Количество PV на Android Мало
6. Какие каналы обратной связи существуют? — App Store, Google Play — Служба поддержки — Просьба указать причины при удалении аккаунта — Соц. сети — Фидбэк от профессиональных клиентов в колл-центре Сложно систематизировать и принимать решения Показывают смещенную картину Мало пользователей — невозможность глубокого анализа Решили повсеместно внедрять методику NPS Чтобы принимать оправданные решения и измерять их эффективность, нужен широкий репрезентативный поток обратной связи и метрика 6
7. 2. Что такое NPS?
8. One metric to rule them all Net Promoter Score 10 0 9 3 8 5 4 7 1 6 2 — Оцените, насколько вы готовы рекомендовать Avito друзьям или знакомым Promoters Detractors NPS % % − = 8 — индекс чистой поддержки Promoters Detractors
9. Самое важное — задать еще один вопрос — Расскажите, почему вы поставили такую оценку? Модераторы задолбали, блокируют моих щеночков! Это разные щенки! Один из них вообще котенок!! 9 Сделайте возможность подать два одинаковых объявления, но в разных городах. Я постоянно бываю в двух городах и продать что-то могу и там, и там. Нравится возможность продать/отдать все что угодно людям, которым это действительно может быть нужно.
10. Какой бывает NPS 10 Внутренний Маркетинговые исследования Внешний Опрос всей потенциальной аудитории «на улице». Relational Максимально репрезентативная выборка пользователей продукта Transactional Опрос в точках контакта на разных этапах CJM Для помощи в продуктовой разработке необходим внутренний NPS
11. 3. Как мы запускали NPS
12. Какие требования к системе NPS внутри Avito? 12 — Настраиваемые сегменты на основе поведения пользователей — Таймаут для повторных опросов — Для каждого сегмента регулируемое количество респондентов — Настраиваемые формулировки Авто Недвижимость Резюме Электроника Вакансии Личные вещи Животные Услуги Я продаю Я покупаю Ищу работу Предоставляю услуги
13. Попытка №1. Email-рассылка 13 — Письмо и ссылка на анкету SurveyMonkey Невозможно опрашивать незарегистрированных пользователей Много других рассылок: риск заспамить пользователей Низкий респонс-рейт ~ 5% Слишком малая выборка для когортного анализа Email-канал подходит для опроса ушедших в отток Сегменты готовятся offline из аналитического хранилища согласно любым критериям Решено внедрять опросы NPS в продукт
14. Попытка №2. Стороннее решение 14 — Которое можно встроить в свой код Логика сегментирования полностью на нашей стороне Есть настройки количества респондентов, таймаутов, формулировок Хорошее решение с точки зрения донесения результатов в режиме real-time В случае Avito ресурсы на внедрение стороннего решения сравнимы с ресурсами на разработку собственного
15. Попытка №3 (успешная). Собственная разработка 15
16. Инфраструктура ETL Расчет сегмента и выбор подходящего опроса Разметка фидбэка Действия пользователей Результаты опросов 16 Аналитическое хранилище Визуализация
17. Как определить подходящий опрос? 17 Показать опрос Респонс-рейт ~30% Определить сегмент на основе действий за 30 дней Покупатель Продавец Поиск — 1 балл Просмотр объявления — 2 Запрос телефона — 20 Сообщение — 20 Доб. в избранное — 5 Размещение объявления — 1 Категория Личные вещи | Авто Недвижимость | Работа Услуги 1 Определить местоположение пользователя и соответствие контексту сегмента Категория Личные вещи | Авто Недвижимость | Работа Услуги Страница Поиск | Объявление | ЛК 2
18. 4. Как мы используем NPS
19. Мы на него смотрим 19 16 различных сегментов Платформа Выбор даты и агрегации по дням / неделям / месяцам Легенда
20. Мониторим проблемы 20 Текст отзывов с этой темой Динамика доли отзывов с определенной темой
21. Принимаем решения 21 1 Анализ текущих проблем Определение топовых проблем Поиск решения Валидация 2 Анализ feature-реквестов Добавление в бэклог Приоритизация Валидация
22. Почему NPS в Авито действительно работает 22 1 Ставим ежеквартальные цели на уровне компании на повышение NPS 2 Декомпозируем инициативы и спускаем до уровня отдельных команд 3 Делимся фидбэком и достижениями со всеми сотрудниками
23. Спасибо за внимание