Как оценить эмоциональную реакцию на рекламу дистанционно, быстро и точно.

Мария Малыгина, Research Scientist, Neurodata Lab LCC

Transcript

1. Мария Малыгина, Big Data & AI Conference 2020 Как оценить эмоциональную реакцию на рекламу дистанционно, быстро и точно
2. Emotion recognition Top-3 Heart Track CVPR-winning Breathe Tracker Blink detector Body pose estimator занимается распознаванием состояний человека по видео
3. Количественные Качественные Нейромаркетинговые Запрос: получать больше информации о людях в рамках маркетингового исследования Построены преимущественно на опросах; добавить невербальные признаки на больших выборках, чтобы иметь более полную картину. Качественные и нейромаркетинговые исследования дорогие, медленные плохо масштабируются, потому что проходят в оффлайне. PANTONE 2726C PANTONE 326C R 47 - G 70 - B 156 Screen: RGB Print: Brilliant Paper Print: Matt Paper Print: CMYK R 0 - G 157 - B 156 PANTONE 2728U PANTONE 3272U C 90 % - M 80 % C 94 % - Y 43 % Понять, как реклама влияет на метрики, пытаются все
4. Кейс Задача сейчас - предсказывать метрику узнаваемости рекламы по реакциям людей, которые эту рекламу смотрят Большая цель - разработать инструмент, который измеряет эффективность видео рекламы для быстрых тестов качества креативов 270 роликов российского телекома Post View Ad Recall Респонденты смотрят рекламу дома в браузере Predicted Ad Recall
5. 1 Как можно использовать нейронные сети распознавания состояний человека в маркетинговых исследованиях Эффективная реклама отличается от неэффективной тем, что иначе влияет на человека Проявление этого влияния наблюдается на видео человека (через невербальные и/или физиологические реакции) Это влияние приводит к нужным действиям (виральность, конверсия, высокие баллы в рейтингах) Questionnaire Ad View Verbal Answer 2 3
6. Emotions Heart Rate & HRV Reaction Time Gaze Questionnaire Neural networks by video Contact sensors TRPs Brand Actors’ Emotions Ad Recall Viewers’ responses Ad properties Target Тестирование набора признаков в оффлайне Ad features + Contactless detection MAE 0.0869, r = 0.5901
7. Как мы собирали сервис Рекрутинг качественных респондентов - качественный лейбелинг данных Как записывать людей на видео • Соблюдение требований к качеству записи для корректной работы нейросеток: рамка, dlib и баланс белого Как синхронизировать видеопотоки, если в браузере плавающий fps • Таймстемпы Обработка одного видео 4 сетками занимает значительное время • Автоматическая обработка видео
8. Соблюсти баланс в рамках всего исследования Experiment planning + Data engineering vs Budget + Time limits Получить корректные данные так, чтобы их можно было корректно использовать впоследствии. В нашем случае каждый из 270 роликов посмотрели 20 разных респондентов, при этом у каждого респондента была своя уникальная подборка из 10 роликов.
9. Data science и сложности Понижение размерности и агрегация признаков Формализовать понятие обучающей и валидационной выборок 270 значений целевой метрики - это немного Большое количество признаков, которые подаются в модель: порядка 60 Придумали кастомную структуру датасета - поменяли структуру наблюдений Семплирование: плюсы и минусы
10. Обычные методы машинного обучения далеко не всегда бывают хуже, чем нейросети: CatBoostRegressor с использованием Ridge Regression. Наибольший вклад в модель дает медиа размещение ролика; Второй по важности - сам бренд (сила бренда); Среди эмоций - вклад в предсказание вносит уровень радости; Частота морганий при просмотре ролика; Уверенность в ответе; Длительность вербальных ответов - как долго человек отвечал о своих впечатлениях; Data science результаты Традиционные опросниковые параметры не вошли в модель предсказания Ad Recall
11. Результаты кейса Попробовали предсказать метрику узнаваемости рекламы ad recall по реакциям людей; Создали рабочую платформу, где можно реализовать подобные пайплайны исследований для разных данных и метрик; Инсайты, которые можно вытащить из полученных данных, шире предсказания ad recall. Кривая отдачи в метрику AdRecall в зависимости от TRPs Как будет меняться ad recall в зависимости от TRPs и реакции людей.
12. Что дальше - упростить участие в тесте для респондентов - попробовать добавить новые фичи (например, данные от софтового айтрекера) - можно ли снизить вклад TRPs? - потестировать на других роликах - потестить на другие метрики
13. Спасибо Буду рада ответить на ваши вопросы @mmalygina m.malygina@neurodatalab.com