Исследование эмоциональных откликов при чтении документа

SECR 2018
Кирилл Улитин
UX архитектор, Новые Облачные Технологии

Демократизация стоимости устройств BCI открывает новый инструмент для UX-исследований. В докладе будет представлен практический опыт использования ЭЭГ нейроинтерфейса от OpenBCI для проведения исследования эмоциональной нагрузки, которая возникает у человека при чтении текста.

Доклад рассчитан на всех кто интересуется новыми технологиями и темой BCI, будет полезен тем, кто занимается HCI исследованиями.

Transcript

1. Кирилл Улитин Новые Облачные Технологии Software Engineering Conference Russia 2018
 October 12-13
 Moscow Исследование эмоциональных откликов при чтении
3. Можно ли применить алгоритм для распознания эмоций по видео при чтении документов Испытывает ли человек при чтении эмоции, которые нельзя считать с лица Можно ли использовать нейроинтерфейс для оценки эмоций Насколько хорошо работает один из таких алгоритмов
4. https://www.ncbi.nlm.nih.gov/pubmed/7962581
5. NEUROIMAGING
7. http://neuro.chat/
13. Arousal = (βF3 + βF4 + βAF3 + βAF4)/(αF3 + αF4 + αAF3 + α AF4) Valence = αF4 - αF3 https://doi.org/10.3389/fnins.2015.00354
15. Activation Deactivation Unpleasant Pleasant Arousal Valence
16. https://arxiv.org/pdf/1601.02197v1.pdf
22. 1 2 3 Подготовка Просмотр ролика Интервью
23. Video 10s Text Video 10s
33. 28% 51% 86% 17% Вместе *12 респондентов 180 роликов % случаев когда эмоция верно опрделна алгоритмом по изображению % случаев когда менялось выражение лица % случаев когда эмоция верно опрделна экспертно по ЭЭГ % случаев когда респондент неверно описал свои эмоции
34. 28% 51% 86% 17% % случаев когда эмоция верно опрделна алгоритмом по изображению % случаев когда менялось выражение лица 45% 80% 98% 13% 20% 32% 80% 16% Вместе Видео Текст % случаев когда эмоция верно опрделна экспертно по ЭЭГ % случаев когда респондент неверно описал свои эмоции
38. Ошибки алгоритма распознавания эмоций Затянутое наступление эмоции (больше 3-5 секунд) Очень короткая эмоция меньше 1 секунды (смущение, испуг, подавленные эмоции) Ошибки в определении (напряжение, удивление вместо страха, радость вместо смущения)
39. Можно ли применить алгоритм для распознания эмоций по видео при чтении документов Испытывает ли человек при чтении эмоции, которые нельзя считать с лица Можно ли использовать нейроинтерфейс для оценки эмоций Насколько хорошо работает один из алгоритмов 45% для видео, 20% для текста (для использованной выборки) При чтении текста эмоции на лице проявляются только в момент развязок, а в остальное время остаются нейтральными. При просмотре роликов люди более активно выражают эмоции на лице 80%, чем при чтении текста 32% Да ЭЭГ дает высокую точность при оценке эмоций (98% / 80% видео/текст)
41. Спасибо! Вопросы? • Кирилл Улитин • kirill@ulitin.ru • ulitin.ru