Slide 1
Slide 1 text
Кирилл Улитин
Новые Облачные Технологии
Software Engineering Conference Russia 2018
October 12-13
Moscow
Исследование
эмоциональных
откликов при чтении
Slide 2
Slide 2 text
No content
Slide 3
Slide 3 text
Можно ли применить алгоритм для распознания
эмоций по видео при чтении документов
Испытывает ли человек при чтении эмоции,
которые нельзя считать с лица
Можно ли использовать нейроинтерфейс для
оценки эмоций
Насколько хорошо работает один из таких
алгоритмов
Slide 4
Slide 4 text
https://www.ncbi.nlm.nih.gov/pubmed/7962581
Slide 5
Slide 5 text
NEUROIMAGING
Slide 6
Slide 6 text
No content
Slide 7
Slide 7 text
http://neuro.chat/
Slide 8
Slide 8 text
No content
Slide 9
Slide 9 text
No content
Slide 10
Slide 10 text
No content
Slide 11
Slide 11 text
No content
Slide 12
Slide 12 text
No content
Slide 13
Slide 13 text
Arousal = (βF3 + βF4 + βAF3 + βAF4)/(αF3 + αF4 + αAF3 + α AF4)
Valence = αF4 - αF3
https://doi.org/10.3389/fnins.2015.00354
Slide 14
Slide 14 text
No content
Slide 15
Slide 15 text
Activation
Deactivation
Unpleasant
Pleasant
Arousal
Valence
Slide 16
Slide 16 text
https://arxiv.org/pdf/1601.02197v1.pdf
Slide 17
Slide 17 text
No content
Slide 18
Slide 18 text
No content
Slide 19
Slide 19 text
No content
Slide 20
Slide 20 text
No content
Slide 21
Slide 21 text
No content
Slide 22
Slide 22 text
1 2 3
Подготовка Просмотр ролика Интервью
Slide 23
Slide 23 text
Video 10s Text Video 10s
Slide 24
Slide 24 text
No content
Slide 25
Slide 25 text
No content
Slide 26
Slide 26 text
No content
Slide 27
Slide 27 text
No content
Slide 28
Slide 28 text
No content
Slide 29
Slide 29 text
No content
Slide 30
Slide 30 text
No content
Slide 31
Slide 31 text
No content
Slide 32
Slide 32 text
No content
Slide 33
Slide 33 text
28% 51% 86% 17%
Вместе
*12 респондентов 180 роликов
% случаев когда
эмоция верно
опрделна
алгоритмом
по изображению
% случаев когда
менялось
выражение лица
% случаев когда
эмоция верно
опрделна
экспертно по ЭЭГ
% случаев когда
респондент неверно
описал свои эмоции
Slide 34
Slide 34 text
28% 51% 86% 17%
% случаев когда
эмоция верно
опрделна
алгоритмом
по изображению
% случаев когда
менялось
выражение лица
45% 80% 98% 13%
20% 32% 80% 16%
Вместе
Видео
Текст
% случаев когда
эмоция верно
опрделна
экспертно по ЭЭГ
% случаев когда
респондент неверно
описал свои эмоции
Slide 35
Slide 35 text
No content
Slide 36
Slide 36 text
No content
Slide 37
Slide 37 text
No content
Slide 38
Slide 38 text
Ошибки алгоритма распознавания эмоций
Затянутое наступление эмоции (больше 3-5 секунд)
Очень короткая эмоция меньше 1 секунды (смущение, испуг, подавленные эмоции)
Ошибки в определении (напряжение, удивление вместо страха, радость вместо смущения)
Slide 39
Slide 39 text
Можно ли применить алгоритм для распознания
эмоций по видео при чтении документов
Испытывает ли человек при чтении эмоции,
которые нельзя считать с лица
Можно ли использовать нейроинтерфейс для
оценки эмоций
Насколько хорошо работает один из
алгоритмов
45% для видео, 20% для текста (для
использованной выборки)
При чтении текста эмоции на лице
проявляются только в момент развязок, а в
остальное время остаются нейтральными.
При просмотре роликов люди более активно
выражают эмоции на лице 80%, чем при чтении
текста 32%
Да
ЭЭГ дает высокую точность при оценке
эмоций (98% / 80% видео/текст)
Slide 40
Slide 40 text
No content