Ольга Перепелкина. NeurodataLab. Особенности машинного распознавания эмоций

О том, как обучать нейросети анализировать эмоциональное состояние, пульс, дыхание и жестикуляцию людей. Дистанционная мониторинг эмоций человека.

Transcript

1. Human-centered AI: распознавание эмоций и физиологических сигналов по видео Ольга Перепёлкина
3. «ЧИТАЕМ» ЭМОЦИИ ПО ЛИЦУ • "Эмоции универсальны" • "Эмоции выражаются на лице однозначно"
4. ACTION UNITS Facial Action Coding System (FACS, Ekman et al., 2002).
5. ACTION UNITS – AUTOMATIC DETECTION • Автоматические системы распознавания FACS достаточно точны (>90% accuracy). • C++ Dlib (68 facial landmarks). • OpenFace https://github.com/Tadas Baltrusaitis/OpenFace
6. https://github.com/1adrianb/face-alignment https://github.com/facebookresearch/supervisi on-by-registration
7. 7 Lorem ipsum dolor sit amet consectetur Microsoft Amazon Affectiva Noldus …
8. «ЧИТАЕМ» ЭМОЦИИ ПО ЛИЦУ • "Эмоции универсальны" • "Эмоции выражаются на лице однозначно"
9. Женщина испытывает боль
10. Или нет?
11. Или нет? Serena Williams выиграла чемпионат US Open.
12. Ну это уж точно эмоция удивления
13. Хм…
14. Эмоция != лицевая экспрессия Нужно учитывать и другие каналы 17
15. CHALLENGES IN AUTOMATIC EMOTION RECOGNITION
16. Mixed emotions Fake emotions Hidden emotions Missing channels Context is important “Ground Truth” is noisy
17. Мультимодальный подход Vocal affect Poses & gestures Heart rate Respiration rate Context Facial expression Audio Video Processing Emotion classification Text
18. IEMOCAP (Busso et al., 2008) Video Audio Motion capture 11.5 hours Happiness, anger, sadness, frustration, neutral state AFEW (Dhall et al., 2012) Video Audio 2.5 hours Happiness, anger, sadness, fear, disgust, surprise, neutral state RECOLA (Ringeval et al., 2013) Video Audio EDA ECG 5 hours Valence, arousal, social dimension CMU-MOSEI (Zadeh et al., 2018) Video Audio 65 hours Happiness, anger, sadness, fear, disgust, surprise EmotionMiner (Neurodata Lab, 2018) Video Audio 150 hours 22 categories
19. Объединение модальностей 23
20. 24 Мультимодальный подход: EmotionMiner Data Corpus [7 классов] A V T A+V+T A+V+T+B Precision 0,37 0,50 0,28 0,57 0,58 Recall 0,41 0,52 0,31 0,57 0,56
21. Beyond human perception… 25
22. 26 Lorem ipsum dolor sit amet consectetur ВИДЕО С ИНДУКЦИЕЙ
23. 27 Lorem ipsum dolor sit amet consectetur
24. 28 Фотоплетизмография (ФПГ) ФПГ отслеживает изменения в отражении или поглощении света, вызванные пульсацией крови.
25. Lorem ipsum dolor sit amet consectetur Бесконтактная ФПГ (rPPG)
26. 30 Методы удаленной фотоплетизмографии rPPG Blind signal separation (BSS) [Poh, McDuff, Picard, 2011] Model-based [Plane-Orthogonal-to-Skin, Wang et al, 2016] Data-driven [Niu et al., 2018; Niu et al., 2019]
27. 31 Data driven Heart Rate estimation Video frames Diff frames https://arxiv.org/pdf/1805.07888.pdf 3D Attention CNN Heart Rate
28. 32 Lorem ipsum dolor sit amet consectetur Где взять данных?
29. 33 Насинтезировать! Video frames Diff frames 3D Attention CNN Heart Rate Pretrain on synthetic data
30. 34 MAE: 6.71 RMSE: 10.63 MAE: 4.93 RMSE: 9.41
32. 36 R-PPG vs фитнесс-треккеры (75 видео) Tracker MAE (tracker) MAE (NDL) Honor Band 4 8.69 0.97 Amazfit Bip 3.51 3.92 Xiaomi Mi Band 3 5.07 3.71 Apple Watch 2 3.81 2.61 Garmin 2.03 2.46 Samsung Gear S3 2.03 3.28 Mean ± SD 3.6 ± 4.9 2.4 ± 4.5
33. 37 Lorem ipsum dolor sit amet consectetur
34. 38 Lorem ipsum dolor sit amet consectetur
36. 40 Lorem ipsum dolor sit amet consectetur https://api.neurodatalab.dev/
37. 41 neurodatalab.com emotionsdemo.com api.neurodatalab.dev o.perepelkina@neurodatalab.com Спасибо ♥