Catherine Soladié - Organisation générique des expressions du visage

Transcript

1. 1 Travaux réalisés avec Renaud Séguier, Nicolas Stoïber, Catherine Pelachaud et Hanan Salam
2. 2 SOMMAIRE Reconnaissance d’expressions de personnes connues Et dans un système multimodal ? Une nouvelle représentatio universelle C’est quoi une expression faciale ? n
3. 3 Positionnement des travaux Faut-il peindre … ce qu’il y a sur un visage ? Ce qu’il y a dans un visage ? Ou se qui se cache derrière un visage ? Pablo Picasso Détection de visage Description de visage forme texture Morphologie (spécifique à la personne) Expression (indépendante de la personne) Reconnaissance d’identité Reconnaissance Signaux physiologiques Visèmes Interactions sociales Etats mentaux (émotions)
4. 4 Positionnement des travaux Faut-il peindre … ce qu’il y a sur un visage ? Ce qu’il y a dans un visage ? Ou se qui se cache derrière un visage ? Pablo Picasso Détection de visage Description de visage forme texture Morphologie (spécifique à la personne) Expression (indépendante de la personne) Reconnaissance d’identité Reconnaissance Signaux physiologiques Visèmes Interactions sociales Etats mentaux (émotions)
5. 5 Présentation de l’idée Méthodes traditionnelles : Définir les caractéristiques d’une expression
6. 6 Présentation de l’idée Définir une expression par sa position relative par rapport aux autres expressions
7. 7 1ière étape : L’Organisation des Expressions est universelle Pour s’affranchir des spécificités de morphologies, utilisation de modèles d’apparence (forme et texture) spécifiques à la personne Pour définir une « organisation », utilisation de la Tessellation de Delaunay Pour définir la « proximité » entre les organisations, utilisation d’un indice de similarité
8. 8 1ière étape : L’Organisation des Expressions est universelle Tessellation de Delaunay Expressions connectées Indice de similarité
9. 9 1ière étape : L’Organisation des Expressions est universelle Organisations réelles Répartition des indices de similarités des organisations  Indice de similarité entre 0.82 and 1  Organisations réelles sont dans les 1.5% des indices de similarités des organisations aléatoires  Pour comparaison, une transposition de 2 sommets voisins ayant chacun 5 voisins conduit à un indice de 0.78. Organisations aléatoires
10. 10 Contributions Définition de l’organisation des expressions Cette organisation est universelle Une expression peut être définie par sa position relative par rapport aux autres expressions
11. 11 2nde étape : La Signature d’une Expression Inconnue
12. 12 2nde étape : La Signature d’une Expression Inconnue Dans cette direction là, il y a trois étoiles de forte intensité qui forment un triangle quasi équilatéral, légèrement incliné vers la gauche. L’étoile est située dans le triangle formé par ces trois étoiles. Elle est d’intensité moyenne et est proche de l’étoile de droite qui forme le triangle.
13. 13 2nde étape : La Signature d’une Expression Inconnue Dans cette direction là, il y a trois étoiles de forte intensité qui forment un triangle quasi équilatéral, légèrement incliné vers la gauche. L’étoile est située dans le triangle formé par ces trois étoiles. Elle est d’intensité moyenne et est proche de l’étoile de droite qui forme le triangle. Organisation des expressions de forte intensité Intensité de l’expression Coordonnées relatives de l’expression
14. 14 2nde étape : La Signature d’une Expression Inconnue Direction • 8 composantes dont 3 non nulles • Coordonnées barycentriques sur la surface extérieure de la variété Intensité • 1 composante • Distance normalisée entre le visage neutre et l’expression 0 0.41 0 0.26 0 0 0.33 0 0.48
15. 15 Notre méthode basée organisation Méthode classique basée apparence 2nde étape : La Signature d’une Expression Inconnue Application à la reconnaissance de 14 expression subtiles inconnues Choix de l’expression similaire la plus proche (nearest neighbor) pour chaque autre sujet (leave-one-out) Utilisation d’un algorithme de vote
16. 16 Contributions Une expression peut être définie par sa position relative par rapport aux autres expressions Définition de la signature direction- intensité d’une expression La position d’une expression par rapport aux autres est plus pertinente que la position absolue de cette expression
17. 17 SOMMAIRE Reconnaissance d’expressions de personnes connues Et dans un système multimodal ? Une nouvelle représentatio universelle C’est quoi une expression faciale ? n sur des données réelles
18. 18 Le challenge AVEC 2012 : une opportunité Axes de validation de la solution Données réelles Emotions Système complet 1 Objectifs du challenge et notre démarche 2 Focus sur quelques caractéristiques multimodales 3 Intégration et extensions de notre représentation des expressions faciales 4 Résultats obtenus
19. 19 Objectifs du challenge Séquences audio-vidéos 4 dimensions émotionnelles
20. 20 Notre démarche Analyse par un être humain des vidéos pour déterminer les caractéristiques pertinentes
21. 21 Notre système : Sources des caractéristiques pertinentes 1 2 3 5 4
22. 22 Notre système : Sources des caractéristiques pertinentes Contexte : Temps de réponse d’un annotateur 1 Dimensions Temps de réponse Arousal 0.43 Valence 0.12 Power 0.56 Expectancy -0.10 power
23. 23 Notre système : Sources des caractéristiques pertinentes Contexte : Structure du signal 2 Dimensions Signal créneau Arousal -0.19 Valence 0.04 Power -0.26 Expectancy 0.21 Expectancy Expectancy
24. 24 Notre système : Sources des caractéristiques pertinentes Contexte : Empathie et propagation d’émotion 3 Arousal Valence
25. 25 Notre système : Sources des caractéristiques pertinentes Contexte : Empathie et propagation d’émotion 3
26. 26 Notre système : Sources des caractéristiques pertinentes Audio : Tours de parole 4 Dimensions Signal créneau Arousal -0.02 Valence 0.09 Power -0.13 Expectancy 0.25 Expectancy Expectancy
27. 27 Notre système : Sources des caractéristiques pertinentes 1 2 3 5 4
28. 28 Multi- AAM (Hanan) Extraction automatique du neutre Extension à des personnes inconnues Détection de variations d’une expression (reconnaissance du rire) Utilisation d’un système multimodal d’inférence floues pour extraire l’émotion Contributions
29. 29 Notre système : Sources des caractéristiques pertinentes Video : Extraction du neutre Sujet 1 Sujet 2 neutre sujet 1 neutre sujet 2 Neutre = Visage dont les paramètres du modèle AAM générique sont les plus proches des paramètres moyens de toutes les images sans parole
30. 30 Notre système : Sources des caractéristiques pertinentes Video : Carte des expressions Rire = nombre d’images d’une expression de sourire (> 0.6) intense (> 0.3) sur fenêtre de 40 secondes
31. 31 Notre système : Sources des caractéristiques pertinentes Video : Carte des expressions Dimensions Signal créneau Arousal 0.30 Valence 0.41 Power 0.10 Expectancy 0.11 arousal valence
32. 32 Notre système : Les règles floues Condition Arousal Si RT -- Si Poppy + Si Spike + Si Obadiah - Si Prudence ~ Si inconnu ~ Si rire ++ Condition Valence Si RT - Si Poppy + Si Spike -- Si Obadiah --- Si Prudence + Si inconnu ~ Si rire ++ Condition Power Si RT - Si par RT + Condition Expectancy Si phrase longue - Si phrase courte + Si début de discours + Si discours établi - RT : phase de temps de réponse de l’annotateur
33. 33 Notre système : Les résultats Dimension Training Test (interne) Test (challenge) Annotateur Arousal 0.40 0.52 0.42 0.44 Valence 0.39 0.47 0.42 0.53 Power 0.61 0.59 0.57 0.51 Expectancy 0.37 0.30 0.33 0.33 Moyenne 0.44 0.47 0.43 0.45 Corrélation entre la vérité terrain et les résultats du système Exemples de labellisation de deux annotateurs … … sur la même séquence vidéo RDV le 22 octobre pour comparer avec les autres challengers
34. 34 Conclusion Faut-il peindre … ce qu’il y a sur un visage ? Ce qu’il y a dans un visage ? Ou se qui se cache derrière un visage ? Pablo Picasso Détection de visage Description de visage forme texture Morphologie (spécifique à la personne) Expression (indépendante de la personne) Reconnaissance d’identité Reconnaissance Signaux physiologiques Visèmes Interactions sociales Etats mentaux (émotions) Une représentation générique des expressions du visage… …qui peut être efficacement utilisée sur des données réelles … …dans un contexte multimodal de reconnaissance d’émotions.