Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Catherine Soladié - Organisation générique des ...

SCEE Team
October 18, 2012

Catherine Soladié - Organisation générique des expressions du visage

SCEE Team

October 18, 2012
Tweet

More Decks by SCEE Team

Other Decks in Research

Transcript

  1. 2 SOMMAIRE Reconnaissance d’expressions de personnes connues Et dans un

    système multimodal ? Une nouvelle représentatio universelle C’est quoi une expression faciale ? n
  2. 3 Positionnement des travaux Faut-il peindre … ce qu’il y

    a sur un visage ? Ce qu’il y a dans un visage ? Ou se qui se cache derrière un visage ? Pablo Picasso Détection de visage Description de visage forme texture Morphologie (spécifique à la personne) Expression (indépendante de la personne) Reconnaissance d’identité Reconnaissance Signaux physiologiques Visèmes Interactions sociales Etats mentaux (émotions)
  3. 4 Positionnement des travaux Faut-il peindre … ce qu’il y

    a sur un visage ? Ce qu’il y a dans un visage ? Ou se qui se cache derrière un visage ? Pablo Picasso Détection de visage Description de visage forme texture Morphologie (spécifique à la personne) Expression (indépendante de la personne) Reconnaissance d’identité Reconnaissance Signaux physiologiques Visèmes Interactions sociales Etats mentaux (émotions)
  4. 6 Présentation de l’idée Définir une expression par sa position

    relative par rapport aux autres expressions
  5. 7 1ière étape : L’Organisation des Expressions est universelle Pour

    s’affranchir des spécificités de morphologies, utilisation de modèles d’apparence (forme et texture) spécifiques à la personne Pour définir une « organisation », utilisation de la Tessellation de Delaunay Pour définir la « proximité » entre les organisations, utilisation d’un indice de similarité
  6. 8 1ière étape : L’Organisation des Expressions est universelle Tessellation

    de Delaunay Expressions connectées Indice de similarité
  7. 9 1ière étape : L’Organisation des Expressions est universelle Organisations

    réelles Répartition des indices de similarités des organisations  Indice de similarité entre 0.82 and 1  Organisations réelles sont dans les 1.5% des indices de similarités des organisations aléatoires  Pour comparaison, une transposition de 2 sommets voisins ayant chacun 5 voisins conduit à un indice de 0.78. Organisations aléatoires
  8. 10 Contributions Définition de l’organisation des expressions Cette organisation est

    universelle Une expression peut être définie par sa position relative par rapport aux autres expressions
  9. 12 2nde étape : La Signature d’une Expression Inconnue Dans

    cette direction là, il y a trois étoiles de forte intensité qui forment un triangle quasi équilatéral, légèrement incliné vers la gauche. L’étoile est située dans le triangle formé par ces trois étoiles. Elle est d’intensité moyenne et est proche de l’étoile de droite qui forme le triangle.
  10. 13 2nde étape : La Signature d’une Expression Inconnue Dans

    cette direction là, il y a trois étoiles de forte intensité qui forment un triangle quasi équilatéral, légèrement incliné vers la gauche. L’étoile est située dans le triangle formé par ces trois étoiles. Elle est d’intensité moyenne et est proche de l’étoile de droite qui forme le triangle. Organisation des expressions de forte intensité Intensité de l’expression Coordonnées relatives de l’expression
  11. 14 2nde étape : La Signature d’une Expression Inconnue Direction

    • 8 composantes dont 3 non nulles • Coordonnées barycentriques sur la surface extérieure de la variété Intensité • 1 composante • Distance normalisée entre le visage neutre et l’expression 0 0.41 0 0.26 0 0 0.33 0 0.48
  12. 15 Notre méthode basée organisation Méthode classique basée apparence 2nde

    étape : La Signature d’une Expression Inconnue Application à la reconnaissance de 14 expression subtiles inconnues Choix de l’expression similaire la plus proche (nearest neighbor) pour chaque autre sujet (leave-one-out) Utilisation d’un algorithme de vote
  13. 16 Contributions Une expression peut être définie par sa position

    relative par rapport aux autres expressions Définition de la signature direction- intensité d’une expression La position d’une expression par rapport aux autres est plus pertinente que la position absolue de cette expression
  14. 17 SOMMAIRE Reconnaissance d’expressions de personnes connues Et dans un

    système multimodal ? Une nouvelle représentatio universelle C’est quoi une expression faciale ? n sur des données réelles
  15. 18 Le challenge AVEC 2012 : une opportunité Axes de

    validation de la solution Données réelles Emotions Système complet 1 Objectifs du challenge et notre démarche 2 Focus sur quelques caractéristiques multimodales 3 Intégration et extensions de notre représentation des expressions faciales 4 Résultats obtenus
  16. 20 Notre démarche Analyse par un être humain des vidéos

    pour déterminer les caractéristiques pertinentes
  17. 22 Notre système : Sources des caractéristiques pertinentes Contexte :

    Temps de réponse d’un annotateur 1 Dimensions Temps de réponse Arousal 0.43 Valence 0.12 Power 0.56 Expectancy -0.10 power
  18. 23 Notre système : Sources des caractéristiques pertinentes Contexte :

    Structure du signal 2 Dimensions Signal créneau Arousal -0.19 Valence 0.04 Power -0.26 Expectancy 0.21 Expectancy Expectancy
  19. 24 Notre système : Sources des caractéristiques pertinentes Contexte :

    Empathie et propagation d’émotion 3 Arousal Valence
  20. 26 Notre système : Sources des caractéristiques pertinentes Audio :

    Tours de parole 4 Dimensions Signal créneau Arousal -0.02 Valence 0.09 Power -0.13 Expectancy 0.25 Expectancy Expectancy
  21. 28 Multi- AAM (Hanan) Extraction automatique du neutre Extension à

    des personnes inconnues Détection de variations d’une expression (reconnaissance du rire) Utilisation d’un système multimodal d’inférence floues pour extraire l’émotion Contributions
  22. 29 Notre système : Sources des caractéristiques pertinentes Video :

    Extraction du neutre Sujet 1 Sujet 2 neutre sujet 1 neutre sujet 2 Neutre = Visage dont les paramètres du modèle AAM générique sont les plus proches des paramètres moyens de toutes les images sans parole
  23. 30 Notre système : Sources des caractéristiques pertinentes Video :

    Carte des expressions Rire = nombre d’images d’une expression de sourire (> 0.6) intense (> 0.3) sur fenêtre de 40 secondes
  24. 31 Notre système : Sources des caractéristiques pertinentes Video :

    Carte des expressions Dimensions Signal créneau Arousal 0.30 Valence 0.41 Power 0.10 Expectancy 0.11 arousal valence
  25. 32 Notre système : Les règles floues Condition Arousal Si

    RT -- Si Poppy + Si Spike + Si Obadiah - Si Prudence ~ Si inconnu ~ Si rire ++ Condition Valence Si RT - Si Poppy + Si Spike -- Si Obadiah --- Si Prudence + Si inconnu ~ Si rire ++ Condition Power Si RT - Si par RT + Condition Expectancy Si phrase longue - Si phrase courte + Si début de discours + Si discours établi - RT : phase de temps de réponse de l’annotateur
  26. 33 Notre système : Les résultats Dimension Training Test (interne)

    Test (challenge) Annotateur Arousal 0.40 0.52 0.42 0.44 Valence 0.39 0.47 0.42 0.53 Power 0.61 0.59 0.57 0.51 Expectancy 0.37 0.30 0.33 0.33 Moyenne 0.44 0.47 0.43 0.45 Corrélation entre la vérité terrain et les résultats du système Exemples de labellisation de deux annotateurs … … sur la même séquence vidéo RDV le 22 octobre pour comparer avec les autres challengers
  27. 34 Conclusion Faut-il peindre … ce qu’il y a sur

    un visage ? Ce qu’il y a dans un visage ? Ou se qui se cache derrière un visage ? Pablo Picasso Détection de visage Description de visage forme texture Morphologie (spécifique à la personne) Expression (indépendante de la personne) Reconnaissance d’identité Reconnaissance Signaux physiologiques Visèmes Interactions sociales Etats mentaux (émotions) Une représentation générique des expressions du visage… …qui peut être efficacement utilisée sur des données réelles … …dans un contexte multimodal de reconnaissance d’émotions.
  28. 35