Nicolas Stoiber - Représentation objective et pertinente des expressions faciales émotionnelles

Transcript

1. Représentation objective et pertinente des expressions faciales émotionnelles Séminaire SCEE 2010 SUPELEC/SCEE 1 application à la reconnaissance et la synthèse Nicolas STOIBER. Doctorant 3°année SCEE / Orange Labs
2. Thème de recherche • Objectif : Extraction et exploitation d'informations liées aux mouvements faciaux. • Pourquoi ? – Enrichissement du contenu de la communication par Séminaire SCEE 2010 SUPELEC/SCEE 2 – Enrichissement du contenu de la communication par des informations non-verbales (processus humain naturel). Meilleure intelligibilité, meilleure interactivité. – Captation du contexte. Permet une adaptation intelligente et dynamique des systèmes de transmission et de compression des signaux.
3. Suivi de mouvements faciaux Alignement ACP Bs Images Modèles Actifs d'Apparence Séminaire SCEE 2010 SUPELEC/SCEE 3 Alignement et normalisation ACP Conc. PCA C Bt Images Travaux Sylvain Le Gallou, thèse SCEE 2007.
4. Extraction d'informations de haut niveau • État de l'art : classification [Hu 2004, Shan 2005, Suzuki 2007] Séminaire SCEE 2010 SUPELEC/SCEE 4
5. Extraction d'informations de haut niveau • État de l'art : utilisation de représentations continues théoriques [Plutchik 2001] [Cowie 2000] Séminaire SCEE 2010 SUPELEC/SCEE 5
6. Analyse des déformations faciales • Notre approche: Représentation issue des données. Séminaire SCEE 2010 SUPELEC/SCEE 6 Corpus Représentation
7. Réduction non-linéaire • Déformations faciales non-linéaires [Chang 03, ElGammal 05, Lee 06] • Réduction linéaire – Analyse en composante principale (ACP) Séminaire SCEE 2010 SUPELEC/SCEE 7 • Réduction non-linéaire – Variétés géométriques
8. Réduction non-linéaire • Méthodes standards Locally Linear Embedding Préservation des voisinages 2 min ∑ ∑ − i j j ij i X W X r r Séminaire SCEE 2010 SUPELEC/SCEE 8 2 ) ( ) ( min Y G D D τ τ − IsoMap Préservation des géodésiques voisinages
9. • Nouvelle piste Réduction non-linéaire Séminaire SCEE 2010 SUPELEC/SCEE 9 Présence de directions dominantes dans les données
10. Réduction : problème d'optimisation • Détection des directions D1 D1 Convex Hull Mean Shift Séminaire SCEE 2010 SUPELEC/SCEE 10 • Réduction D2 D3 D2 ? D3
11. Réduction : problème d'optimisation • Problème d'optimisation Mesure de la distorsion : Angles 2 1 i , i Θ i i2 Les directions réduites forment une suite Séminaire SCEE 2010 SUPELEC/SCEE 11 Problème du voyageur de commerce. 2 1 i , i Θ i1 ik …         Θ ∑ = + d n k 1 ) ( min arg 1 k k d n 1 i , i i ,..., i
12. Réduction : problème d'optimisation • Résultat de l'optimisation D1 D1 Séminaire SCEE 2010 SUPELEC/SCEE 12 D2 D3 D2 D3 Parcours de la variété
13. Réduction non-linéaire N-D • Problème d'optimisation (3D) D1 Séminaire SCEE 2010 SUPELEC/SCEE 13         Ω ∑ = c k k k n k i i i cells 1 , , ) ( 3 2 1 min arg D2 D3 k k k i i i 3 2 1 , , Ω
14. Applications • Reconnaissance d'expressions Reconnaissance temps réel Séminaire SCEE 2010 SUPELEC/SCEE 14 colère surprise
15. Valorisation • Autre domaine applicatif : Animation de personnages virtuels Séminaire SCEE 2010 SUPELEC/SCEE 15 Start-up "Dynamixyz" 1 enseignant Supélec co-fondateur Contrôle facial intuitif Génération de séquences d'animation
16. Valorisation • Autre domaine applicatif : Animation de personnages virtuels Séminaire SCEE 2010 SUPELEC/SCEE 16 Start-up "Dynamixyz" 1 enseignant Supélec co-fondateur Journée image et systèmes embarqués. Supélec mai 2009
17. Valorisation • Conférence internationale – Intelligent User Interfaces 2009. • Revues internationales – Chapitre Livre "Mutimedia Information Extraction" 2010. – International Journal of Computer Games Technology 2009. – Computer Animation and Virtual Worlds 2010 (minor revision). Séminaire SCEE 2010 SUPELEC/SCEE 17 – Computer Animation and Virtual Worlds 2010 (minor revision). • 2 Brevets Orange Labs • Projet ANR – IMMEMO, début octobre 2009. Supélec leader. • Post-Doc – Fond de maturation Régional 2010. • Start-up "Dynamixyz" (Incubateur breton Emergys) – Lauréat du concours national de la création d'entreprises innovantes (1 enseignants Supélec co-fondateur).
18. Fin Séminaire SCEE 2010 SUPELEC/SCEE 18 Merci de votre attention
19. Réduction non-linéaire N-D • Quelle dimensionnalité ? Séminaire SCEE 2010 SUPELEC/SCEE 19