Yasser Aidarous - Optimisation des Modèles Actifs d’Apparence

Transcript

1. 1 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 1 UMR 6164 Séminaire SCEE Optimisation des Modèles Actifs d’Apparence Présenté par: Yasser AIDAROUS Encadré par: Renaud SEGUIER Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 2 PLAN I. Introduction II. Optimisation par Simplexe initialisé par Mixture de Gaussiennes III. Résultats IV. Conclusion et perspectives
2. 2 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 3 INTRODUCTION ¾ Codage source dans le cadre de la radio intelligente. ¾ Alignement de visages. ¾ Extraction de point de marquages. ROI3:’yeux’ ROI1:’Background’ ROI4:’bouche’ ROI2:’visage’ Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 4 INTRODUCTION Contraintes ¾ Systèmes embarqués : 9 Peu de consommation de mémoire. 9 Temps réel: rapidité d’exécution. 9 Robustesse à la variabilité de visages. 9 Capacité à surmonter l’existence de différents modes: Manifolds.
3. 3 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 5 INTRODUCTION ¾ AAM: synthétiser un objet à partir de sa forme et de sa texture. ¾ Algorithme constitué de 2 étapes: ¾Phase d’Apprentissage ¾Phase de Segmentation Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 6 Phase d’apprentissage modèle moyen 9 ACP sur la forme 9 ACP sur la texture g b g g i g * φ + = s b s s i s * φ + = Modèles actifs d’apparence
4. 4 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 7 Modèles actifs d’apparence 9 ACP sur le vecteur 9 Modification de c changement de texture et de forme. 9 Chaque image de la base d’apprentissage est caractérisée par un vecteur d’apparence c0i et de pose t0i . ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = g s b b b c b * φ = Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 8 Modèles actifs d’apparence ¾ Phase de segmentation: optimiser le choix des paramètre du vecteur c et t. ¾ AAM classique: ¾ utilisation des Matrices de Régression (MR) ¾ Principe des MR: • Matrices d’expériences (offline): 9 Perturbation des vecteur c0i et t0i . t t t c c c i i δ δ + = + = 0 0
5. 5 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 9 Modèles actifs d’apparence 9 Création d’une nouvelle forme et texture 9 Calcul de l’erreur engendrée par rapport à l’image pour chaque expérience k: 9 Stockage de l’erreur sur une colonne d’une matrice G. 9 La régression linéaire à variable multiple permet d’écrire les relations linéaires: 0 g g e m ik − = G R C G R T g t * * = = Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 10 Modèles actifs d’apparence • Recherche de la solution (online) Rt et Rg permettent de prédire les modification apportées aux vecteurs c et t, connaissant l’erreur, pour ajuster aux mieux le modèle à l’image en entrée. ¾ Encombrement mémoire des MR: considérable pour des technologies mobiles. ¾ Manifolds: incapacité à aligner des objets présentant des formes assez différentes. Exemple: expressions de bouches
6. 6 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 11 Modèles actifs d’apparence ¾ ¾ Absence de relation lin Absence de relation liné éaire entre le mod aire entre le modè èle moyen le moyen et la forme et la forme à à aligner: inefficacit aligner: inefficacité é des MR des MR Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 12 Modèles actifs d’apparence ¾ État de l’art: Mémoire 9 AWN: Active Wavelet Networks, Changbo Hu & Matthew Turk, Département sciences informatiques, Université de Californie. 9 DAM: Direct Appearance Model, Xin Wen Hou, Institut des Sciences Mathématique, Université de Pékin.
7. 7 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 13 Modèles actifs d’apparence ¾ Manifolds 9 Mario Christoudias & Trevor Darrell, Département d’Ingénierie Électrique et Sciences Informatique, Institut de Technologie du Massachusetts. ¾ Choix: Simplexe de type Nelder & Mead (SP) 9 Solution: technique d’optimisation itérative non linéaire. 9 Compromis entre méthodes globales et locales. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 14 INTRODUCTION Avantages: 9 Très peu de mémoire utilisée. 9 Robustesse en Manifolds. ¾ Problème des simplexes: Temps de convergence Proposition: Initialisation Mixture de gaussiennes
8. 8 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 15 PLAN • Introduction • Optimisation par Simplexe initialisé par Mixture de Gaussiennes • Résultats • Conclusion et perspectives Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 16 Simplexe initialisé par MG ¾ Objectif du simplexe de Nelder & Mead: trouver le minimum d’une fonction de n variable en utilisant n+1 solutions. ¾ Principe: Évaluer l’erreur E généré par chaque solutions proposée, rejeter le sommet où l’erreur est la plus élevée et aller vers la direction de la solution proposée de plus faible erreur.
9. 9 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 17 Simplexe initialisé par MG ¾ Les solutions proposées sont engendrées par des opérateurs de recherche tous se basant sur le centre de gravité: ¾ Les opérateurs: Réflexion, Expansion, Contraction et Retrait. ∑ = = n i k i c x n x 1 1 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 18 Simplexe initialisé par MG Adaptation du Simplexe aux AAMs 9 Vecteur à optimiser: 9 Fonction à minimiser: M étant le nombre de pixels dans l’image, et e l’erreur entre un pixel de l’image test et le pixel correspondant dans le modèle généré ∑ = = M i i e E 1 2 ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = t c v
10. 10 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 19 Simplexe initialisé par MG • Critères d’arrêt: 9 Nombre d’itérations maximal. 9 Convergence par population: différence entre les valeurs de E des solutions proposées ne dépassant pas un certain seuil. • Contraintes: ¾ Sur l’apparence ¾ Sur la pose [ ] λ λ 2 2 + − ∈ c 0 1 . 0 t t ± ∈ Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 20 Simplexe initialisé par MG • Initialisation
11. 11 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 21 Simplexe initialisé par MG ¾ Partitionner l’espace d’apprentissage en gaussiennes. 1expression 1 classe 1 gaussienne ¾ Utilisation d’un algorithme Expectation Maximisation (EM) ¾ Obtention des variances, moyennes et poids de chaque gaussienne. ¾ Initialiser le simplexe aléatoirement dans les gaussiennes. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 22 PLAN • Introduction • Optimisation par Simplexe initialisé par Mixture de Gaussiennes • Résultats • Conclusion et perspectives
12. 12 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 23 Résultats • 2 tests: ¾ Test 1: Alignement de visages n’appartenant pas à la base d’apprentissage. ¾ Test 2: ‘manifolds ’ (expressions différentes) en alignement de bouches. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 24 Résultats: Erreur de marquage ¾ Erreur de marquage affirmation de la convergence par rapport au points de marquage. ∑ ∑ = = = = − = i i Q r find ir i find gi Q r real ir i real gi real gi find gi i p Q p et p Q p avec p p f 1 1 1 : 1 :
13. 13 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 25 Résultats: Erreur de marquage ¾ Convergence si: ¾ Nous cherchons à minimiser l’erreur de marquage par l’intermédiaire de l’erreur des pixels 5 eye m m i D S où S f = <= i f E Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 26 Résultats: Test 1 ¾ Base d’apprentissage (BA): 15 visages de M2VTS, Base de test (BT): 1520 visages de BioiD. MR: Matrices de régression SPR: SP initialisé aléatoirement SPGM: SP initialisé par MG
14. 14 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 27 Résultats: test 1 ¾ MR et SPGM comparable. ¾ Mémoire utilisée. ¾ Avantage SPGM. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 28 Résultats: Test 2 ¾ Base d’apprentissage (BA): 5 bouches de la base FT sous 4 expressions (20 images) différentes, Base de test (BT): 80 images de la base FT. MR: Matrices de régression SPR: SP initialisé aléatoirement SPGM: SP initialisé par MG 4MR: 1MR par expression
15. 15 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 29 Résultats: Test 2 ¾ Robustesse de la méthode SPGM. ¾ MR inefficace. ¾ Gain en temps et en mémoire. ¾ Nécessité de l’initialisation par MG. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 30 PLAN • Introduction • Optimisation par Simplexe initialisé par Mixture de Gaussiennes • Résultats • Conclusion et perspectives
16. 16 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 31 Conclusion & perspectives • Conclusion: ¾ Efficacité de la nouvelle procédure d’optimisation. ¾ Réduction considérable de l’espace mémoire utilisé. ¾ Résolution du problème des manifolds: optimisation non linéaire. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 32 Conclusion & perspectives • Perspectives: ¾ Remplacer l’ACP. ¾ Utilisation d’algorithme de classification 9 Représentation de données en dimension réduite 9 Séparabilité des données représentées. 9 Reconstruction des données.
17. 17 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 33 Merci de votre attention Des questions ???