Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Yasser Aidarous - Optimisation des Modèles Acti...

SCEE Team
October 04, 2007

Yasser Aidarous - Optimisation des Modèles Actifs d’Apparence

SCEE Team

October 04, 2007

Transcript

17 slides
  1. 1 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 1 UMR

    6164 Séminaire SCEE Optimisation des Modèles Actifs d’Apparence Présenté par: Yasser AIDAROUS Encadré par: Renaud SEGUIER Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 2 PLAN I. Introduction II. Optimisation par Simplexe initialisé par Mixture de Gaussiennes III. Résultats IV. Conclusion et perspectives
  2. 2 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 3 INTRODUCTION ¾ Codage source dans le cadre de la radio intelligente. ¾ Alignement de visages. ¾ Extraction de point de marquages. ROI3:’yeux’ ROI1:’Background’ ROI4:’bouche’ ROI2:’visage’ Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 4 INTRODUCTION Contraintes ¾ Systèmes embarqués : 9 Peu de consommation de mémoire. 9 Temps réel: rapidité d’exécution. 9 Robustesse à la variabilité de visages. 9 Capacité à surmonter l’existence de différents modes: Manifolds.
  3. 3 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 5 INTRODUCTION ¾ AAM: synthétiser un objet à partir de sa forme et de sa texture. ¾ Algorithme constitué de 2 étapes: ¾Phase d’Apprentissage ¾Phase de Segmentation Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 6 Phase d’apprentissage modèle moyen 9 ACP sur la forme 9 ACP sur la texture g b g g i g * φ + = s b s s i s * φ + = Modèles actifs d’apparence
  4. 4 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 7 Modèles actifs d’apparence 9 ACP sur le vecteur 9 Modification de c changement de texture et de forme. 9 Chaque image de la base d’apprentissage est caractérisée par un vecteur d’apparence c0i et de pose t0i . ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = g s b b b c b * φ = Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 8 Modèles actifs d’apparence ¾ Phase de segmentation: optimiser le choix des paramètre du vecteur c et t. ¾ AAM classique: ¾ utilisation des Matrices de Régression (MR) ¾ Principe des MR: • Matrices d’expériences (offline): 9 Perturbation des vecteur c0i et t0i . t t t c c c i i δ δ + = + = 0 0
  5. 5 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 9 Modèles actifs d’apparence 9 Création d’une nouvelle forme et texture 9 Calcul de l’erreur engendrée par rapport à l’image pour chaque expérience k: 9 Stockage de l’erreur sur une colonne d’une matrice G. 9 La régression linéaire à variable multiple permet d’écrire les relations linéaires: 0 g g e m ik − = G R C G R T g t * * = = Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 10 Modèles actifs d’apparence • Recherche de la solution (online) Rt et Rg permettent de prédire les modification apportées aux vecteurs c et t, connaissant l’erreur, pour ajuster aux mieux le modèle à l’image en entrée. ¾ Encombrement mémoire des MR: considérable pour des technologies mobiles. ¾ Manifolds: incapacité à aligner des objets présentant des formes assez différentes. Exemple: expressions de bouches
  6. 6 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 11 Modèles actifs d’apparence ¾ ¾ Absence de relation lin Absence de relation liné éaire entre le mod aire entre le modè èle moyen le moyen et la forme et la forme à à aligner: inefficacit aligner: inefficacité é des MR des MR Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 12 Modèles actifs d’apparence ¾ État de l’art: Mémoire 9 AWN: Active Wavelet Networks, Changbo Hu & Matthew Turk, Département sciences informatiques, Université de Californie. 9 DAM: Direct Appearance Model, Xin Wen Hou, Institut des Sciences Mathématique, Université de Pékin.
  7. 7 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 13 Modèles actifs d’apparence ¾ Manifolds 9 Mario Christoudias & Trevor Darrell, Département d’Ingénierie Électrique et Sciences Informatique, Institut de Technologie du Massachusetts. ¾ Choix: Simplexe de type Nelder & Mead (SP) 9 Solution: technique d’optimisation itérative non linéaire. 9 Compromis entre méthodes globales et locales. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 14 INTRODUCTION Avantages: 9 Très peu de mémoire utilisée. 9 Robustesse en Manifolds. ¾ Problème des simplexes: Temps de convergence Proposition: Initialisation Mixture de gaussiennes
  8. 8 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 15 PLAN • Introduction • Optimisation par Simplexe initialisé par Mixture de Gaussiennes • Résultats • Conclusion et perspectives Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 16 Simplexe initialisé par MG ¾ Objectif du simplexe de Nelder & Mead: trouver le minimum d’une fonction de n variable en utilisant n+1 solutions. ¾ Principe: Évaluer l’erreur E généré par chaque solutions proposée, rejeter le sommet où l’erreur est la plus élevée et aller vers la direction de la solution proposée de plus faible erreur.
  9. 9 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 17 Simplexe initialisé par MG ¾ Les solutions proposées sont engendrées par des opérateurs de recherche tous se basant sur le centre de gravité: ¾ Les opérateurs: Réflexion, Expansion, Contraction et Retrait. ∑ = = n i k i c x n x 1 1 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 18 Simplexe initialisé par MG Adaptation du Simplexe aux AAMs 9 Vecteur à optimiser: 9 Fonction à minimiser: M étant le nombre de pixels dans l’image, et e l’erreur entre un pixel de l’image test et le pixel correspondant dans le modèle généré ∑ = = M i i e E 1 2 ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = t c v
  10. 10 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 19 Simplexe initialisé par MG • Critères d’arrêt: 9 Nombre d’itérations maximal. 9 Convergence par population: différence entre les valeurs de E des solutions proposées ne dépassant pas un certain seuil. • Contraintes: ¾ Sur l’apparence ¾ Sur la pose [ ] λ λ 2 2 + − ∈ c 0 1 . 0 t t ± ∈ Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 20 Simplexe initialisé par MG • Initialisation
  11. 11 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 21 Simplexe initialisé par MG ¾ Partitionner l’espace d’apprentissage en gaussiennes. 1expression 1 classe 1 gaussienne ¾ Utilisation d’un algorithme Expectation Maximisation (EM) ¾ Obtention des variances, moyennes et poids de chaque gaussienne. ¾ Initialiser le simplexe aléatoirement dans les gaussiennes. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 22 PLAN • Introduction • Optimisation par Simplexe initialisé par Mixture de Gaussiennes • Résultats • Conclusion et perspectives
  12. 12 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 23 Résultats • 2 tests: ¾ Test 1: Alignement de visages n’appartenant pas à la base d’apprentissage. ¾ Test 2: ‘manifolds ’ (expressions différentes) en alignement de bouches. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 24 Résultats: Erreur de marquage ¾ Erreur de marquage affirmation de la convergence par rapport au points de marquage. ∑ ∑ = = = = − = i i Q r find ir i find gi Q r real ir i real gi real gi find gi i p Q p et p Q p avec p p f 1 1 1 : 1 :
  13. 13 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 25 Résultats: Erreur de marquage ¾ Convergence si: ¾ Nous cherchons à minimiser l’erreur de marquage par l’intermédiaire de l’erreur des pixels 5 eye m m i D S où S f = <= i f E Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 26 Résultats: Test 1 ¾ Base d’apprentissage (BA): 15 visages de M2VTS, Base de test (BT): 1520 visages de BioiD. MR: Matrices de régression SPR: SP initialisé aléatoirement SPGM: SP initialisé par MG
  14. 14 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 27 Résultats: test 1 ¾ MR et SPGM comparable. ¾ Mémoire utilisée. ¾ Avantage SPGM. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 28 Résultats: Test 2 ¾ Base d’apprentissage (BA): 5 bouches de la base FT sous 4 expressions (20 images) différentes, Base de test (BT): 80 images de la base FT. MR: Matrices de régression SPR: SP initialisé aléatoirement SPGM: SP initialisé par MG 4MR: 1MR par expression
  15. 15 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 29 Résultats: Test 2 ¾ Robustesse de la méthode SPGM. ¾ MR inefficace. ¾ Gain en temps et en mémoire. ¾ Nécessité de l’initialisation par MG. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 30 PLAN • Introduction • Optimisation par Simplexe initialisé par Mixture de Gaussiennes • Résultats • Conclusion et perspectives
  16. 16 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 31 Conclusion & perspectives • Conclusion: ¾ Efficacité de la nouvelle procédure d’optimisation. ¾ Réduction considérable de l’espace mémoire utilisé. ¾ Résolution du problème des manifolds: optimisation non linéaire. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 32 Conclusion & perspectives • Perspectives: ¾ Remplacer l’ACP. ¾ Utilisation d’algorithme de classification 9 Représentation de données en dimension réduite 9 Séparabilité des données représentées. 9 Reconstruction des données.
  17. 17 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE

    TÉLÉCOMMUNICATIONS DE RENNES 33 Merci de votre attention Des questions ???

More Decks by SCEE Team

Other Decks in Research