6164 Séminaire SCEE Optimisation des Modèles Actifs d’Apparence Présenté par: Yasser AIDAROUS Encadré par: Renaud SEGUIER Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 2 PLAN I. Introduction II. Optimisation par Simplexe initialisé par Mixture de Gaussiennes III. Résultats IV. Conclusion et perspectives
TÉLÉCOMMUNICATIONS DE RENNES 3 INTRODUCTION ¾ Codage source dans le cadre de la radio intelligente. ¾ Alignement de visages. ¾ Extraction de point de marquages. ROI3:’yeux’ ROI1:’Background’ ROI4:’bouche’ ROI2:’visage’ Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 4 INTRODUCTION Contraintes ¾ Systèmes embarqués : 9 Peu de consommation de mémoire. 9 Temps réel: rapidité d’exécution. 9 Robustesse à la variabilité de visages. 9 Capacité à surmonter l’existence de différents modes: Manifolds.
TÉLÉCOMMUNICATIONS DE RENNES 5 INTRODUCTION ¾ AAM: synthétiser un objet à partir de sa forme et de sa texture. ¾ Algorithme constitué de 2 étapes: ¾Phase d’Apprentissage ¾Phase de Segmentation Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 6 Phase d’apprentissage modèle moyen 9 ACP sur la forme 9 ACP sur la texture g b g g i g * φ + = s b s s i s * φ + = Modèles actifs d’apparence
TÉLÉCOMMUNICATIONS DE RENNES 7 Modèles actifs d’apparence 9 ACP sur le vecteur 9 Modification de c changement de texture et de forme. 9 Chaque image de la base d’apprentissage est caractérisée par un vecteur d’apparence c0i et de pose t0i . ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = g s b b b c b * φ = Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 8 Modèles actifs d’apparence ¾ Phase de segmentation: optimiser le choix des paramètre du vecteur c et t. ¾ AAM classique: ¾ utilisation des Matrices de Régression (MR) ¾ Principe des MR: • Matrices d’expériences (offline): 9 Perturbation des vecteur c0i et t0i . t t t c c c i i δ δ + = + = 0 0
TÉLÉCOMMUNICATIONS DE RENNES 9 Modèles actifs d’apparence 9 Création d’une nouvelle forme et texture 9 Calcul de l’erreur engendrée par rapport à l’image pour chaque expérience k: 9 Stockage de l’erreur sur une colonne d’une matrice G. 9 La régression linéaire à variable multiple permet d’écrire les relations linéaires: 0 g g e m ik − = G R C G R T g t * * = = Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 10 Modèles actifs d’apparence • Recherche de la solution (online) Rt et Rg permettent de prédire les modification apportées aux vecteurs c et t, connaissant l’erreur, pour ajuster aux mieux le modèle à l’image en entrée. ¾ Encombrement mémoire des MR: considérable pour des technologies mobiles. ¾ Manifolds: incapacité à aligner des objets présentant des formes assez différentes. Exemple: expressions de bouches
TÉLÉCOMMUNICATIONS DE RENNES 11 Modèles actifs d’apparence ¾ ¾ Absence de relation lin Absence de relation liné éaire entre le mod aire entre le modè èle moyen le moyen et la forme et la forme à à aligner: inefficacit aligner: inefficacité é des MR des MR Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 12 Modèles actifs d’apparence ¾ État de l’art: Mémoire 9 AWN: Active Wavelet Networks, Changbo Hu & Matthew Turk, Département sciences informatiques, Université de Californie. 9 DAM: Direct Appearance Model, Xin Wen Hou, Institut des Sciences Mathématique, Université de Pékin.
TÉLÉCOMMUNICATIONS DE RENNES 13 Modèles actifs d’apparence ¾ Manifolds 9 Mario Christoudias & Trevor Darrell, Département d’Ingénierie Électrique et Sciences Informatique, Institut de Technologie du Massachusetts. ¾ Choix: Simplexe de type Nelder & Mead (SP) 9 Solution: technique d’optimisation itérative non linéaire. 9 Compromis entre méthodes globales et locales. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 14 INTRODUCTION Avantages: 9 Très peu de mémoire utilisée. 9 Robustesse en Manifolds. ¾ Problème des simplexes: Temps de convergence Proposition: Initialisation Mixture de gaussiennes
TÉLÉCOMMUNICATIONS DE RENNES 15 PLAN • Introduction • Optimisation par Simplexe initialisé par Mixture de Gaussiennes • Résultats • Conclusion et perspectives Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 16 Simplexe initialisé par MG ¾ Objectif du simplexe de Nelder & Mead: trouver le minimum d’une fonction de n variable en utilisant n+1 solutions. ¾ Principe: Évaluer l’erreur E généré par chaque solutions proposée, rejeter le sommet où l’erreur est la plus élevée et aller vers la direction de la solution proposée de plus faible erreur.
TÉLÉCOMMUNICATIONS DE RENNES 17 Simplexe initialisé par MG ¾ Les solutions proposées sont engendrées par des opérateurs de recherche tous se basant sur le centre de gravité: ¾ Les opérateurs: Réflexion, Expansion, Contraction et Retrait. ∑ = = n i k i c x n x 1 1 Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 18 Simplexe initialisé par MG Adaptation du Simplexe aux AAMs 9 Vecteur à optimiser: 9 Fonction à minimiser: M étant le nombre de pixels dans l’image, et e l’erreur entre un pixel de l’image test et le pixel correspondant dans le modèle généré ∑ = = M i i e E 1 2 ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = t c v
TÉLÉCOMMUNICATIONS DE RENNES 19 Simplexe initialisé par MG • Critères d’arrêt: 9 Nombre d’itérations maximal. 9 Convergence par population: différence entre les valeurs de E des solutions proposées ne dépassant pas un certain seuil. • Contraintes: ¾ Sur l’apparence ¾ Sur la pose [ ] λ λ 2 2 + − ∈ c 0 1 . 0 t t ± ∈ Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 20 Simplexe initialisé par MG • Initialisation
TÉLÉCOMMUNICATIONS DE RENNES 21 Simplexe initialisé par MG ¾ Partitionner l’espace d’apprentissage en gaussiennes. 1expression 1 classe 1 gaussienne ¾ Utilisation d’un algorithme Expectation Maximisation (EM) ¾ Obtention des variances, moyennes et poids de chaque gaussienne. ¾ Initialiser le simplexe aléatoirement dans les gaussiennes. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 22 PLAN • Introduction • Optimisation par Simplexe initialisé par Mixture de Gaussiennes • Résultats • Conclusion et perspectives
TÉLÉCOMMUNICATIONS DE RENNES 23 Résultats • 2 tests: ¾ Test 1: Alignement de visages n’appartenant pas à la base d’apprentissage. ¾ Test 2: ‘manifolds ’ (expressions différentes) en alignement de bouches. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 24 Résultats: Erreur de marquage ¾ Erreur de marquage affirmation de la convergence par rapport au points de marquage. ∑ ∑ = = = = − = i i Q r find ir i find gi Q r real ir i real gi real gi find gi i p Q p et p Q p avec p p f 1 1 1 : 1 :
TÉLÉCOMMUNICATIONS DE RENNES 25 Résultats: Erreur de marquage ¾ Convergence si: ¾ Nous cherchons à minimiser l’erreur de marquage par l’intermédiaire de l’erreur des pixels 5 eye m m i D S où S f = <= i f E Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 26 Résultats: Test 1 ¾ Base d’apprentissage (BA): 15 visages de M2VTS, Base de test (BT): 1520 visages de BioiD. MR: Matrices de régression SPR: SP initialisé aléatoirement SPGM: SP initialisé par MG
TÉLÉCOMMUNICATIONS DE RENNES 27 Résultats: test 1 ¾ MR et SPGM comparable. ¾ Mémoire utilisée. ¾ Avantage SPGM. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 28 Résultats: Test 2 ¾ Base d’apprentissage (BA): 5 bouches de la base FT sous 4 expressions (20 images) différentes, Base de test (BT): 80 images de la base FT. MR: Matrices de régression SPR: SP initialisé aléatoirement SPGM: SP initialisé par MG 4MR: 1MR par expression
TÉLÉCOMMUNICATIONS DE RENNES 29 Résultats: Test 2 ¾ Robustesse de la méthode SPGM. ¾ MR inefficace. ¾ Gain en temps et en mémoire. ¾ Nécessité de l’initialisation par MG. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 30 PLAN • Introduction • Optimisation par Simplexe initialisé par Mixture de Gaussiennes • Résultats • Conclusion et perspectives
TÉLÉCOMMUNICATIONS DE RENNES 31 Conclusion & perspectives • Conclusion: ¾ Efficacité de la nouvelle procédure d’optimisation. ¾ Réduction considérable de l’espace mémoire utilisé. ¾ Résolution du problème des manifolds: optimisation non linéaire. Yasser AIDAROUS 04 Oct 2007 INSTITUT D’ÉLECTRONIQUE ET DE TÉLÉCOMMUNICATIONS DE RENNES 32 Conclusion & perspectives • Perspectives: ¾ Remplacer l’ACP. ¾ Utilisation d’algorithme de classification 9 Représentation de données en dimension réduite 9 Séparabilité des données représentées. 9 Reconstruction des données.
scee_team
koide3
bansousha
mickey_kubo
tomohirokoana
kzinmr
.png){kind=avatar}
satai
trafficbrain
kohei_1979
k_sato
ontheslope
frankvandijk
moore
szymonslowik
skoyamalab
michaelherold
morganepeng
chikuwait
sachag
jonoalderson
cassininazir
mkilby
akihiro_kokubo
