Sylvain Le Gallou - Modèle actif d'apparence

Transcript

1. Modèle Actif d'Apparence (AAM). Modèle Actif d'Apparence (AAM). Sylvain LE GALLOU. Sylvain LE GALLOU.
2. Mod Modè èle Actif d'Apparence (AAM) le Actif d'Apparence (AAM) But : Présentation d'une méthode de modèle déformable (Forme capable de se mouvoir afin de se « calquer » à un ensemble de données.) Méthode utilisée pour la segmentation dans les domaines de détection, reconstruction et reconnaissance d'objets Les modèles actifs d'apparence (AAM) ont été proposés par Edwards, Cootes et Taylor en 1998. La méthode utilise la connaissance a priori des variations de forme et de texture d'observations.
4. 1 1 Applications :
5. 1 1
6. 1 1
7. 1 1 Apprentissage • Textures et Marquages Alignés et Moyens. • Modes de variations (Texture et Marquage). Alignement marquage : Transf. Procrustréenne Alignement texture : Warping & Normalisation photométrique Analyse en Composantes Principales (ACP) : sur Marquage, Texture, et concaténation Marquage/Texture Paramètre d'apparence : c Texture et Marquage de la forme recherchée dans une nouvelle image. Segmentation Matrices d'expérience δ δ = δ δ = Matrices d'expérience
9. 2 2 ! ! " " Alignement des Marquages et des Textures Alignement des Marquages et des Textures M et T Moyens M et T Moyens Marquages et textures d'apprentissage Alignement des marquages Alignement des textures sur le marquage moyen Marquage Moyen Texture Moyenne
10. ! " " " " !!! " − − = Apprentissage Base d'apprentissage Marquage Alignement Texture et Marquage Moyens Alignement marquage : Homothétie, Rotation, Translation (Transf. Procrustréenne) Alignement texture : warping : (vecteur de description) # $ " " # $ " " ! ! " # " ! " # " − − − − = ϑ ϑ Pour chaque image i il faut minimiser : Texture et Marquage Alignés et Moyens. 2 2 ! ! " "
11. G • 1) 1) Calcul du centroïde centroïde de chaque marquages : • 2) 2) Égaliser les tailles (grâce à S(x)) de chaque marquage : Homothétie Homothétie. • 3) 3) Faire coïncider les centroïdes des marquages : Translation Translation. • 4) 4) Orienter les marquages de la même façon : Rotation Rotation. = = = $ $ $ $ " " " " " " " = = − + − = $ $ $ " " " # " $" " Transformation Transformation procrustéenne procrustéenne (Procrustes Method) Alignement d'un marquage x par rapport à un marquage de référence x Mod . Norme de Frobenius : avec : Décomposition en valeurs singulières (SVD) : = ! $ !"$ ! ! ! %&' " " = Avec U et V des matrices orthogonales et D une matrice diagonale. Alors la matrice de rotation est : − = " " " " ϑ ϑ ϑ ϑ ! '% 2 2 " " j
12. Alignement de l'ensemble des marquages. Alignement de l'ensemble des marquages. • 1) 1) Choisir un marquage de référence comme "Marquage moyen". • 2) 2) Aligner tous les marquages sur ce marquage moyen (Procrustes Analysis). • 3) 3) Calculer le marquage moyen de tous les marquages alignés. • 4) 4) Si le marquage moyen à changé recommencer à partir de l'étape 2. s marquages alignés + 1 marquage moyen 2 2 " " ! !
13. Estimer et tant que cette moyenne n'est pas stable : 1- Standardiser : avec 2- Pour chaque g i : et , Transformer les textures pour les appliquer dans le marquage moyen : Warping. Normalisation photométrique des textures (g i = (x 1 … x n )). = = $ $ β # ! = α Alignement des textures. Alignement des textures. α β − = # s textures alignées + 1 texture moyenne g i + x i ( # σ = = = ( − = % " % − = = σ 2 2 ! ! ! " ! " [ ]! $ !!! !!! =
14. Marquages alignés " " ) " " ! Φ + ≈ ) ! Φ + ≈ Modes de variations des Marquages et des Textures Modes de variations des Marquages et des Textures Textures alignées ACP : Marquage ACP : Texture (Vecteur) b x b g c ACP : Concaténation des 2 ACP : Modification de c = création d'un nouveau marquage et d'une nouvelle texture. [ ] ) ) * " " ! ! Φ ≈ 2 2 # ! # !
15. Modes de variations (Texture et Marquage). • Texture et Marquage Moyens. Recherche de X = M(b) , X : nouveau vecteur de description (Marquage, Texture, les 2) b : vecteur de paramètres du modèle ACP (b x , b g , et c : même principe) 2 2 # ! # ! Domaine de variation pertinent : ) λ λ ≤ ≤ − " " ) " " ! Φ + ≈ ) ! Φ + ≈ [ ] ) ) * ! " " ! ! Φ ≈ Variation de b = variation de X
16. 2 2 $ $ % %
17. 2 2 ! ! 2 paramètres : • c (paramètre d'apparence) Marquage (x) et Texture (g) • t (paramètre d'orientation) Rotation ( ), Homothétie (s) et Translation (t x ,t y ). g = g i - g AAM g AAM Image i g AAM g i Texture générée par AAM
18. 2 2 ! ! Création des matrices d'expérience : T,C et G (pour obtenir C = f 1 (G) et T = f 2 (G) ) Pour la jème expérience : 1) Modifier un modèle (c 0 ,t 0 ) par une quantité connue ( ) des/du paramètres t et/ou c. 2) Mettre à jour les paramètres c (c = c+c 0 ) et t (t = t+t 0 ) Création de g m et x m 3) x i = alignement de x m en lui adaptant l'orientation t. 4) g i = vecteur de texture normalisée présent dans l'image sous g m . 5) g = g i – g m ( g est dc normalisée) 6) Sauvegarder t , c et g dans les jème colonnes des matrices T, C et G. δ δ δ δ δ δ δ δ
19. 2 2 ! ! Relations : C = f 1 (G) et T = f 2 (G) Une régression linéaire à multiples variables va nous donner des relations entre les différences entre pixels et la modification des paramètres de modèle et de pose : δ δ = δ δ = ! & ! & ± ± ' ' ' ((' ()' ( ' " * + , ± ± ± Pour l'apprentissage, les modifications typiques sont : " ± ± ± ϑ " * + * ± ± ± - ./ / − = − = !!! !!! δ = δ δ δ !!! = 0 !!! δ
20. "
21. 2 paramètres à déterminer : • c (paramètre d'apparence) Marquage et Texture • t (paramètre d'orientation) Rotation ( ), Homothétie (s) et Translation (tx,ty). Avec : ! " " # # " = " " ϑ ϑ # # # # " = − = 3 3 Problème d'optimisation : " − = δ Modèles (suffisant) utilisés : δ δ = R déterminé par régression linéaire à multiples variables. δ δ = ϑ
22. 1) Initialisation du vecteur d'atténuation k = [1.5, 0.5, 0.25, 0.125, 0.0625]T 2) Générer g m ( vecteur de texture normalisée du modèle) 3) x i et g i = contour et texture normalisée présents sous g m 4) Évaluer 5) Prédire 6) i =1 7) 8) Transformer la forme de 9) Répéter les étapes 2 à 5 afin d'obtenir une nouvelle erreur E i 10) Si E i >E 0 alors i=i+1 et retourner à l'étape 8 11) Sauver E 0 = E i 12) Répéter depuis l'étape 2 tant que n'est pas stable (convergence). + δ − = δ δ δ δ = = − = = δ δ 3 3 Recherche itérative du modèle dans l'image :
23. Conclusion Conclusion > Contrainte d’une optimisation locale : L’initialisation doit être proche de la configuration optimale, mais on peut lancer la recherche d'objet à plusieurs endroits d'une image et ne considérer que le modèle minimisant les erreurs obtenues aux différents endroits de cette image. Méthode performante dans les domaines de reconstruction et reconnaissance d'objets > Ce système est doté : - d’une représentation géométrique (obtenue à partir d’un ensemble d’apprentissage), - d’une loi d’évolution décrivant les adaptations successives du modèle à l’objet que l’on souhaite détecter. Merci ! ! !