Nicolas Cladel - Extraction des contours labiaux par algorithmes génétiques multicritères hybrides

Transcript

1. Page 1 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE Extraction des contours labiaux par algorithmes génétiques multicritères hybrides Page 2 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE - Sommaire - I. Présentation II. État de l’art III. Nos algorithmes IV. Implémentation V. Application aux contours labiaux VI. Conclusion et perspectives • multi-énergies • initialisation • positionnement • Présentation • Prétraitements • Résultats • Contours actifs génétiques • apport 1 : Application de Pareto • apport 2 : hybridation I. Présentation II. État de l’art III. Nos algorithmes IV. Implémentation V. Application aux contours labiaux VI. Conclusion et perspectives I. Présentation II. État de l’art III. Nos algorithmes IV. Implémentation V. Application aux contours labiaux VI. Conclusion et perspectives I. Présentation II. État de l’art III. Nos algorithmes IV. Implémentation V. Application aux contours labiaux VI. Conclusion et perspectives I. Présentation II. État de l’art III. Nos algorithmes IV. Implémentation V. Application aux contours labiaux VI. Conclusion et perspectives I. Présentation II. État de l’art III. Nos algorithmes IV. Implémentation V. Application aux contours labiaux VI. Conclusion et perspectives I. Présentation II. État de l’art III. Nos algorithmes IV. Implémentation V. Application aux contours labiaux VI. Conclusion et perspectives
2. Page 3 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE I. Présentation I. Présentation II. État de l’art III. Nos algorithmes IV. Implémentation V. Application aux contours labiaux VI. Conclusion et perspectives 1. problématique 1 : utilisation conjointe gradient /région 2. problématique 2 : initialisation 3. notre positionnement 1. Méthodologie 2. Résultats 1. Présentation 2. contours actifs génétiques 3. Apport 1 : contours actifs génétiques multicritères 4. Apport 2 : hybridation avec des snakes classiques 1. Présentation 2. Prétraitements 3. Résultats Page 4 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE I. Présentation . Analyse du visage Ö Codage du visage pour des applications de visiophonie ou de caractérisation de scènes vidéos (MPEG 4). Ö Analyse de visage pour des applications basées sur les interactions homme-machine, ou des applications de sécurité . Segmentation en milieu bruité Ö Variabilité des conditions de prises de vue Ö Variabilité du sujet . Principe Ö Utilisation des énergies gradient et région Ö Peu de dépendance en l’initialisation
3. Page 5 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE I. Présentation - 2. Hypothèses et attendus . Type d’applications ÖImages bruitées type environnement réel . Informations à priori Öpré-segmentation région bruitée Öestimation du centre de la bouche Page 6 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE II. État de l’art I. Présentation II. État de l’art III. Nos algorithmes IV. Implémentation V. Application aux contours labiaux VI. Conclusion et perspectives 1. problématique 1 : utilisation conjointe gradient /région 2. problématique 2 : initialisation 3. notre positionnement 1. Méthodologie 2. Résultats 1. Présentation 2. contours actifs génétiques 3. Apport 1 : contours actifs génétiques multicritères 4. Apport 2 : hybridation avec des snakes classiques 1. Présentation 2. Prétraitements 3. Résultats
4. Page 7 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE II. État de l’art - 1. Première problématique UTILISATION CONJOINTE DES ENERGIES DE TYPE GRADIENT ET REGION . Bas niveau Öaccroissement région critère d’arrêt dépendant des caractéristiques région et de l’amplitude du gradient. Ösplit and merge Ömulti-entrées recherche des points contours dans plusieurs image sources puis chaînage des points Öenveloppe convexe caractérisation de l’espace RVB par enveloppe convexe des pixels situés de part et d’autre des points contours Page 8 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE II. État de l’art - 1. Première problématique [ Suite ] . Haut niveau ÖContours actifs : potentiels région et gradient . potentiel région local : différence entre les caractéristiques région des pixels courants et des références chromatiques interne et externe au contour . . potentiel région global : intégration des caractéristiques région à l’intérieur et (ou) à l’extérieur du contour (théorème de green). . Contours région : utilisation des contours de régions issue de pré- segmentation. ÖContours actifs statistiques : création d’un modèle à partir de la texture et des contours dans une base d’images.
5. Page 9 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE II. État de l’art - 2. Seconde problématique FAIBLE DEPENDANCE EN L’INITIALISATION . Les contours actifs sont conçus pour être déformés dans un voisinage proche : Öinitialisation manuelle Öinitialisation par prétraitements . Snakes classiques ÖJumping snakes fortes connaissances de l’objet à segmenter : lèvres propagation par saut tant que les conditions à priori ne sont pas remplies ÖGradient Vector Flow diffusion de l’énergie gradient pour attirer le contour éloigné ou bien des zones complexe (forte concavité) Page 10 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE II. État de l’art - 2. Seconde problématique [ Suite ] . Snakes classiques [ Suite ] ÖApproches multi résolution . Potentiels multi-résolution . Initialisations successives . Approches stochastiques ÖOptimisation du contour par algorithmes génétiques, recuit simulé, … Ö Optimisation du modèle par réseaux de neurones ou méthodes d’optimisation
6. Page 11 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE II. État de l’art - 3. Notre Positionnement . Algorithme génétique : exploration globale de l’image Ö Faible dépendance en l’initialisation Ö Évite les minima locaux Ö Corrélation avec notre approche de la seconde problématique . Optimisation multicritère selon Pareto Ö Gestion des énergies sans définition de coefficients de pondération Page 12 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE III. Nos algorithmes I. Présentation II. État de l’art III. Nos algorithmes IV. Implémentation V. Application aux contours labiaux VI. Conclusion et perspectives 1. problématique 1 : utilisation conjointe gradient /région 2. problématique 2 : initialisation 3. notre positionnement 1. Méthodologie 2. Résultats 1. Présentation 2. contours actifs génétiques 3. Apport 1 : contours actifs génétiques multicritères 4. Apport 2 : hybridation avec des snakes classiques 1. Présentation 2. Prétraitements 3. Résultats
7. Page 13 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE III. Algorithmes - 1. Présentation Notre approche 1. algorithmes génétiques et contours actifs 2. premier apport Ö Pareto : gestion conjointe des énergies 3. Second apport Ö Hybride : accélération du processus Page 14 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE III. Algorithmes - 2. Contours actifs génétiques . Codage des contours . Espace des candidats : positions possibles des nœuds dans l’image . Déformation : opérateurs génétiques . Énergies : valeur des chromosomes ( fitness ) L A B C D E Snake k A B C D E Snake k X A + L . Y A Opérateur de croisement Opérateur de mutation Individus de la génération j Individus de la génération j+1
8. Page 15 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE III. Algorithmes - 2. Contours actifs génétiques [ Suite ] . Évolution du modèle simple : double snakes concentriques Ö Codage : doublement du chromosome Ö Espaces d’états : un espace par contour – séparation des candidats Ö Énergies : Deux régions distinctes, l’objet et le centre. Page 16 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE III. Algorithmes - 2. Contours actifs génétiques [ Suite ] . Algorithme type Initialisation de la population de N1 individus Sélection de N2 parents pour la reproduction Reproduction : obtention de N2 enfants Sélection de N1 individus pour le remplacement FIN Test d’arrêt Évaluation des N1 individus Évaluation des N2 enfants OUI NON
9. Page 17 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE III. Algorithmes - 3. Contours actifs génétiques multiobjectifs : MOGS . Optimisation selon Pareto Dominance : Un point X est dit non dominé s ’il n’existe pas de point X’ tel que f i (X’) ≤ f i (X), quelque soit i=1, …, k avec au moins un i tel que f i (X’) < f i (X) phase 1 : Rechercher un ensemble de solutions satisfaisantes appelé frontière de Pareto phase 2 : Intervention du décideur Æ Choix d’une solution parmi cet ensemble f 1 f 2 0 Frontière de Pareto Individus dominés Individus non dominés Page 18 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE III. Algorithmes - 3. Contours actifs génétiques multiobjectifs [ Suite ] . Sélection des individus selon leur rang . Maintien de la diversité de la frontière de Pareto . Énergies Ö Gradient : intégration de l’énergie gradient le long du contour Ö Région . Potentiel d’homogénéité : variance de l’amplitude région en niveaux de gris . Potentiel quantitatif : proportionnel aux pixels labellisés région et environnement à l’intérieur du contour
10. Page 19 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE III. Algorithmes - 3. Contours actifs génétiques multiobjectifs [ Suite ] . Sélection de l’individu optimal Öprincipe : région homogène entouré par de forts gradients Öproblématique : conservation des extrema de la frontière de Pareto Öconséquence : caractéristique région non utilisée ou bien potentiel accumulation Ö 1. Sous-espace énergétique région objet / gradient 2. Sélection du meilleur compromis E1: Énergie gradient E2: Énergie région objet Page 20 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE III. Algorithmes - 4. Hybridation avec snakes classiques : MOGHS . Opérateur de contours actifs ÖMéthode classique de Kass : minimisation de l’équation d’Euler Lagrange discrétisée par la méthode des différences finies . Énergie interne : réglage manuel des coefficients . Énergie externe ÖGradient : direction de la dérivée seconde ÖRégion : direction d’amélioration selon la normale au contour ÖAmplitude : proportionnelle à l’adéquation du contour courant avec les points contours avec
11. Page 21 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE III. Algorithmes - 4. Hybridation avec snakes classiques : MOGHS . Opérateur de contours actifs ÖMéthode classique de Kass : minimisation de l’équation d’Euler Lagrange discrétisée par la méthode des différences finies . Énergie interne : réglage manuel des coefficients . Énergie externe ÖGradient : direction de la dérivée seconde ÖRégion : direction d’amélioration selon la normale au contour ÖAmplitude : proportionnelle à l’adéquation du contour courant avec les points contours avec Page 22 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE III. Algorithmes - 4. Hybridation avec snakes classiques [ Suite ] . Intégration Öproblématique : temps de calcul / apport des snakes Öapplication : 1. A toute la population initiale 2. Puis selon un cycle (ex: toutes les 10 générations) sur toute la population si elle est de petite taille ( ~5 individus), uniquement sur les individus de rang 1 sinon.
12. Page 23 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE IV. Implémentation I. Présentation II. État de l’art III. Nos algorithmes IV. Implémentation V. Application aux contours labiaux VI. Conclusion et perspectives 1. problématique 1 : utilisation conjointe gradient /région 2. problématique 2 : initialisation 3. notre positionnement 1. Méthodologie 2. Résultats 1. Présentation 2. contours actifs génétiques 3. Apport 1 : contours actifs génétiques multicritères 4. Apport 2 : hybridation avec des snakes classiques 1. Présentation 2. Prétraitements 3. Résultats Page 24 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE IV. Implémentation - 1. Méthodologie . Objectif : déterminer la configuration optimale ÖExaminer l’influence des différents potentiels énergétiques ÖExaminer l’influence des paramètres génétiques . Base de tests : Objets Synthétiques . Algorithmes génétiques multicritères ÖApproche classique ( NSGA 2) ÖMicro algorithmes génétiques intérêt principal : adéquation avec l’hybridation
13. Page 25 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE IV. Implémentation - 1. Méthodologie [ Suite ] . Critère de référence : différence de surface entre l’objet segmenté et l’objet réel . Énergies : ÖPotentiels région : homogénéité, quantitatif ÖPotentiel gradient ÖNombre de potentiels par contour . Paramètres principaux : Ö Tailles des populations Ö Taux de mutation, taux de croisement Ö cycle de l’hybridation, nombre d’itération des snakes Page 26 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE IV. Implémentation - 2. Résultats . Énergies Öcentre de l’objet : homogénéité Öobjet : homogénéité + accumulation Ögradient : dirige la convergence . Paramètres ÖMOGS . population importante (30 individus pour le classique, 10 pour le micro ag). . Taux de mutation décroissant exponentiellement (5% initial) Ö MOGHS . Cycle hybride important (peu d’applications) . Nombre d’itérations fixe équivalent aux snakes seuls
14. Page 27 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE IV. Implémentation - 2. Résultats [ Suite ] . Courbes . Conclusion des tests Meilleure configuration : nsga2 hybride pop 5 – cycle hybride de 20 itérations MOGS MOGHS Page 28 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE V. Application aux contours labiaux I. Présentation II. État de l’art III. Nos algorithmes IV. Implémentation V. Application aux contours labiaux VI. Conclusion et perspectives 1. problématique 1 : utilisation conjointe gradient /région 2. problématique 2 : initialisation 3. notre positionnement 1. Méthodologie 2. Résultats 1. Présentation 2. contours actifs génétiques 3. Apport 1 : contours actifs génétiques multicritères 4. Apport 2 : hybridation avec des snakes classiques 1. Présentation 2. Prétraitements 3. Résultats
15. Page 29 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE V. Application aux contours labiaux - 1. Présentation . Cadre de l’étude ÖCodage vidéo, caractérisation de scènes vidéos ÖInteractions Homme / Machine . Modélisation des contours labiaux Points intermédiaires Limite inférieure Arc de cupidon Commissure gauche Points intermédiaires Points intermédiaires Commissure gauche Page 30 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE V. Application aux contours labiaux - 2. Prétraitements . Prétraitements : Images énergétiques
16. Page 31 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE V. Application aux contours labiaux - 3. Résultats . Exemple de résultats sur M2VTS Page 32 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE V. Application aux contours labiaux - 3. Autres applications . Exemple d’application à des images cardiaques
17. Page 33 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE V. Conclusion et perspectives I. Présentation II. État de l’art III. Nos algorithmes IV. Implémentation V. Application aux contours labiaux VI. Conclusion et perspectives 1. problématique 1 : utilisation conjointe gradient /région 2. problématique 2 : initialisation 3. notre positionnement 1. Méthodologie 2. Résultats 1. Présentation 2. contours actifs génétiques 3. Apport 1 : contours actifs génétiques multicritères 4. Apport 2 : hybridation avec des snakes classiques 1. Présentation 2. Prétraitements 3. Résultats Page 34 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE III. Conclusion et perspectives - 1. Conclusion . Positif Öproblématique 1 : initialisation Öproblématique 2 : multi-énergies Öextraction de l’objet en milieu bruité . Négatif Ötemps de calcul : à peu près 10 minutes sous matlab sur P4 - 1,6 Ghz (~6s en c) , avec initialisation aléatoire (différent en flux vidéo)
18. Page 35 Nicolas Cladel – Séminaire SCEE – 18 Novembre 2004 UMR 6164 Automatique & Communication Équipe SCEE III. Conclusion et perspectives - 2. Perspectives . Formalisme Ö Gestion dynamique du nombre de nœuds Ö Modification des énergies : champs de Markov Ö Critère d’arrêt automatique . Application Ö poursuite des images cardiaques [ collaboration LTSI ] Ö Images satellites de réseaux routiers [ collaboration Supelec Metz]