Share
Embed
Transcript
32 slides
-
Saillance visuelle multi-échelle des maillages 3D par patchs locaux adaptatifs
pour la sélection des points de vues optimaux Anass Nouri, Christophe Charrier, Olivier Lézoray Université de Caen, France AC3D 2015 1 -
Cliquez pour modifier le style du titre 10/07/2013 Plan •
Comment définir la saillance ? • Modélisation de la surface d’un maillage 3D • Construction des patches locaux adaptatifs • Saillance Mono/Multi-échelle • Concordance avec une pseudo-vérité terrain • Comparaison avec l’état de l’art • Sélection des points de vues optimaux • Perspectives 2 -
Cliquez pour modifier le style du titre 10/07/2013 Comment définir
la saillance? Comment définir la saillance? 3 -
Cliquez pour modifier le style du titre 10/07/2013 Comment définir
la saillance ? Définition intuitive : Un objet est saillant s’il est facilement remarqué. 4 -
Cliquez pour modifier le style du titre 10/07/2013 Il existe
2 mécanismes attentionnels dans la vision humaine: Bottom-up (Ascendant) : La saillance ici est involontaire et est liée aux propriétés du stimuli « l’objet saute aux yeux ». Top-down (descendant) : La saillance dépend de ce que l’observateur recherche. « la facilité à trouver sur scène un objet déterminé ». Objectif : Déterminer La saillance liée au processus Ascendant appelée Saillance attentionnelle. Comment définir la saillance ? 5 -
Cliquez pour modifier le style du titre 10/07/2013 Comment définir
la saillance ? Sensibilité de l’oeil humain aux fortes fluctuations et aux fortes discontinuités Si un noeud du maillage ressort fortement de ses voisins, il pourrait être considéré comme saillant. La base de notre approche ? Surface plane sans fluctuations Surface plane avec fortes fluctuations 6 [S.Coren et al. Sensation and Perception] -
Cliquez pour modifier le style du titre 10/07/2013 Représentation de
la surface 3D Représentation de la surface d’un maillage 3D 7 -
Cliquez pour modifier le style du titre 10/07/2013 Représentation de
la surface 3D Objectif : Définir en chaque noeud du maillage un vecteur représentant la normale et le plan 2D tangent. ! Pour cela : ! l'ensemble des sommets l'ensemble des arêtes reliant un couple de sommets, le poids de l'arête . w(vi, vj) (vi, vj) 2 E G = (V, E, w) V E = V ⇥ V Soit un maillage M représenté par un graphe non orienté : 8 -
Cliquez pour modifier le style du titre 10/07/2013 Représentation de
la surface 3D 3 valeurs propres 3 vecteurs propres la normale le vecteur du plan le vecteur du plan Calculs : Centre de gravité: Matrice de covariance: ~ x ~ y Orientation des normales vers l’extérieur par l’arbre couvrant de poids minimal (Minimum Spanning Tree MST). 9 ˆ vi = 1 |S"(vi)| X j2S"(vi) vj cov ( vi) = X j2S"(vi) ( vj ˆ vi)( vj ˆ vi)T 2 R3⇥3 -
Cliquez pour modifier le style du titre 10/07/2013 Construction des
patches locaux adaptatifs Construction du descripteur local : Les patches adaptatifs 10 -
Cliquez pour modifier le style du titre 10/07/2013 Construction des
patches locaux adaptatifs (3) Illustration d’un patch : 11 -
Cliquez pour modifier le style du titre 10/07/2013 Construction des
patches locaux adaptatifs (1) • Définition du voisinage sphérique du noeud traité : S"(vi) = vj | ||~ vj ~ vi ||2 2 " • Projection du voisinage sur le plan 2D : ~ v 0 j = [( ~ vj ~ vi) · ~ x ( vi) , ( ~ vj ~ vi) · ~ y ( vi)]T ~ P(vi) • Taille adaptative du patch offrant une meilleure prise en compte des irrégularités de la surface : Td( vi) = max ( ~ v0 j , ~ v0 k )2 ~ P (vi) ( || ~ v0d j ~ v0d k ||2 2) d : représente la coordonnée x ou y : la coordonnée du vecteur , : la norme Euclidienne. v0d j d ~ v0 j ||.||2 12 -
Cliquez pour modifier le style du titre 10/07/2013 • Division
du patch en cellules : Construction des patches locaux adaptatifs (2) l ⇥ l indiced = $ ~ v0d j Td(vi)/l) % avec vj ⇠ vi • Remplissage des cellules du patch par les hauteurs de projections : H(~ v0 j ) = ||(~ vj ~ v0 j )||2 2 13 -
Cliquez pour modifier le style du titre 10/07/2013 Calcul de
la saillance Calcul de la saillance Mono et Multi-échelle 14 -
Cliquez pour modifier le style du titre 10/07/2013 Calcul de
la saillance Calcul de la saillance Mono-échelle 15 -
Cliquez pour modifier le style du titre 10/07/2013 Calcul de
la saillance mono et multi-échelle • Calcul de la similarité : ( vi) = max vk ⇠vi ( ||~ vi ~ vk ||2) paramètre d’échelle : le poids de l’arête entre et . w(vi, vj) vi vj • Calcul de la Saillance visuelle mono-échelle: : la cardinalité de l’ensemble des voisins. 16 |vi ⇠ vj | Saillance mono-´ echelle( vi) = ✓ 1 |vj ⇠ vi | ◆ X vi ⇠vj w ( vi, vj) w ( vi , vj) = exp " ( vj) ⇤ || ~ H ( vi) ~ H ( vj) ||2 2 ( vi) ⇤ ( vj) ⇤ ||~ vi ~ vj ||2 2 # with vj ⇠ vi (vj) Courbure du noeud vj -
Cliquez pour modifier le style du titre 10/07/2013 Résultat mono-échelle
Résultat mono-échelle 17 -
Cliquez pour modifier le style du titre 10/07/2013 Résultas et
comparaisons avec l’état de l’art Maillage 3D Gorille original : 18 La saillance visuelle détectée : Résultats publiés dans la conférence SPIE-Electronics Imaging 2015-SanFrancisco Saillance visuelle -
Cliquez pour modifier le style du titre 10/07/2013 Résultat saillance
mono-échelle 19 Zoom sur le visage : Saturation au niveau des yeux et du nez Saillance visuelle -
Cliquez pour modifier le style du titre 10/07/2013 Calcul de
la saillance multi-échelle Calcul de la saillance multi-échelle 20 -
Cliquez pour modifier le style du titre 10/07/2013 Calcul de
la saillance multi-échelle 21 Echelle 1-Voisinage rayon=1 Echelle 2-Voisinage rayon=2 Echelle 3-Voisinage rayon=3 Entropie échelle 1 Entropie échelle 2 Entropie échelle 3 Saillance visuelle -
Cliquez pour modifier le style du titre 10/07/2013 Calcul de
la saillance multi-échelle 22 Multi-scale-saliency( vi) = P3 k=1 Single-scale-saliencyk( vi) ⇤ entropyk P3 k=1 entropyk Saillance multi-échelle Zoom visage Résultats publiés dans la conférence ICIP - 2015 Quebec -
Cliquez pour modifier le style du titre 10/07/2013 Comparaisons avec
une pseudo vérité terrain Comparaisons avec une pseudo vérité terrain 23 -
Cliquez pour modifier le style du titre 10/07/2013 24 Pseudo
vérité terrain : [SHREC database - shape based retrieval] V.Terrain notre app. Comparaisons avec une pseudo vérité terrain Saillance visuelle -
Cliquez pour modifier le style du titre 10/07/2013 Comparaisons avec
l’état de l’art Comparaisons avec l’état de l’art 25 -
Cliquez pour modifier le style du titre 10/07/2013 Comparaisons avec
l’état de l’art Objet 3D dinosaure original Saillance [Tal et al.] Saillance [Song et al.] Saillance [Lee et al.] Notre approche 26 Saillance visuelle -
Cliquez pour modifier le style du titre 10/07/2013 Comparaisons avec
l’état de l’art (2) Maillage 3D original Saillance [Tal et al.] Saillance [Song et al.] Notre approche 27 Saillance visuelle -
Cliquez pour modifier le style du titre 10/07/2013 Sélection des
points de vue optimaux Sélection des points de vue optimaux 28 -
Cliquez pour modifier le style du titre 10/07/2013 Objectif :
Sélection des points de vue optimaux 29 Présenter les points de vues les plus saillants du maillage 3D à l’observateur. Critère principal : Sélectionner les régions maximisant la saillance visuelle. Pour cela : 1) Echantillonnage d’une sphère englobant le maillage suivant l’axe x et sélection du meilleur point de vue Px. 2) A partir de Px, même processus selon l’axe y (sélection de Py). 3) A partir de Py, descente de gradient et sélection du point de vue optimal. -
Cliquez pour modifier le style du titre 10/07/2013 Sélection des
points de vue optimaux 30 Point de vue optimal Point de vue optimal Point de vue optimal Saillance visuelle -
Cliquez pour modifier le style du titre 10/07/2013 Perspectives •
Amélioration de la carte de saillance. • Prise en compte de nouveaux attributs. • Analyse de leurs contributions respectives. Implémenter la saillance pour d’autres applications: Compression d’objets 3D : moins compresser les zones saillantes (préservation des détails). 31 -
Cliquez pour modifier le style du titre 10/07/2013 Merci de
votre attention. 32 Merci de votre attention ! http://nouri.users.greyc.fr