Comment définir la saillance ? • Modélisation de la surface d’un maillage 3D • Construction des patches locaux adaptatifs • Saillance Mono/Multi-échelle (maillages non colorés) • Resultats • Vers la saillance multi-échelle colorimétrique • Résultats (maillages colorés) • Perspectives 2
2 mécanismes attentionnels dans la vision humaine: Bottom-up (Ascendant) : La saillance ici est involontaire et est liée aux propriétés du stimuli « l’objet saute aux yeux ». Top-down (descendant) : La saillance dépend de ce que l’observateur recherche. « la facilité à trouver sur scène un objet déterminé ». Objectif : Déterminer La saillance liée au processus Ascendant appelée Saillance attentionnelle. Comment définir la saillance ? 5
la saillance ? Sensibilité de l’oeil humain aux fortes fluctuations et aux fortes discontinuités Si un noeud du maillage ressort fortement de ses voisins, il pourrait être considéré comme saillant. La base de notre approche ? Surface plane sans fluctuations Surface plane avec fortes fluctuations 6 [S.Coren et al. Sensation and Perception]
la surface 3D Objectif : Définir en chaque noeud du maillage un vecteur représentant la normale et le plan 2D tangent. Pour cela : : l’ensemble des sommets : l'ensemble des arêtes reliant un couple de sommets, : le poids de l’arête, avec . w(vi, vj) (vi, vj) 2 E G = (V, E, w) V E = V ⇥ V Soit un maillage M représenté par un graphe non orienté : 8
la surface 3D 3 valeurs propres 3 vecteurs propres la normale le vecteur du plan le vecteur du plan Calculs : Centre de gravité: Matrice de covariance: ~ x ~ y Orientation des normales vers l’extérieur par l’arbre couvrant de poids minimal (Minimum Spanning Tree MST). 9 ˆ vi = 1 |S"(vi)| X j2S"(vi) vj cov ( vi) = X j2S"(vi) ( vj ˆ vi)( vj ˆ vi)T 2 R3⇥3
patches locaux adaptatifs • Définition du voisinage sphérique du noeud traité : S"(vi) = vj | ||~ vj ~ vi ||2 2 " • Projection du voisinage sur le plan 2D : ~ v 0 j = [( ~ vj ~ vi) · ~ x ( vi) , ( ~ vj ~ vi) · ~ y ( vi)]T ~ P(vi) • Taille adaptative du patch offrant une meilleure prise en compte des irrégularités de la surface : Td( vi) = max ( ~ v0 j , ~ v0 k )2 ~ P (vi) ( || ~ v0d j ~ v0d k ||2 2) d : représente la coordonnée x ou y : la coordonnée du vecteur , : la norme Euclidienne. v0d j d ~ v0 j ||.||2 12
du patch en cellules : Construction des patches locaux adaptatifs (2) l ⇥ l indiced = $ ~ v0d j Td(vi)/l) % avec vj ⇠ vi • Remplissage des cellules du patch par les hauteurs de projections : H(~ v0 j ) = ||(~ vj ~ v0 j )||2 2 13
de la similarité ( vi) = max vk ⇠vi ( ||~ vi ~ vk ||2) : paramètre d’échelle : le poids de l’arrête entre et . w(vi, vj) vi vj • Saillance mono-échelle : (moyenne du degré du vertex) : la cardinalité du voisinage. 15 |N(vi)| : Patch centré en ~ H(vi) vi w( vi , vj) = exp " || ~ H ( vi) ~ H ( vj) ||2 2 ( vi) · ( vj) # avec vj ⇠ vi saillance-mono-echelle( vi) = 1 |N ( vi) | X vi ⇠vj w( vi, vj) Calcul de la saillance visuelle mono-échelle
Calcul de la similarité : Courbure en : vi (version initiale) (version améliorée) Résultat de la saillance mono-échelle pour un maillage non coloré w( vi , vj) = exp " ( vj) · || ~ H ( vi) ~ H ( vj) ||2 2 ( vi) · ( vj) · ||~ vi ~ vj ||2 2 # avec vj ⇠ vi w( vi , vj) = exp " || ~ H ( vi) ~ H ( vj) ||2 2 ( vi) · ( vj) # avec vj ⇠ vi
vérité terrain à partir de : [SHREC database - shape based retrieval] V. terrain Notre approche Résultats et comparaison avec une pseudo vérité terrain Saillance visuelle Notre approche Notre approche Notre approche Notre approche Notre approche V. terrain V. terrain V. terrain V. terrain V. terrain
une vérité terrain pour la saillance des maillages 3D colorés. • Compression des maillages 3D colorés en prenant en compte la saillance visuelle. 37 Perspectives