Share
Embed
Transcript
38 slides
-
Saillance visuelle multi-échelle des maillages 3D colorés Anass Nouri, Christophe
Charrier, Olivier Lézoray Université de Caen, France CORESA 2016 1 -
Cliquez pour modifier le style du titre 10/07/2013 Plan •
Comment définir la saillance ? • Modélisation de la surface d’un maillage 3D • Construction des patches locaux adaptatifs • Saillance Mono/Multi-échelle (maillages non colorés) • Resultats • Vers la saillance multi-échelle colorimétrique • Résultats (maillages colorés) • Perspectives 2 -
Cliquez pour modifier le style du titre 10/07/2013 Comment définir
la saillance? Comment définir la saillance? 3 -
Cliquez pour modifier le style du titre 10/07/2013 Comment définir
la saillance ? Définition intuitive : Un objet est saillant s’il est facilement remarqué. 4 -
Cliquez pour modifier le style du titre 10/07/2013 Il existe
2 mécanismes attentionnels dans la vision humaine: Bottom-up (Ascendant) : La saillance ici est involontaire et est liée aux propriétés du stimuli « l’objet saute aux yeux ». Top-down (descendant) : La saillance dépend de ce que l’observateur recherche. « la facilité à trouver sur scène un objet déterminé ». Objectif : Déterminer La saillance liée au processus Ascendant appelée Saillance attentionnelle. Comment définir la saillance ? 5 -
Cliquez pour modifier le style du titre 10/07/2013 Comment définir
la saillance ? Sensibilité de l’oeil humain aux fortes fluctuations et aux fortes discontinuités Si un noeud du maillage ressort fortement de ses voisins, il pourrait être considéré comme saillant. La base de notre approche ? Surface plane sans fluctuations Surface plane avec fortes fluctuations 6 [S.Coren et al. Sensation and Perception] -
Cliquez pour modifier le style du titre 10/07/2013 Représentation de
la surface 3D Représentation de la surface d’un maillage 3D 7 -
Cliquez pour modifier le style du titre 10/07/2013 Représentation de
la surface 3D Objectif : Définir en chaque noeud du maillage un vecteur représentant la normale et le plan 2D tangent. Pour cela : : l’ensemble des sommets : l'ensemble des arêtes reliant un couple de sommets, : le poids de l’arête, avec . w(vi, vj) (vi, vj) 2 E G = (V, E, w) V E = V ⇥ V Soit un maillage M représenté par un graphe non orienté : 8 -
Cliquez pour modifier le style du titre 10/07/2013 Représentation de
la surface 3D 3 valeurs propres 3 vecteurs propres la normale le vecteur du plan le vecteur du plan Calculs : Centre de gravité: Matrice de covariance: ~ x ~ y Orientation des normales vers l’extérieur par l’arbre couvrant de poids minimal (Minimum Spanning Tree MST). 9 ˆ vi = 1 |S"(vi)| X j2S"(vi) vj cov ( vi) = X j2S"(vi) ( vj ˆ vi)( vj ˆ vi)T 2 R3⇥3 -
Cliquez pour modifier le style du titre 10/07/2013 Construction des
patches locaux adaptatifs Construction du descripteur local : Les patches adaptatifs 10 -
Cliquez pour modifier le style du titre 10/07/2013 Construction des
patches locaux adaptatifs Illustration de la construction patch : 11 -
Cliquez pour modifier le style du titre 10/07/2013 Construction des
patches locaux adaptatifs • Définition du voisinage sphérique du noeud traité : S"(vi) = vj | ||~ vj ~ vi ||2 2 " • Projection du voisinage sur le plan 2D : ~ v 0 j = [( ~ vj ~ vi) · ~ x ( vi) , ( ~ vj ~ vi) · ~ y ( vi)]T ~ P(vi) • Taille adaptative du patch offrant une meilleure prise en compte des irrégularités de la surface : Td( vi) = max ( ~ v0 j , ~ v0 k )2 ~ P (vi) ( || ~ v0d j ~ v0d k ||2 2) d : représente la coordonnée x ou y : la coordonnée du vecteur , : la norme Euclidienne. v0d j d ~ v0 j ||.||2 12 -
Cliquez pour modifier le style du titre 10/07/2013 • Division
du patch en cellules : Construction des patches locaux adaptatifs (2) l ⇥ l indiced = $ ~ v0d j Td(vi)/l) % avec vj ⇠ vi • Remplissage des cellules du patch par les hauteurs de projections : H(~ v0 j ) = ||(~ vj ~ v0 j )||2 2 13 -
Cliquez pour modifier le style du titre 10/07/2013 Calcul de
la saillance visuelle mono-échelle 14 Calcul de la saillance visuelle mono-échelle -
Cliquez pour modifier le style du titre 10/07/2013 • Calcul
de la similarité ( vi) = max vk ⇠vi ( ||~ vi ~ vk ||2) : paramètre d’échelle : le poids de l’arrête entre et . w(vi, vj) vi vj • Saillance mono-échelle : (moyenne du degré du vertex) : la cardinalité du voisinage. 15 |N(vi)| : Patch centré en ~ H(vi) vi w( vi , vj) = exp " || ~ H ( vi) ~ H ( vj) ||2 2 ( vi) · ( vj) # avec vj ⇠ vi saillance-mono-echelle( vi) = 1 |N ( vi) | X vi ⇠vj w( vi, vj) Calcul de la saillance visuelle mono-échelle -
Cliquez pour modifier le style du titre 10/07/2013 16 Résultat
de la saillance mono-échelle pour un maillage non coloré Résultat de la saillance mono-échelle pour un maillage non coloré -
Cliquez pour modifier le style du titre 10/07/2013 Maillage 3D
original non coloré: 17 Résultat de la saillance mono-échelle pour un maillage non coloré -
Cliquez pour modifier le style du titre 10/07/2013 Saillance visuelle
détectée: 18 Faible saillance Saillance importante Zoom sur le visage Résultat de la saillance mono-échelle pour un maillage non coloré -
Cliquez pour modifier le style du titre 10/07/2013 19 Saturation
! Faible saillance Saillance importante Résultat de la saillance mono-échelle pour un maillage non coloré -
Cliquez pour modifier le style du titre 10/07/2013 20 •
Calcul de la similarité : Courbure en : vi (version initiale) (version améliorée) Résultat de la saillance mono-échelle pour un maillage non coloré w( vi , vj) = exp " ( vj) · || ~ H ( vi) ~ H ( vj) ||2 2 ( vi) · ( vj) · ||~ vi ~ vj ||2 2 # avec vj ⇠ vi w( vi , vj) = exp " || ~ H ( vi) ~ H ( vj) ||2 2 ( vi) · ( vj) # avec vj ⇠ vi -
Cliquez pour modifier le style du titre 10/07/2013 21 Résultat
amélioré Résultat de la saillance mono-échelle pour un maillage non coloré -
Cliquez pour modifier le style du titre 10/07/2013 22 Zoom
sur le visage : La saturation Résultat de la saillance mono-échelle pour un maillage non coloré -
Cliquez pour modifier le style du titre 10/07/2013 Calcul de
la saillance multi-échelle Calcul de la saillance multi-échelle 23 -
Cliquez pour modifier le style du titre 10/07/2013 Calcul de
la saillance multi-échelle 24 Echelle 1 | Voisinage rayon=1 Entropie de l’échelle 1 Echelle 2 | Voisinage rayon=2 Echelle 3 | Voisinage rayon=3 Entropie de l’échelle 2 Entropie de l’échelle 3 -
Cliquez pour modifier le style du titre 10/07/2013 Calcul de
la saillance multi-échelle 25 Saillance multi-échelle Zoom sur le visage Saillance-multi-echelle(vi) = PK k=1 saillance-mono-´ echelle k (vi) ⇤ Entropiek PK k=1 Entropiek -
Cliquez pour modifier le style du titre 10/07/2013 Résultats et
comparison avec une pseudo vérité terrain Résultats et comparaisons avec une pseudo vérité terrain 26 -
Cliquez pour modifier le style du titre 10/07/2013 27 Pseudo
vérité terrain à partir de : [SHREC database - shape based retrieval] V. terrain Notre approche Résultats et comparaison avec une pseudo vérité terrain Saillance visuelle Notre approche Notre approche Notre approche Notre approche Notre approche V. terrain V. terrain V. terrain V. terrain V. terrain -
Cliquez pour modifier le style du titre 10/07/2013 Saillance visuelle
des maillages colorés Saillance visuelle des maillages colorés 28 -
Cliquez pour modifier le style du titre 10/07/2013 29 Maillage
3D coloré Saillance géométrique Saillance colorimétrique ? Saillance visuelle Saillance visuelle des maillages colorés -
Cliquez pour modifier le style du titre 10/07/2013 30 Remplissage
des cellules avec la moyenne RGB des noeuds projetés Saillance visuelle des maillages colorés -
Cliquez pour modifier le style du titre 10/07/2013 31 •
Similarité : ~ C(vi) : patch local colorimétrique. l : nombre des cellules du patch. Les poids des arêtes sont définis par : saillance-mono-echelle-col( vi) = 1 |vj ⇠ vi | X vi ⇠vj wC( vi, vj) Saillance visuelle des maillages colorés Saillance-multi-echelle-col(vi) = P3 k=1 saillance mono echelle colk(vi) ⇤ entropiek P3 k=1 entropyk wC( vi, vj) = exp " ||~ C ( vi) ~ C ( vj) ||2 2 C( vi) · C( vj) · l2 # avec vj ⇠ vi ( vi) = max vk ⇠vi ( ||~ vi ~ vk ||2) : paramètre d’échelle -
Cliquez pour modifier le style du titre 10/07/2013 32 Résultats
de la saillance colorimétrique Résultats de la saillance colorimétrique -
Cliquez pour modifier le style du titre 10/07/2013 33 Maillage
3D coloré Saillance géométrique Saillance colorimétrique Saillance visuelle Saillance visuelle des maillages colorés -
Cliquez pour modifier le style du titre 10/07/2013 34 Maillage
coloré Saillance géométrique Saillance colorimétrie Saillance visuelle des maillages colorés Saillance visuelle -
Cliquez pour modifier le style du titre 10/07/2013 35 Saillance
géométrique Saillance colorim. S.géo x S.colorim. Maillage 3D original Saillance visuelle des maillages colorés -
Cliquez pour modifier le style du titre 10/07/2013 • Elaborer
une vérité terrain pour la saillance des maillages 3D colorés. • Compression des maillages 3D colorés en prenant en compte la saillance visuelle. 37 Perspectives -
Cliquez pour modifier le style du titre 10/07/2013 38 Merci
pour votre attention