CORESA 2016

Transcript

1. Saillance visuelle multi-échelle des maillages 3D colorés Anass Nouri, Christophe Charrier, Olivier Lézoray
 
 Université de Caen, France CORESA 2016 1
2. Cliquez pour modifier le style du titre 10/07/2013 Plan • Comment définir la saillance ?
 • Modélisation de la surface d’un maillage 3D
 • Construction des patches locaux adaptatifs
 • Saillance Mono/Multi-échelle (maillages non colorés)
 • Resultats • Vers la saillance multi-échelle colorimétrique
 • Résultats (maillages colorés)
 • Perspectives 2
3. Cliquez pour modifier le style du titre 10/07/2013 Comment définir la saillance? Comment définir la saillance? 3
4. Cliquez pour modifier le style du titre 10/07/2013 Comment définir la saillance ? Définition intuitive : Un objet est saillant s’il est facilement remarqué. 4
5. Cliquez pour modifier le style du titre 10/07/2013 Il existe 2 mécanismes attentionnels dans la vision humaine: Bottom-up (Ascendant) : La saillance ici est involontaire et est liée aux propriétés du stimuli 
 « l’objet saute aux yeux ».
 
 Top-down (descendant) : La saillance dépend de ce que l’observateur recherche. 
 « la facilité à trouver sur scène un objet déterminé ».
 Objectif : Déterminer La saillance liée au processus Ascendant 
 appelée Saillance attentionnelle. Comment définir la saillance ? 5
6. Cliquez pour modifier le style du titre 10/07/2013 Comment définir la saillance ? Sensibilité de l’oeil humain aux fortes fluctuations et aux fortes discontinuités Si un noeud du maillage ressort fortement de ses voisins, il pourrait être considéré
 comme saillant. La base de notre approche ? Surface plane sans fluctuations Surface plane avec fortes fluctuations 6 [S.Coren et al. Sensation and Perception]
7. Cliquez pour modifier le style du titre 10/07/2013 Représentation de la surface 3D Représentation de la surface d’un maillage 
 3D 7
8. Cliquez pour modifier le style du titre 10/07/2013 Représentation de la surface 3D Objectif : Définir en chaque noeud du maillage un vecteur représentant la normale
 et le plan 2D tangent. Pour cela : 
 : l’ensemble des sommets
 : l'ensemble des arêtes reliant un couple de sommets, 
 : le poids de l’arête, avec . w(vi, vj) (vi, vj) 2 E G = (V, E, w) V E = V ⇥ V Soit un maillage M représenté par un graphe non orienté : 8
9. Cliquez pour modifier le style du titre 10/07/2013 Représentation de la surface 3D 3 valeurs propres 3 vecteurs propres la normale le vecteur du plan le vecteur du plan Calculs : Centre de gravité: Matrice de covariance: ~ x ~ y Orientation des normales vers l’extérieur par l’arbre couvrant de poids minimal (Minimum Spanning Tree MST). 9 ˆ vi = 1 |S"(vi)| X j2S"(vi) vj cov ( vi) = X j2S"(vi) ( vj ˆ vi)( vj ˆ vi)T 2 R3⇥3
10. Cliquez pour modifier le style du titre 10/07/2013 Construction des patches locaux adaptatifs Construction du descripteur local : 
 Les patches adaptatifs 10
11. Cliquez pour modifier le style du titre 10/07/2013 Construction des patches locaux adaptatifs Illustration de la construction patch : 11
12. Cliquez pour modifier le style du titre 10/07/2013 Construction des patches locaux adaptatifs • Définition du voisinage sphérique du noeud traité :
 
 S"(vi) = vj | ||~ vj ~ vi ||2 2  " • Projection du voisinage sur le plan 2D : ~ v 0 j = [( ~ vj ~ vi) · ~ x ( vi) , ( ~ vj ~ vi) · ~ y ( vi)]T ~ P(vi) • Taille adaptative du patch offrant une meilleure prise en compte des irrégularités de la surface : Td( vi) = max ( ~ v0 j , ~ v0 k )2 ~ P (vi) ( || ~ v0d j ~ v0d k ||2 2) d : représente la coordonnée x ou y 
 : la coordonnée du vecteur , : la norme Euclidienne. v0d j d ~ v0 j ||.||2 12
13. Cliquez pour modifier le style du titre 10/07/2013 • Division du patch en cellules :
 Construction des patches locaux adaptatifs (2) l ⇥ l indiced = $ ~ v0d j Td(vi)/l) % avec vj ⇠ vi • Remplissage des cellules du patch par les hauteurs de projections : H(~ v0 j ) = ||(~ vj ~ v0 j )||2 2 13
14. Cliquez pour modifier le style du titre 10/07/2013 Calcul de la saillance visuelle mono-échelle 14 Calcul de la saillance visuelle mono-échelle
15. Cliquez pour modifier le style du titre 10/07/2013 • Calcul de la similarité ( vi) = max vk ⇠vi ( ||~ vi ~ vk ||2) : paramètre d’échelle : le poids de l’arrête entre et . w(vi, vj) vi vj • Saillance mono-échelle : (moyenne du degré du vertex) : la cardinalité du voisinage. 15 |N(vi)| : Patch centré en ~ H(vi) vi w( vi , vj) = exp " || ~ H ( vi) ~ H ( vj) ||2 2 ( vi) · ( vj) # avec vj ⇠ vi saillance-mono-echelle( vi) = 1 |N ( vi) | X vi ⇠vj w( vi, vj) Calcul de la saillance visuelle mono-échelle
16. Cliquez pour modifier le style du titre 10/07/2013 16 Résultat de la saillance mono-échelle
 pour un maillage non coloré Résultat de la saillance mono-échelle pour un maillage non coloré
17. Cliquez pour modifier le style du titre 10/07/2013 Maillage 3D original non coloré: 17 Résultat de la saillance mono-échelle pour un maillage non coloré
18. Cliquez pour modifier le style du titre 10/07/2013 Saillance visuelle détectée: 18 Faible saillance Saillance importante Zoom sur le visage Résultat de la saillance mono-échelle pour un maillage non coloré
19. Cliquez pour modifier le style du titre 10/07/2013 19 Saturation ! Faible saillance Saillance importante Résultat de la saillance mono-échelle pour un maillage non coloré
20. Cliquez pour modifier le style du titre 10/07/2013 20 • Calcul de la similarité : Courbure en :  vi (version initiale) (version améliorée) Résultat de la saillance mono-échelle pour un maillage non coloré w( vi , vj) = exp "  ( vj) · || ~ H ( vi) ~ H ( vj) ||2 2 ( vi) · ( vj) · ||~ vi ~ vj ||2 2 # avec vj ⇠ vi w( vi , vj) = exp " || ~ H ( vi) ~ H ( vj) ||2 2 ( vi) · ( vj) # avec vj ⇠ vi
21. Cliquez pour modifier le style du titre 10/07/2013 21 Résultat amélioré Résultat de la saillance mono-échelle pour un maillage non coloré
22. Cliquez pour modifier le style du titre 10/07/2013 22 Zoom sur le visage : La saturation
 Résultat de la saillance mono-échelle pour un maillage non coloré
23. Cliquez pour modifier le style du titre 10/07/2013 Calcul de la saillance multi-échelle Calcul de la saillance multi-échelle 23
24. Cliquez pour modifier le style du titre 10/07/2013 Calcul de la saillance multi-échelle 24 Echelle 1 | Voisinage rayon=1 Entropie de l’échelle 1 Echelle 2 | Voisinage rayon=2 Echelle 3 | Voisinage rayon=3 Entropie de l’échelle 2 Entropie de l’échelle 3
25. Cliquez pour modifier le style du titre 10/07/2013 Calcul de la saillance multi-échelle 25 Saillance multi-échelle Zoom sur le visage Saillance-multi-echelle(vi) = PK k=1 saillance-mono-´ echelle k (vi) ⇤ Entropiek PK k=1 Entropiek
26. Cliquez pour modifier le style du titre 10/07/2013 Résultats et comparison avec une pseudo vérité terrain Résultats et comparaisons avec une pseudo vérité terrain 26
27. Cliquez pour modifier le style du titre 10/07/2013 27 Pseudo vérité terrain à partir de : [SHREC database - shape based retrieval] V. terrain Notre approche Résultats et comparaison avec une pseudo vérité terrain Saillance visuelle Notre approche Notre approche Notre approche Notre approche Notre approche V. terrain V. terrain V. terrain V. terrain V. terrain
28. Cliquez pour modifier le style du titre 10/07/2013 Saillance visuelle des maillages colorés Saillance visuelle des maillages colorés 28
29. Cliquez pour modifier le style du titre 10/07/2013 29 Maillage 3D coloré Saillance géométrique Saillance colorimétrique ? Saillance visuelle Saillance visuelle des maillages colorés
30. Cliquez pour modifier le style du titre 10/07/2013 30 Remplissage des cellules avec la moyenne RGB des noeuds projetés Saillance visuelle des maillages colorés
31. Cliquez pour modifier le style du titre 10/07/2013 31 • Similarité : ~ C(vi) : patch local colorimétrique. l : nombre des cellules du patch. Les poids des arêtes sont définis par : saillance-mono-echelle-col( vi) = 1 |vj ⇠ vi | X vi ⇠vj wC( vi, vj) Saillance visuelle des maillages colorés Saillance-multi-echelle-col(vi) = P3 k=1 saillance mono echelle colk(vi) ⇤ entropiek P3 k=1 entropyk wC( vi, vj) = exp " ||~ C ( vi) ~ C ( vj) ||2 2 C( vi) · C( vj) · l2 # avec vj ⇠ vi ( vi) = max vk ⇠vi ( ||~ vi ~ vk ||2) : paramètre d’échelle
32. Cliquez pour modifier le style du titre 10/07/2013 32 Résultats de la saillance colorimétrique Résultats de la saillance colorimétrique
33. Cliquez pour modifier le style du titre 10/07/2013 33 Maillage 3D coloré Saillance géométrique Saillance colorimétrique Saillance visuelle Saillance visuelle des maillages colorés
34. Cliquez pour modifier le style du titre 10/07/2013 34 Maillage coloré Saillance géométrique Saillance colorimétrie Saillance visuelle des maillages colorés Saillance visuelle
35. Cliquez pour modifier le style du titre 10/07/2013 35 Saillance géométrique Saillance colorim. S.géo x S.colorim. Maillage 3D original Saillance visuelle des maillages colorés
36. Cliquez pour modifier le style du titre 10/07/2013 Perspectives Perspectives 36
37. Cliquez pour modifier le style du titre 10/07/2013 • Elaborer une vérité terrain pour la saillance des maillages 3D colorés.
 • Compression des maillages 3D colorés en prenant en compte la saillance visuelle. 37 Perspectives
38. Cliquez pour modifier le style du titre 10/07/2013 38 Merci pour votre attention