AC3D

Transcript

1. Saillance visuelle multi-échelle des maillages 3D par patchs locaux adaptatifs pour la sélection des points de vues optimaux Anass Nouri, Christophe Charrier, Olivier Lézoray
 
 Université de Caen, France AC3D 2015 1
2. Cliquez pour modifier le style du titre 10/07/2013 Plan • Comment définir la saillance ?
 • Modélisation de la surface d’un maillage 3D
 • Construction des patches locaux adaptatifs
 • Saillance Mono/Multi-échelle
 • Concordance avec une pseudo-vérité terrain
 • Comparaison avec l’état de l’art
 • Sélection des points de vues optimaux
 • Perspectives 2
3. Cliquez pour modifier le style du titre 10/07/2013 Comment définir la saillance? Comment définir la saillance? 3
4. Cliquez pour modifier le style du titre 10/07/2013 Comment définir la saillance ? Définition intuitive : Un objet est saillant s’il est facilement remarqué. 4
5. Cliquez pour modifier le style du titre 10/07/2013 Il existe 2 mécanismes attentionnels dans la vision humaine: Bottom-up (Ascendant) : La saillance ici est involontaire et est liée aux propriétés du stimuli 
 « l’objet saute aux yeux ».
 
 Top-down (descendant) : La saillance dépend de ce que l’observateur recherche. 
 « la facilité à trouver sur scène un objet déterminé ».
 Objectif : Déterminer La saillance liée au processus Ascendant 
 appelée Saillance attentionnelle. Comment définir la saillance ? 5
6. Cliquez pour modifier le style du titre 10/07/2013 Comment définir la saillance ? Sensibilité de l’oeil humain aux fortes fluctuations et aux fortes discontinuités Si un noeud du maillage ressort fortement de ses voisins, il pourrait être considéré
 comme saillant. La base de notre approche ? Surface plane sans fluctuations Surface plane avec fortes fluctuations 6 [S.Coren et al. Sensation and Perception]
7. Cliquez pour modifier le style du titre 10/07/2013 Représentation de la surface 3D Représentation de la surface d’un maillage 
 3D 7
8. Cliquez pour modifier le style du titre 10/07/2013 Représentation de la surface 3D Objectif : Définir en chaque noeud du maillage un vecteur représentant la normale
 et le plan 2D tangent. ! Pour cela : ! 
 l'ensemble des sommets
 l'ensemble des arêtes reliant un couple de sommets, 
 le poids de l'arête . w(vi, vj) (vi, vj) 2 E G = (V, E, w) V E = V ⇥ V Soit un maillage M représenté par un graphe non orienté : 8
9. Cliquez pour modifier le style du titre 10/07/2013 Représentation de la surface 3D 3 valeurs propres 3 vecteurs propres la normale le vecteur du plan le vecteur du plan Calculs : Centre de gravité: Matrice de covariance: ~ x ~ y Orientation des normales vers l’extérieur par l’arbre couvrant de poids minimal (Minimum Spanning Tree MST). 9 ˆ vi = 1 |S"(vi)| X j2S"(vi) vj cov ( vi) = X j2S"(vi) ( vj ˆ vi)( vj ˆ vi)T 2 R3⇥3
10. Cliquez pour modifier le style du titre 10/07/2013 Construction des patches locaux adaptatifs Construction du descripteur local : 
 Les patches adaptatifs 10
11. Cliquez pour modifier le style du titre 10/07/2013 Construction des patches locaux adaptatifs (3) Illustration d’un patch : 11
12. Cliquez pour modifier le style du titre 10/07/2013 Construction des patches locaux adaptatifs (1) • Définition du voisinage sphérique du noeud traité :
 
 S"(vi) = vj | ||~ vj ~ vi ||2 2  " • Projection du voisinage sur le plan 2D : ~ v 0 j = [( ~ vj ~ vi) · ~ x ( vi) , ( ~ vj ~ vi) · ~ y ( vi)]T ~ P(vi) • Taille adaptative du patch offrant une meilleure prise en compte des irrégularités de la surface : Td( vi) = max ( ~ v0 j , ~ v0 k )2 ~ P (vi) ( || ~ v0d j ~ v0d k ||2 2) d : représente la coordonnée x ou y 
 : la coordonnée du vecteur , : la norme Euclidienne. v0d j d ~ v0 j ||.||2 12
13. Cliquez pour modifier le style du titre 10/07/2013 • Division du patch en cellules :
 Construction des patches locaux adaptatifs (2) l ⇥ l indiced = $ ~ v0d j Td(vi)/l) % avec vj ⇠ vi • Remplissage des cellules du patch par les hauteurs de projections : H(~ v0 j ) = ||(~ vj ~ v0 j )||2 2 13
14. Cliquez pour modifier le style du titre 10/07/2013 Calcul de la saillance Calcul de la saillance Mono et Multi-échelle 14
15. Cliquez pour modifier le style du titre 10/07/2013 Calcul de la saillance Calcul de la saillance Mono-échelle 15
16. Cliquez pour modifier le style du titre 10/07/2013 Calcul de la saillance mono et multi-échelle • Calcul de la similarité : ( vi) = max vk ⇠vi ( ||~ vi ~ vk ||2) paramètre d’échelle : le poids de l’arête entre et . w(vi, vj) vi vj • Calcul de la Saillance visuelle mono-échelle: : la cardinalité de l’ensemble des voisins. 16 |vi ⇠ vj | Saillance mono-´ echelle( vi) = ✓ 1 |vj ⇠ vi | ◆ X vi ⇠vj w ( vi, vj) w ( vi , vj) = exp "  ( vj) ⇤ || ~ H ( vi) ~ H ( vj) ||2 2 ( vi) ⇤ ( vj) ⇤ ||~ vi ~ vj ||2 2 # with vj ⇠ vi (vj) Courbure du noeud vj
17. Cliquez pour modifier le style du titre 10/07/2013 Résultat mono-échelle Résultat mono-échelle 17
18. Cliquez pour modifier le style du titre 10/07/2013 Résultas et comparaisons avec l’état de l’art Maillage 3D Gorille original : 18 La saillance visuelle détectée : Résultats publiés dans la conférence SPIE-Electronics Imaging
 2015-SanFrancisco Saillance visuelle
19. Cliquez pour modifier le style du titre 10/07/2013 Résultat saillance mono-échelle 19 Zoom sur le visage : Saturation au 
 niveau des yeux
 et du nez Saillance visuelle
20. Cliquez pour modifier le style du titre 10/07/2013 Calcul de la saillance multi-échelle Calcul de la saillance multi-échelle 20
21. Cliquez pour modifier le style du titre 10/07/2013 Calcul de la saillance multi-échelle 21 Echelle 1-Voisinage rayon=1 Echelle 2-Voisinage rayon=2 Echelle 3-Voisinage rayon=3 Entropie échelle 1 Entropie échelle 2 Entropie échelle 3 Saillance visuelle
22. Cliquez pour modifier le style du titre 10/07/2013 Calcul de la saillance multi-échelle 22 Multi-scale-saliency( vi) = P3 k=1 Single-scale-saliencyk( vi) ⇤ entropyk P3 k=1 entropyk Saillance multi-échelle Zoom visage Résultats publiés dans la conférence ICIP - 2015
 Quebec
23. Cliquez pour modifier le style du titre 10/07/2013 Comparaisons avec une pseudo vérité terrain Comparaisons avec une pseudo vérité terrain 23
24. Cliquez pour modifier le style du titre 10/07/2013 24 Pseudo vérité terrain : [SHREC database - shape based retrieval] V.Terrain notre app. Comparaisons avec une pseudo vérité terrain Saillance visuelle
25. Cliquez pour modifier le style du titre 10/07/2013 Comparaisons avec l’état de l’art Comparaisons avec l’état de l’art 25
26. Cliquez pour modifier le style du titre 10/07/2013 Comparaisons avec l’état de l’art Objet 3D dinosaure original Saillance [Tal et al.] Saillance [Song et al.] Saillance [Lee et al.] Notre approche 26 Saillance visuelle
27. Cliquez pour modifier le style du titre 10/07/2013 Comparaisons avec l’état de l’art (2) Maillage 3D original Saillance [Tal et al.] Saillance [Song et al.] Notre approche 27 Saillance visuelle
28. Cliquez pour modifier le style du titre 10/07/2013 Sélection des points de vue optimaux
 Sélection des points de vue optimaux
 28
29. Cliquez pour modifier le style du titre 10/07/2013 Objectif : Sélection des points de vue optimaux
 29 Présenter les points de vues les plus saillants du maillage 3D à l’observateur. Critère principal : Sélectionner les régions maximisant la saillance visuelle. Pour cela : 1) Echantillonnage d’une sphère englobant le maillage suivant l’axe x et 
 sélection du meilleur point de vue Px. 2) A partir de Px, même processus selon l’axe y (sélection de Py). 3) A partir de Py, descente de gradient et sélection du point de vue optimal.
30. Cliquez pour modifier le style du titre 10/07/2013 Sélection des points de vue optimaux
 30 Point de vue optimal Point de vue optimal Point de vue optimal Saillance visuelle
31. Cliquez pour modifier le style du titre 10/07/2013 Perspectives • Amélioration de la carte de saillance.
 • Prise en compte de nouveaux attributs.
 • Analyse de leurs contributions respectives. Implémenter la saillance pour d’autres applications: Compression d’objets 3D : moins compresser les zones saillantes 
 (préservation des détails). 31
32. Cliquez pour modifier le style du titre 10/07/2013 Merci de votre attention. 32 Merci de votre attention ! http://nouri.users.greyc.fr