AC3D

 AC3D

1509d0ae6901a6cf2c2fd7cc97f02fc0?s=128

Olivier Lézoray

May 28, 2015
Tweet

Transcript

  1. Saillance visuelle multi-échelle des maillages 3D par patchs locaux adaptatifs

    pour la sélection des points de vues optimaux Anass Nouri, Christophe Charrier, Olivier Lézoray
 
 Université de Caen, France AC3D 2015 1
  2. Cliquez pour modifier le style du titre 10/07/2013 Plan •

    Comment définir la saillance ?
 • Modélisation de la surface d’un maillage 3D
 • Construction des patches locaux adaptatifs
 • Saillance Mono/Multi-échelle
 • Concordance avec une pseudo-vérité terrain
 • Comparaison avec l’état de l’art
 • Sélection des points de vues optimaux
 • Perspectives 2
  3. Cliquez pour modifier le style du titre 10/07/2013 Comment définir

    la saillance? Comment définir la saillance? 3
  4. Cliquez pour modifier le style du titre 10/07/2013 Comment définir

    la saillance ? Définition intuitive : Un objet est saillant s’il est facilement remarqué. 4
  5. Cliquez pour modifier le style du titre 10/07/2013 Il existe

    2 mécanismes attentionnels dans la vision humaine: Bottom-up (Ascendant) : La saillance ici est involontaire et est liée aux propriétés du stimuli 
 « l’objet saute aux yeux ».
 
 Top-down (descendant) : La saillance dépend de ce que l’observateur recherche. 
 « la facilité à trouver sur scène un objet déterminé ».
 Objectif : Déterminer La saillance liée au processus Ascendant 
 appelée Saillance attentionnelle. Comment définir la saillance ? 5
  6. Cliquez pour modifier le style du titre 10/07/2013 Comment définir

    la saillance ? Sensibilité de l’oeil humain aux fortes fluctuations et aux fortes discontinuités Si un noeud du maillage ressort fortement de ses voisins, il pourrait être considéré
 comme saillant. La base de notre approche ? Surface plane sans fluctuations Surface plane avec fortes fluctuations 6 [S.Coren et al. Sensation and Perception]
  7. Cliquez pour modifier le style du titre 10/07/2013 Représentation de

    la surface 3D Représentation de la surface d’un maillage 
 3D 7
  8. Cliquez pour modifier le style du titre 10/07/2013 Représentation de

    la surface 3D Objectif : Définir en chaque noeud du maillage un vecteur représentant la normale
 et le plan 2D tangent. ! Pour cela : ! 
 l'ensemble des sommets
 l'ensemble des arêtes reliant un couple de sommets, 
 le poids de l'arête . w(vi, vj) (vi, vj) 2 E G = (V, E, w) V E = V ⇥ V Soit un maillage M représenté par un graphe non orienté : 8
  9. Cliquez pour modifier le style du titre 10/07/2013 Représentation de

    la surface 3D 3 valeurs propres 3 vecteurs propres la normale le vecteur du plan le vecteur du plan Calculs : Centre de gravité: Matrice de covariance: ~ x ~ y Orientation des normales vers l’extérieur par l’arbre couvrant de poids minimal (Minimum Spanning Tree MST). 9 ˆ vi = 1 |S"(vi)| X j2S"(vi) vj cov ( vi) = X j2S"(vi) ( vj ˆ vi)( vj ˆ vi)T 2 R3⇥3
  10. Cliquez pour modifier le style du titre 10/07/2013 Construction des

    patches locaux adaptatifs Construction du descripteur local : 
 Les patches adaptatifs 10
  11. Cliquez pour modifier le style du titre 10/07/2013 Construction des

    patches locaux adaptatifs (3) Illustration d’un patch : 11
  12. Cliquez pour modifier le style du titre 10/07/2013 Construction des

    patches locaux adaptatifs (1) • Définition du voisinage sphérique du noeud traité :
 
 S"(vi) = vj | ||~ vj ~ vi ||2 2  " • Projection du voisinage sur le plan 2D : ~ v 0 j = [( ~ vj ~ vi) · ~ x ( vi) , ( ~ vj ~ vi) · ~ y ( vi)]T ~ P(vi) • Taille adaptative du patch offrant une meilleure prise en compte des irrégularités de la surface : Td( vi) = max ( ~ v0 j , ~ v0 k )2 ~ P (vi) ( || ~ v0d j ~ v0d k ||2 2) d : représente la coordonnée x ou y 
 : la coordonnée du vecteur , : la norme Euclidienne. v0d j d ~ v0 j ||.||2 12
  13. Cliquez pour modifier le style du titre 10/07/2013 • Division

    du patch en cellules :
 Construction des patches locaux adaptatifs (2) l ⇥ l indiced = $ ~ v0d j Td(vi)/l) % avec vj ⇠ vi • Remplissage des cellules du patch par les hauteurs de projections : H(~ v0 j ) = ||(~ vj ~ v0 j )||2 2 13
  14. Cliquez pour modifier le style du titre 10/07/2013 Calcul de

    la saillance Calcul de la saillance Mono et Multi-échelle 14
  15. Cliquez pour modifier le style du titre 10/07/2013 Calcul de

    la saillance Calcul de la saillance Mono-échelle 15
  16. Cliquez pour modifier le style du titre 10/07/2013 Calcul de

    la saillance mono et multi-échelle • Calcul de la similarité : ( vi) = max vk ⇠vi ( ||~ vi ~ vk ||2) paramètre d’échelle : le poids de l’arête entre et . w(vi, vj) vi vj • Calcul de la Saillance visuelle mono-échelle: : la cardinalité de l’ensemble des voisins. 16 |vi ⇠ vj | Saillance mono-´ echelle( vi) = ✓ 1 |vj ⇠ vi | ◆ X vi ⇠vj w ( vi, vj) w ( vi , vj) = exp "  ( vj) ⇤ || ~ H ( vi) ~ H ( vj) ||2 2 ( vi) ⇤ ( vj) ⇤ ||~ vi ~ vj ||2 2 # with vj ⇠ vi (vj) Courbure du noeud vj
  17. Cliquez pour modifier le style du titre 10/07/2013 Résultat mono-échelle

    Résultat mono-échelle 17
  18. Cliquez pour modifier le style du titre 10/07/2013 Résultas et

    comparaisons avec l’état de l’art Maillage 3D Gorille original : 18 La saillance visuelle détectée : Résultats publiés dans la conférence SPIE-Electronics Imaging
 2015-SanFrancisco Saillance visuelle
  19. Cliquez pour modifier le style du titre 10/07/2013 Résultat saillance

    mono-échelle 19 Zoom sur le visage : Saturation au 
 niveau des yeux
 et du nez Saillance visuelle
  20. Cliquez pour modifier le style du titre 10/07/2013 Calcul de

    la saillance multi-échelle Calcul de la saillance multi-échelle 20
  21. Cliquez pour modifier le style du titre 10/07/2013 Calcul de

    la saillance multi-échelle 21 Echelle 1-Voisinage rayon=1 Echelle 2-Voisinage rayon=2 Echelle 3-Voisinage rayon=3 Entropie échelle 1 Entropie échelle 2 Entropie échelle 3 Saillance visuelle
  22. Cliquez pour modifier le style du titre 10/07/2013 Calcul de

    la saillance multi-échelle 22 Multi-scale-saliency( vi) = P3 k=1 Single-scale-saliencyk( vi) ⇤ entropyk P3 k=1 entropyk Saillance multi-échelle Zoom visage Résultats publiés dans la conférence ICIP - 2015
 Quebec
  23. Cliquez pour modifier le style du titre 10/07/2013 Comparaisons avec

    une pseudo vérité terrain Comparaisons avec une pseudo vérité terrain 23
  24. Cliquez pour modifier le style du titre 10/07/2013 24 Pseudo

    vérité terrain : [SHREC database - shape based retrieval] V.Terrain notre app. Comparaisons avec une pseudo vérité terrain Saillance visuelle
  25. Cliquez pour modifier le style du titre 10/07/2013 Comparaisons avec

    l’état de l’art Comparaisons avec l’état de l’art 25
  26. Cliquez pour modifier le style du titre 10/07/2013 Comparaisons avec

    l’état de l’art Objet 3D dinosaure original Saillance [Tal et al.] Saillance [Song et al.] Saillance [Lee et al.] Notre approche 26 Saillance visuelle
  27. Cliquez pour modifier le style du titre 10/07/2013 Comparaisons avec

    l’état de l’art (2) Maillage 3D original Saillance [Tal et al.] Saillance [Song et al.] Notre approche 27 Saillance visuelle
  28. Cliquez pour modifier le style du titre 10/07/2013 Sélection des

    points de vue optimaux
 Sélection des points de vue optimaux
 28
  29. Cliquez pour modifier le style du titre 10/07/2013 Objectif :

    Sélection des points de vue optimaux
 29 Présenter les points de vues les plus saillants du maillage 3D à l’observateur. Critère principal : Sélectionner les régions maximisant la saillance visuelle. Pour cela : 1) Echantillonnage d’une sphère englobant le maillage suivant l’axe x et 
 sélection du meilleur point de vue Px. 2) A partir de Px, même processus selon l’axe y (sélection de Py). 3) A partir de Py, descente de gradient et sélection du point de vue optimal.
  30. Cliquez pour modifier le style du titre 10/07/2013 Sélection des

    points de vue optimaux
 30 Point de vue optimal Point de vue optimal Point de vue optimal Saillance visuelle
  31. Cliquez pour modifier le style du titre 10/07/2013 Perspectives •

    Amélioration de la carte de saillance.
 • Prise en compte de nouveaux attributs.
 • Analyse de leurs contributions respectives. Implémenter la saillance pour d’autres applications: Compression d’objets 3D : moins compresser les zones saillantes 
 (préservation des détails). 31
  32. Cliquez pour modifier le style du titre 10/07/2013 Merci de

    votre attention. 32 Merci de votre attention ! http://nouri.users.greyc.fr