Indice d’évaluation sans référence de la qualité des maillages 3D

Transcript

1. Indice d’évaluation sans référence de la qualité des maillages 3D A. Nouri, C. Charrier et O. Lézoray Normandie Univ., UNICAEN, ENSICAEN, CNRS, GREYC, 14000 Caen, France
2. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Sommaire 1 Introduction 2 La saillance 3 BSMQI - Blind Saliency-based Mesh Quality Index 4 Résultats 5 Conclusion A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 2 / 34
3. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Sommaire 1 Introduction 2 La saillance 3 BSMQI - Blind Saliency-based Mesh Quality Index 4 Résultats 5 Conclusion A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 3 / 34
4. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Introduction Importante quantité de données 3D aisément générées smartphones Scanner manuel Scanner laser A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 4 / 34
5. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Apparition de nouveaux champs Reconstitution scène de crime Biométrie / usurpation d’identité Industrie de la mode A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 5 / 34
6. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion les données 3D Apparation de beaucoup de formats de données 3D nuage de points Maillage (information de couleur par sommet, texture, etc.) Similitude(s) avec les images 2D impact sur la qualité des données 3D/3D+t sur les algorithmes de traitement Différence(s) avec les images 2D Qualité des images 2D FR / RR / NR : plus de 100 indices/mesures Qualité des maillages 3D FR / RR / NR moins de 10 indices/mesures A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 6 / 34
7. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Sommaire 1 Introduction 2 La saillance 3 BSMQI - Blind Saliency-based Mesh Quality Index 4 Résultats 5 Conclusion A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 7 / 34
8. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion La saillance des données 3D Saillance pour les images 2D Définition intuitive : un objet est saillant s’il est facilement visible. Les régions saillantes sont visuellement remarquables en fonction de leur contraste au voisinage Saillance pour les données 3D Sensibilité du SVH aux fortes fluctuations et discontinuités Hypothèses : Si un point 3D ressort fortement de son voisinage, il est alors considéré comme saillant. A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 8 / 34
9. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion La qualité et la saillance Perception de la gêne perceptuelle Maillage original Dégradation 1 Dégradation 2 A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 9 / 34
10. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion La qualité et la saillance Perception de la gêne perceptuelle Maillage original Dégradation 1 Dégradation 2 Dégradation la plus gênante visuellement A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 9 / 34
11. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Sommaire 1 Introduction 2 La saillance 3 BSMQI - Blind Saliency-based Mesh Quality Index 4 Résultats 5 Conclusion A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 10 / 34
12. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion BSMQI - Synopsis A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 11 / 34
13. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Représentation des données 3D Les données 3D sont représentées pas un graphe G = (V,E,w) V = {v1,...,vm} représente les sommets du graphe et E ⊂ V×V l’ensemble des arêtes reliant les sommets Un signal sur graphe est une fonction g associant un vecteur valué aux sommets du graphe f : G → T ⊂ Rn. L’ensemble T = {v1,··· ,vm} représente tous les vecteurs associés à tous les sommets du graphe À chaque sommet vi ∈ G est associé un vecteur f (vi ) = vi = T [i]. Le vecteur vi peut être les coordonnées pi ou les couleurs ci ou ... A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 12 / 34
14. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Représentation des données 3D Les graphes peuvent être pondérés par w(vi ,vj ) ∈ R+ Pour les maillages, l’ensemble E est connu A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 13 / 34
15. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Saillance 3D - l’approche retenue A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 14 / 34
16. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Description des patchs 3D Pour chaque sommet vi , un descripteur local est calculé : les patchs locaux apdatatifs Étape 1 : estimation du plan local tangent dans une boule Sε(vi ) Calcul de trois vecteurs x(vi ), y(vi ), z(vi ) définissant un plan local tangent P(vi ) pour le sommet vi Utilisation de la ACP [z(vi ),x(vi ),y(vi )]T = ACP(cov(vi )) cov(vi ) = j∈Sε(vi )(vj −vi)(vj −vi)T and vi = 1 |Sε(vi )| j∈Sε(vi ) vj Étape 2 : uniformisation de la direction des normales [Hoppe et al., 1992] Problème : la normale peut être orientée vers l’intérieur ou l’extérieur du maillage Construction de l’arbre de poids minimal avec les poids w(vi ,vj ) = 1−|z(vi )T z(vj )|, vj ∼ vi A partir du sommet, l’arbre de poids minimal est analysé par un parcours en profondeur et les normales sont réorientées si z(vi )T z(vj ) < 0 A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 15 / 34
17. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Description des patchs 3D Étape 3 : construction du patch Projection des sommets dans Sε(vi ) sur le plan P(vi ) : v i for vi Determination de la taille du patch par le rang des projections Subdivision d’un rectangle centrée en vi en l2 cellules définissant le patch Pi Remplir chaque cellule du patch avec la hauteur des projections : H(vi ) = v j ∈Pk i ||(vj −v j )||2 2 ,∀k T A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 16 / 34
18. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Exemples de patchs 3D obtenus A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 17 / 34
19. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Calcul de la saillance calcul des poids du graphe G associé aux données 3D : w(vi ,vj ) = exp − ||H(vi )−H(vj )||2 2 σ(vi )∗σ(vj ) avec vj ∼ vi paramètre d’échelle : σ(vi ) = maxvk ∼vi (||vi −vk||2) La saillance est définie comme le degré moyen du sommet vi : Mono-scale-saliency(vi ) = 1 |vj ∼ vi | vi ∼vj w(vi ,vj ) Interprétation Valeur proche de 0 : saillant Valeur proche de 1 : pas Saillant A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 18 / 34
20. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Un paramètre important Le paramètre d’échelle ε est très important (dans la boule Sε(vi )) A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 19 / 34
21. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Calcul multi-échelle de la saillance Multi-scale-saliency(vi ) = 3 k=1 Mono-scale-saliency k (vi )∗entropy k 3 k=1 entropy k entropyk = − Pri,k ∗log2Pri,k with Pri,k = hi k /|V| A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 20 / 34
22. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Exemple saillance multi-échelle A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 21 / 34
23. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Exemple saillance multi-échelle A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 21 / 34
24. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion La carte de rugosité Principe : Une distorsion sera plus visible sur une région lisse que sur une région rugueuse. Implantation : approche proposée par Wang et al., 2012 1 1 Wang, K., Torkhani, F., and Montanvert, A. (2012). Technical section : A fast roughness-based approach to the assessment of 3D mesh visual quality. Computer Graphics, 36(7) :808-818. A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 22 / 34
25. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Les superfacettes Segmentation du maillage 3D en un nombre de superfacettes NSF avec la méthode de Simari et al., 2014 2 Principe : approche de type k-means utilisant les distances les plus courtes du maillage d’une même facette. Complexité nlog(n), capable de segmenter les maillages importants 2 Simari, P., Picciau, G., and De Floriani, L. (2014). Fast and scalable mesh superfacets. Computers Graphics Forum, 33(7) :181-190 A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 23 / 34
26. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Calcul du score de qualité Construction du vecteur de caractéristiques Affectation à chaque noeud vi d’une superfacette SFj ses valeurs de saillance MS(vi ) et de rugosité respectives LRF(vi ) Construction du vecteur de caractéristiques pour chaque superfacette SFj φj = [µSFj ,σSFj ,δSFj ,γSFj ],∀j ∈ [1,NSF ] avec µSFj et σSFj représentent respectivement la moyenne et l’écart-type de la saillance de la superfacette SFj δSFj et γSFj font référence respectivement à la moyenne et à l’écart type de la rugosité de la surperfacette SFj A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 24 / 34
27. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Calcul du score de qualité Estimation du score de qualité par apprentissage Utilisation des SVR, Minimisation de la fonction f f = xi ∈VS αi yi K(xi ,x)+b avec xi vecteur de caractéristiques d’un maillage Mi yi score de qualité VS sont les vecteurs de supports K(xi ,x) représente le noyau RBF (Radial Basis Function) A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 25 / 34
28. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Sommaire 1 Introduction 2 La saillance 3 BSMQI - Blind Saliency-based Mesh Quality Index 4 Résultats 5 Conclusion A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 26 / 34
29. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Résultats Setup expérimental Apprentissage : base Liris-Masking 4 maillages 3D de référence, bruit additif, trois degrés d’intensités sur différentes régions du maillage. 22 maillages dégradés de chaque maillage, 12 observateurs humains, MOS Test : base Liris/Epfl General-Purpose 4 maillages 3D de référence, deux types de distorsions (bruit additif et lissage), trois degrés d’intensités sur différentes régions régions lisses ou rugueuses. 6 maillages dégradés de chaque maillage, 12 observateurs humains, MOS MOSgauche=0.1, MOSdroite=1.0 MOSgauche=0.75, MOSdroite=1.0 A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 27 / 34
30. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Résultats Evaluation des performances SROCC (Spearman Rank Ordered Correlation Coefficient) entre les scores de qualité subjectifs des observateurs humains et les scores de qualités objectifs fournis par notre mesure de qualité Méthodes d’évaluation de la qualité Comparaison avec huit indices d’évaluation de la qualité avec référence : 1 HD (distance Hausdorff), 2 RMS 3 3DPWM2 [Corsini et al., 2007] : extension de la métrique SSIM, maillages de connectivité différente 4 FMP [Wang et al., 2012] : basée sur la comparaison des cartes de rugosité 5 TDPM [Torkhani et al., 2014] : basée sur la différence des tenseurs de courbure (amplitude et direction) 6 SMIQ [Nouri et al., 2016] : dérivée de la métrique SSIM basée sur les cartes de saillance multi-échelle et une carte de rugosité A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 28 / 34
31. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Résultats Sur la base LIRIS EPFL Sur la base LIRIS Masking A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 29 / 34
32. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Résultats Exemples de résultat de l’indice de qualité BSMQI A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 30 / 34
33. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Résultats Exemples de résultat de l’indice de qualité BSMQI A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 31 / 34
34. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Sommaire 1 Introduction 2 La saillance 3 BSMQI - Blind Saliency-based Mesh Quality Index 4 Résultats 5 Conclusion A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 32 / 34
35. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Conclusion Conclusion nouvelle métrique, appelée BSMQI, pour l’évaluation de la qualité perçue avec référence des maillages 3D non colorés, Approche statistique des caractéristiques Indice de qualité compétitif avec les métriques d’évaluation avec référence de la qualité Perspectives Considération de plusieurs niveaux de segmentation, exploitant différents nombres de superfacettes, permettrait de disposer d ?une information multi-échelle qui pourrait permettre d ?améliorer les résultats A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 33 / 34
36. Introduction La saillance BSMQI - Blind Saliency-based Mesh Quality In Résultats Conclusion Questions A. Nouri, C. Charrier et O. Lézoray (GREYC) Journée GdR-ISIS – 29 novembre 2019 34 / 34