applications Conclusion Concepts et outils fractals pour l’analyse et la synthèse en imagerie couleur Julien CHAUVEAU École Doctorale STIM Université d’Angers - LISA http://www.istia.univ-angers.fr/LISA 10 février 2011 Thèse de doctorat encadrée par : François CHAPEAU-BLONDEAU (Professeur) et David ROUSSEAU (Maître de conférences HDR) 1/64
applications Conclusion Images naturelles Images naturelles Problématique Les images naturelles sont des signaux multidimensionnels complexes et porteurs d’information. Compréhension et modélisation essentielles à de nombreuses tâches en traitement d’image. . . Objectifs Identifier des propriétés de régularité pour caractériser et élaborer des modèles pour les images. Propriétés spécifiques : multiéchelles, fractales, autosimilaires en échelles. 4/64
applications Conclusion Histogrammes couleur tridimensionnels Histogrammes couleur tridimensionnels L’organisation colorimétrique est un aspect complémentaire Dans une image RVB de taille standard 512 × 512 = 218 px, la plupart des Q3 = 224 cellules colorimétriques ont une très très forte probabilité d’être vides. 6/64
applications Conclusion Histogrammes couleur tridimensionnels Histogrammes couleur tridimensionnels Un histogramme tridimensionnel couleur est typiquement : une très grande structure de donnée (224 = 1, 67 × 106), avec potentiellement des zones locales très concentrées, des zones complètement vides de tailles variées, un caractère diffus, difficilement descriptible. Approche habituelle : 3 histogrammes marginaux pour chaque composante R, V , B. 7/64
applications Conclusion Plan 1 Introduction 2 Analyse multiéchelle d’histogrammes couleur Méthodologie pour la caractérisation fractale Caractérisation du support de l’histogramme (palette des couleurs) Caractérisation de la population des couleurs, et de répartition dans l’histogramme Discussion 3 Analyse multifractale 4 Images de synthèse pour l’analyse multiéchelle 8/64
applications Conclusion Méthodologie pour la caractérisation fractale Méthodologie pour la caractérisation fractale Chaque méthode sera systématiquement étalonnée sur des images synthétiques de référence, avec des propriétés statistiques connues, avant d’être appliquée à des images couleur naturelles. 9/64
applications Conclusion Méthodologie pour la caractérisation fractale Images synthétiques de références (3D) Figure 2: Image couleur RVB de référence I3(x1 , x2) de taille 512 × 512 pixels et Q = 256 niveaux ; et son histogramme tridimensionnel dans le cube colorimétrique [0, Q − 1 = 255]3 en tant que variété à trois dimensions. 10/64
applications Conclusion Méthodologie pour la caractérisation fractale Images synthétiques de références (2D) Figure 3: Image couleur RVB de référence I2(x1 , x2) de taille 512 × 512 pixels et Q = 256 niveaux ; et son histogramme tridimensionnel dans le cube colorimétrique [0, Q − 1 = 255]3 en tant que variété à deux dimensions. 11/64
applications Conclusion Méthodologie pour la caractérisation fractale Images synthétiques de références (1D) Figure 4: Image couleur de référence RVB I1(x1 , x2) de taille 512 × 512 pixels et Q = 256 niveaux ; et son histogramme tridimensionnel dans le cube colorimétrique [0, Q − 1 = 255]3 en tant que variété à une dimension. 12/64
applications Conclusion Méthodologie pour la caractérisation fractale Comptage de boîtes (box-counting) [20] J. Chauveau, D. Rousseau & F. Chapeau-Blondeau, “Fractal capacity dimension of three-dimensional histogram from color images,” Multidimensional Systems and Signal Processing, vol. 21, pp. 197–211, 2010. Le cube colorimétrique [0, Q − 1]3 est successivement recouvert de boîtes de côté r et volume r3. Pour chaque longueur de boîte r, on calcule le nombre N(r) de boîtes qui sont nécessaires pour couvrir l’histogramme tridimensionnel, i.e. toutes les cellules du cube colorimétrique qui sont occupées par des pixels de l’image. 13/64
applications Conclusion Méthodologie pour la caractérisation fractale Comptage de boîtes (images de références) 10-1 100 101 102 103 104 105 106 107 108 1 10 100 number of boxes N(r) colorimetric distance r -3 I3 10-1 100 101 102 103 104 105 1 10 100 number of boxes N(r) colorimetric distance r -2 I2 10-1 100 101 102 103 1 10 100 number of boxes N(r) colorimetric distance r -1 I1 Figure 5: Nombre N(r) de boîtes couvrantes de taille r pour couvrir l’histogramme tridimensionnel des images I3(x1 , x2), I2(x1 , x2) et I1(x1 , x2) des Figs. 2–4. Les lignes droites en pointillés représentent les pentes −3 (gauche), −2 (milieu) et −1 (droite) correspondant aux prédictions théoriques de la mesure de “comptage de boîtes”. 14/64
applications Conclusion Méthodologie pour la caractérisation fractale Corrélation de paires (pair correlation) [21] J. Chauveau, D. Rousseau & F. Chapeau-Blondeau, “Pair correlation integral for fractal characterization of three-dimensional histograms from color images,” in Pro- ceedings ICISP International Conference on Image and Signal Processing, ser. Lecture Notes in Computer Science, vol. 5099. Berlin : Springer, Cherbourg-Octeville, 1–3 juillet 2008, pp. 200–208. Le nombre de paires de points (Pn , Pn ) séparés par une distance ≤ r. Ce dernier est défini par C(r) = Npix n=1 Npix n >n Γ(r − Pn − Pn ) 16/64
applications Conclusion Méthodologie pour la caractérisation fractale Corrélation de paires (images de références) 103 104 105 106 107 108 109 1010 1011 1012 1 10 100 number of pairs C(r) colorimetric distance r 3 I3 105 106 107 108 109 1010 1011 1012 1 10 100 number of pairs C(r) colorimetric distance r 2 I2 108 109 1010 1011 1 10 100 number of pairs C(r) colorimetric distance r 1 I1 Figure 6: Nombre de paires C(r) pour les histogrammes tridimensionnels des images de référence I3, I2 et I1, des Figs. 2–4, en fonction de la distance colorimétrique r. Le nombre indiqué correspond à la pente de la ligne droite en pointillés ajustée aux données mesurées sur la plus grande gamme d’échelles possible. 17/64
applications Conclusion Méthodologie pour la caractérisation fractale Intégrale de corrélation (correlation integral) [16] F. Chapeau-Blondeau, J. Chauveau, D. Rousseau & P. Richard, “Fractal structure in the color distribution of natural images,“ Chaos, Solitons & Fractals, vol. 42, pp. 472–482, 2009. Pour un rayon r donné, chaque point Pn de l’histogramme tridimensionnel est successivement pris comme centre de la sphère Sn (r) de rayon r. Mn (r) de points de l’histogramme tridimensionnel contenus à l’intérieur de la sphère Sn (r) : distance euclidienne à Pn est ≤ r. Les nombres Mn (r) sont ensuite moyennés sur tous les centres Pn possibles pour arriver à un compte moyen M(r). 19/64
applications Conclusion Méthodologie pour la caractérisation fractale Intégrale de corrélation (images de références) 10-2 10-1 100 101 102 103 104 105 106 1 10 100 avg. number of neighbors M(r) colorimetric distance r 3 I3 100 101 102 103 104 105 106 1 10 100 avg. number of neighbors M(r) colorimetric distance r 2 I2 103 104 105 106 1 10 100 avg. number of neighbors M(r) colorimetric distance r 1 I1 Figure 7: Pour les images de référence I3(x1 , x2), I2(x1 , x2) et I1(x1 , x2), en fonction de la distance colorimétrique r, le nombre moyen de voisins M(r) à l’intérieur de la sphère de rayon r. Pour I3, la ligne droite en pointillés de pente 3 est la prédiction théorique M(r) = ρ4πr3/3 avec ρ = 1/64. 20/64
applications Conclusion Discussion Discussion Complémentarité des mesures fractales Particularités de certaines images couleur Cas des images en niveaux de gris Comportement des histogrammes après traitement Réduction du nombre de couleurs par sous-quantification Réduction du nombre de couleurs par groupes K-means 24/64
applications Conclusion Discussion Cas des images en niveaux de gris 103 104 105 106 1 10 100 avg. number of neighbors M(r) colorimetric distance r 1 Bridge 103 104 105 106 1 10 100 avg. number of neighbors M(r) colorimetric distance r 1 Einstein 30/64
applications Conclusion Discussion Réduction de couleurs par sous-quantification ff α ff 100 101 102 101 102 103 104 105 colorimetric distance average number of neighbors Flowers 100 101 102 100 101 102 103 104 105 colorimetric distance average number of neighbors Parrots α α α α α α α Figure 8: Nombre moyen de voisins redimensionné αDM, en fonction de la distance colorimétrique redimensionnée αr, quand les composantes R, V et B de l’image sont redimensionnées par la fonction Xi ← αXi . La condition α = 1 (×) correspond à l’image originale, les trois autres conditions sont α3 = 1/2 (◦), α3 = 1/3 ( ), α3 = 1/4 (∗). Les quatre courbes se superposent par autosimilarité de la répartition des couleurs. 31/64
applications Conclusion Discussion Réduction de couleurs par regroupement K-means ff 100 101 102 101 102 103 104 105 colorimetric distance average number of neighbors Flowers 100 101 102 100 101 102 103 104 105 colorimetric distance average number of neighbors Parrots ff ff Figure 9: En fonction de la distance colorimétrique r, nombre moyen de voisins M(r) à l’intérieur de la sphère de rayon r. Image RVB originale (×), image réduite à une palette de 256 couleurs (◦), de 64 couleurs ( ), de 16 couleurs (∗). 32/64
applications Conclusion Méthode de caractérisation multifractale Méthode de caractérisation multifractale [23] J. Chauveau, D. Rousseau, P. Richard & F. Chapeau-Blondeau, “Multifractal analy- sis of three-dimensional histogram from color images,” Chaos, Solitons & Fractals, vol. 43, pp. 57–67, 2010. Fonction de partition Z(q, a) = i Pq i (1) Quand la fonction de partition Z(q, a) présente une évolution en loi de puissance de la forme Z(q, a) ∼ aτ(q) (2) Alors on peut définir une dimension fractale généralisée par D(q) = τ(q) q − 1 (3) 34/64
applications Conclusion Cascade multiplicative Cascade multiplicative Le cube colorimétrique [0, Q − 1]3 se voit assigné une mesure initiale uniforme de 1. En bissectant selon les trois axes de coordonnées, le cube colorimétrique est découpé en huit sous-cubes égaux. Chacun de ces huit sous-cubes voit sa mesure initiale (1/8) multipliée par un facteur de pondération mi ∈]0, 1[ avec la normalisation de la pondération 8 i=1 mi = 1. On itère le processus, en découpant en huit chacun des sous-cubes, et en redistribuant la mesure initiale de chaque sous-cube en pondérant par les mi fixés. L’exposant de masse τ(q) de l’Éq. (2) devient alors τ(q) = − log 2 8 i=1 mq i (4) 35/64
applications Conclusion Analyse des images Fonction de partition (images de références) 100 101 102 10−20 10−15 10−10 10−5 100 105 1010 1015 1020 1025 1030 box size a partition function Z q=−4 −3 −2 −1 q=0 q=1 2 3 q=4 A 100 101 102 10−10 100 1010 1020 1030 1040 1050 1060 1070 box size a partition function Z q=−4 q=−3 −2 −1 q=0 1 q=4 B g. 3. Partition function Z(q,a) from Eq. (1) as a function of the box size a, for a random uniform image (panel A), and for a multiplicative cascade ima ith weights {mi } = {0.002,0.039,0.057,0.058,0.094,0.102,0.148,0.500} (panel B). 1010 1015 1020 1025 1030 unction Z q=−4 −3 −2 −1 A 1010 1015 1020 1025 1030 unction Z q=−4 −3 −2 −1 B J. Chauveau et al. / Chaos, Solitons & Fractals xxx (2010) xxx–xxx Figure 10: Fonction de partition Z(q, a) de l’Éq. (1) en fonction du côté a des boîtes cubiques, pour une image aléatoire uniforme (A) et pour une image cascade multiplicative de poids {mi} = {0.002, 0.039, 0.057, 0.058, 0.094, 0.102, 0.148, 0.500} (B). 36/64
applications Conclusion Analyse des images Fonction de partition (images naturelles) o rise, on average, only beyond a neighborhood with linear xtension 22 and volume (22)3 = 26. In other words, in the ose neighborhood of a color present in the random image, here is no other color employed in the image; one needs o reach to sufficiently distant colors for finding them em- loyed in the image. This is a characteristic of the colori- transition scale. Below this crossover scale, the populatio of pixels cease to vary, as well as Z(q,a); and above t crossover a = 22, in Fig. 3(B), Z(a,q) varies according to power law with slope s(q) shown in Fig. 5(A). The corr sponding generalized fractal dimension D(q) of Eq. (4) presented in Fig. 6(A). One observes with the multiplic 100 101 102 10−20 10−15 box size a q=4 100 101 102 10−10 100 box size a 1 q=4 g. 3. Partition function Z(q,a) from Eq. (1) as a function of the box size a, for a random uniform image (panel A), and for a multiplicative cascade ima ith weights {mi } = {0.002,0.039,0.057,0.058,0.094,0.102,0.148,0.500} (panel B). 100 101 102 10−10 10−5 100 105 1010 1015 1020 1025 1030 box size a partition function Z q=−4 −3 −2 −1 q=0 q=1 2 3 q=4 A 100 101 102 10−15 10−10 10−5 100 105 1010 1015 1020 1025 1030 box size a partition function Z q=−4 −3 −2 −1 q=0 q=1 2 3 q=4 B Fig. 4. Partition function Z(q,a) from Eq. (1) as a function of the box size a, for images ‘‘Flowers” (panel A) and ‘‘Lena” (panel B) of Fig. 1. Figure 11: Fonction de partition Z(q, a) de l’Éq. (1) en fonction du côté a des boîtes cubiques, pour les images “Flowers” (panneau A) et “Lena” (panneau B). 37/64
applications Conclusion Analyse des images Spectre multifractal aq ¼ d dq sðqÞ ¼ À1 P8 i¼1 mq i i¼1 mq i log 2 ðmiÞ; ð15Þ and fðaqÞ ¼ qaq À sðqÞ: ð16Þ measure. This dimension is always D(0) = 3 for the mult plicative cascade in accordance with its support being th whole colorimetric cube; and this maximum occurs fo the cascade at a0 % 4.04 according to Eq. (17), as verifie in Fig. 8. By contrast, for the natural images in Fig. 8, th maximum of the spectrum is evaluated as D(0) = 2.7 fo 0 1 2 3 4 5 6 7 8 9 0 0.5 1 1.5 2 2.5 3 3.5 Holder exponent α Holder exponent α multifractal spectrum f (α) A 0 1 2 3 4 5 6 7 8 9 0 0.5 1 1.5 2 2.5 3 3.5 multifractal spectrum f (α) B Fig. 8. Multifractal spectrum f(a) as a function of the Hölder exponent a for the histogram measure. Open circle: degenerate spectrum reduced to the poi 3,3) for the uniform image. Dashed line: multiplicative cascade image of Fig. 3(B) coinciding with the theoretical prediction of Eqs. (15) and (16). Solid lin mage ‘‘Flowers” (panel A) and ‘‘Lena” (panel B) of Fig. 1. Please cite this article in press as: Chauveau J et al. Multifractal analysis of three-dimensional histogram from color images. Chaos, Soliton & Fractals (2010), doi:10.1016/j.chaos.2010.08.003 Figure 12: Spectre multifractal f(α) en fonction de l’exposant de Hölder α pour la mesure de l’histogramme. Cercle ouvert : spectre dégénéré réduit à un point (3, 3) pour l’image uniforme. Tirets : image d’une cascade multiplicative. Trait plein : images naturelles “Flowers” (A) et “Lena” (B). 38/64
applications Conclusion Discussions et perspectives Discussions et perspectives Discussions Ces résultats montrent des signatures multiéchelles complexes, avec des comportements similaires voire plus élaborés que ceux attachés aux modèles multifractals de référence fournis par des cascades multiplicatives tridimensionnels. Ces résultats sont utiles pour la caractérisation et la modélisation des images. Perspectives (applications pratiques) Il pourrait être envisagé de construire des métriques pour l’évaluation quantitative de la perception (colorimétrique) ou le réalisme des images naturelles par opposition aux images de synthèse ou illustrations type dessins animés. 39/64
applications Conclusion Plan 1 Introduction 2 Analyse multiéchelle d’histogrammes couleur 3 Analyse multifractale 4 Images de synthèse pour l’analyse multiéchelle Images de synthèse de sophistication croissante Images avec des signatures fractales plus prononcées Discussion et perspectives 5 Logiciels et applications 40/64
applications Conclusion Images de synthèse de sophistication croissante Images de synthèse de sophistication croissante Image A Image B Image C Image D 41/64
applications Conclusion Images de synthèse de sophistication croissante 100 101 102 103 104 1 10 100 number of boxes N(r) colorimetric distance r -1 Image A 10-1 100 101 102 103 104 105 106 1 10 100 number of boxes N(r) colorimetric distance r -2.3 Image B 10-1 100 101 102 103 104 105 106 107 1 10 100 number of boxes N(r) colorimetric distance r -2.5 Image C 10-1 100 101 102 103 104 105 106 107 1 10 100 number of boxes N(r) colorimetric distance r -2.5 Image D 106 107 108 109 1010 1011 1 10 100 number of pairs C(r) colorimetric distance r 0.8 Image A 107 108 109 1010 1011 1 10 100 number of pairs C(r) colorimetric distance r 0.73 Image B 108 109 1010 1011 1 10 100 number of pairs C(r) colorimetric distance r 0.16 Image C 108 109 1010 1011 1 10 100 number of pairs C(r) colorimetric distance r 1 Image D 100 101 102 103 104 105 1 10 100 avg. number of neighbors M(r) colorimetric distance r 1.8 Image A 100 101 102 103 104 105 1 10 100 avg. number of neighbors M(r) colorimetric distance r 1.9 Image B 100 101 102 103 104 105 106 1 10 100 avg. number of neighbors M(r) colorimetric distance r 2 Image C 102 103 104 105 106 1 10 100 avg. number of neighbors M(r) colorimetric distance r 1.2 Image D 42/64
applications Conclusion Discussion et perspectives Discussion et perspectives Discussion De simples techniques de rendu sont capables d’accroître la complexité de l’histogramme couleur jusqu’au point où les trois estimateurs fractals testés ont montré une signature fractale plus prononcée lorsque la sophistication des techniques de rendu augmente. Perspectives Considérer des techniques de rendu plus sophistiquées incluant davantage de paramètres physiques au regard des textures ou des modalités d’éclairage. Réaliser des tests psychophysiques pour savoir si une modification directe des palettes de couleurs des images de synthèse, de façon à atteindre une structure fractale dans le domaine colorimétrique, peut se traduire par un plus haut réalisme perçu. 45/64
applications Conclusion Cadre applicatif, “Doctorant Conseil” Cadre applicatif, “Doctorant Conseil” Financement par la Communauté d’Agglomération du Choletais (CAC) En interaction avec la plateforme technologique Emode du Choletais sur le textile-habillement Et via un contrat de “Doctorant Conseil”, avec les missions en parallèle du travail de recherche : Exploiter l’atelier logiciel de conception de motifs décoratifs et l’enrichir de nouvelles fonctionnalités Identifier entreprises potentiellement intéressées Élaborer un support de communication Démarcher les entreprises et faire des démos de l’atelier En collaboration avec Paul RICHARD (LISA) 47/64
applications Conclusion Outils d’analyse en échelles d’images couleur Visualisation d’histogrammes 3D en temps réel C B A Figure 13: Frise illustrant la visualisation en temps réel de l’histogramme (C) d’une image (B) acquise par une webcam (A). 48/64
applications Conclusion Outils pour la synthèse d’images couleur fractales Outils pour la synthèse d’images couleur fractales Intérêt des motifs décoratifs pour le textile-habillement Modèles de génération d’images Iterated Function Systems (IFS) Dead Leaves Model Caractérisations fractales des images de synthèse Application à la confection d’imprimés textiles 50/64
applications Conclusion Outils pour la synthèse d’images couleur fractales Iterated Function Systems (IFS) La transformation T est définie par l’union de 4 sous-transformations : S × R −→ S1 × R (x, y), s(x, y) −→ ( x 2 , y 2 ), a1s(x, y) + b1 , (5) S × R −→ S2 × R (x, y), s(x, y) −→ ( 1 2 + x 2 , y 2 ), a2s(x, y) + b2 , (6) S × R −→ S3 × R (x, y), s(x, y) −→ ( x 2 , 1 2 + y 2 ), a3s(x, y) + b3 (7) et S × R −→ S4 × R (x, y), s(x, y) −→ ( 1 2 + x 2 , 1 2 + y 2 ), a4s(x, y) + b4 , (8) avec les coefficients aj et bj des réels vérifiant 0 < |aj | < 1, pour j = 1 à 4, de façon à avoir des transformations contractantes. 51/64
applications Conclusion Outils pour la synthèse d’images couleur fractales Figure 15: Motifs fractals synthétisés selon le processus fractal de type IFS des Éqs. (5)–(8) en utilisant différents jeux de paramètres {(aj , bj), j = 1 . . . 4}. 53/64
applications Conclusion Outils pour la synthèse d’images couleur fractales Figure 16: Motifs fractals de synthèse générés selon le processus fractal de type IFS de l’Éq. (9) qui est utilisé 3 fois de façon à réaliser les 3 composantes R, V , B de l’image. 54/64
applications Conclusion Outils pour la synthèse d’images couleur fractales Dead Leaves Model Production d’une image résultant de la superposition de motifs géométriques de tailles et de teintes différentes placés pêle-mêle sur l’écran, à plusieurs échelles, et se recouvrant partiellement les uns les autres 55/64
applications Conclusion Outils pour la synthèse d’images couleur fractales Figure 17: Motifs fractals de synthèse générés suivant un processus fractal de type “feuilles mortes”. 56/64
applications Conclusion Outils pour la synthèse d’images couleur fractales Application à la confection d’imprimés textiles Figure 18: Interface homme–machine permettant l’application de motifs décoratifs sur un mannequin virtuel (atelier CREATEX 3D). 61/64
applications Conclusion Conclusion Ces travaux s’inscrivent dans le contexte des analyses des propriétés statistiques des images naturelles. Notre contribution porte sur l’identification de signatures non triviales de l’organisation des couleurs à travers les échelles possiblement fractales voire multifractales. Nous avons développé des applications de nos outils d’analyse fractale et en synthèse d’images pour le domaine du textile et l’habillement via des partenariats industriels. www.signal-image.net Perspectives. . . 63/64
highlow
pjamshidi
takurodadada
mkimura
kamicup
yoshipon
gtsak
chikuwait
makenowjust
supikiti
shinyorke
masakat0
jcasabona
marcelosomers
roundedbygravity
kneath
mongodb
zenorocha
jponch
revolveconf
addyosmani
stephaniewalter
ufuk
keavy
