Édition morphologique de signaux sur graphes

GRETSI 2019

Transcript

1. ´ Edition morphologique de signaux sur graphes Olivier L´ ezoray Normandie Univ, UNICAEN, ENSICAEN, CNRS, GREYC, 14000 Caen, France olivier.lezoray@unicaen.fr https://lezoray.users.greyc.fr
2. 1 Introduction 2 Apprentissage de treillis complet 3 D´ ecomposition morphologique multi-couches 4 Edition de signaux sur graphes 5 Conclusion 2 / 25
3. 1 Introduction 2 Apprentissage de treillis complet 3 D´ ecomposition morphologique multi-couches 4 Edition de signaux sur graphes 5 Conclusion 3 / 25
4. Introduction · Objectif : Investiguer l’exploitation de la Morphologie Math´ ematique pour l’´ edition de signaux Edition de signaux : repose sur une d´ ecomposition du signal en couches Les couches sont manipul´ ees pour diff´ erents buts : abstraction, manipulation de d´ etails, tone-mapping Nous proposons une approche pour les signaux couleur d´ efinis sur des graphes repr´ esentant des donn´ ees 2D (Images) ou 3D (Maillages) 4 / 25
5. Introduction - Morphologie Math´ ematique Les op´ erateurs fondamentaux en Morphologie Math´ ematique (MM) sont la dilatation et l’´ erosion. La dilatation δ d’une function f 0 : Ω ⊂ R2 → R consiste ` a remplacer la valeur de la fonction par le maximum des valeurs contenues dans un ´ el´ ement structurant B : δB f 0(x, y) = max f 0(x + x , y + y )|(x , y ) ∈ B L’´ erosion est calcul´ ee par : B f 0(x, y) = min f 0(x + x , y + y )|(x , y ) ∈ B 5 / 25
6. Introduction - Signaux sur graphes Afin de pouvoir traiter des donn´ ees 2D, 3D issues d’images ou de maillages, nous utilisons le formalisme des signaux sur graphes Le domaine Ω de l’image est consid´ er´ e comme un graphe grille G = (V, E) Les noeuds V = {v1, . . . , vm} correspondent aux pixels ou aux noeuds du maillage Les arˆ etes eij = (vi , vj ) connectent les noeuds en 8-adjacence ou suivant la topologie du maillage Les images et maillages sont repr´ esent´ es comme des signaux sur graphes avec des vecteurs couleur associ´ es aux noeuds : f : G → T ⊂ R3 L’ensemble T = {v1, · · · , vm} repr´ esente tous les vecteurs associ´ es aux noeuds ` A chaque noeud vi ∈ G est associ´ e un vecteur f (vi ) = vi = T [i] 6 / 25
7. 1 Introduction 2 Apprentissage de treillis complet 3 D´ ecomposition morphologique multi-couches 4 Edition de signaux sur graphes 5 Conclusion 7 / 25
8. Introduction - Treillis Complet La MM a besoin d’un ordre entre les donn´ ees trait´ ees : un treillis complet (T , ≤) La MM est probl´ ematique pour le traitement des vecteurs puisqu’il n’existe pas d’ordre naturel pour les vecteurs Le cadre des h-ordres peut ˆ etre consid´ er´ e pour cela : construire une projection h de T vers L o` u L est un treillis complet ´ equip´ e de l’ordre total conditionnel entre les vecteurs obtenus h : T → L and v → h(v), ∀(vi , vj ) ∈ T × T vi ≤h vj ⇔ h(vi ) ≤ h(vj ) . ≤h d´ esigne un tel h-ordre 8 / 25
9. Apprentissage du Treillis Complet × Probl` eme : l’op´ erateur de projection h ne peut ˆ etre lin´ eaire car une distorsion de l’espace initial est in´ evitable ! 9 / 25
10. Apprentissage du Treillis Complet × Probl` eme : l’op´ erateur de projection h ne peut ˆ etre lin´ eaire car une distorsion de l’espace initial est in´ evitable ! Solution : Consid´ erer une r´ eduction de dimension non-lin´ eaire par les Laplacian Eigenmaps qui correspond ` a apprendre la vari´ et´ e sur laquelle r´ esident les vecteurs. 9 / 25
11. Apprentissage du Treillis Complet × Probl` eme : l’op´ erateur de projection h ne peut ˆ etre lin´ eaire car une distorsion de l’espace initial est in´ evitable ! Solution : Consid´ erer une r´ eduction de dimension non-lin´ eaire par les Laplacian Eigenmaps qui correspond ` a apprendre la vari´ et´ e sur laquelle r´ esident les vecteurs. × Probl` eme : Effectuer une r´ eduction de dimension non-lin´ eaire directement sur l’ensemble T des vecteurs n’est pas faisable en un temps raisonnable ! 9 / 25
12. Apprentissage du Treillis Complet × Probl` eme : l’op´ erateur de projection h ne peut ˆ etre lin´ eaire car une distorsion de l’espace initial est in´ evitable ! Solution : Consid´ erer une r´ eduction de dimension non-lin´ eaire par les Laplacian Eigenmaps qui correspond ` a apprendre la vari´ et´ e sur laquelle r´ esident les vecteurs. × Probl` eme : Effectuer une r´ eduction de dimension non-lin´ eaire directement sur l’ensemble T des vecteurs n’est pas faisable en un temps raisonnable ! Solution : Consid´ erer une strat´ egie plus efficace. 9 / 25
13. Apprentissage du Treillis Complet × Probl` eme : l’op´ erateur de projection h ne peut ˆ etre lin´ eaire car une distorsion de l’espace initial est in´ evitable ! Solution : Consid´ erer une r´ eduction de dimension non-lin´ eaire par les Laplacian Eigenmaps qui correspond ` a apprendre la vari´ et´ e sur laquelle r´ esident les vecteurs. × Probl` eme : Effectuer une r´ eduction de dimension non-lin´ eaire directement sur l’ensemble T des vecteurs n’est pas faisable en un temps raisonnable ! Solution : Consid´ erer une strat´ egie plus efficace. Strat´ egie en 3 ´ etapes Apprentissage de dictionnaire pour produire un ensemble D ` a partir de l’ensemble initial T Apprentissage de vari´ et´ e par Laplacian Eigenmaps sur le dictionnaire D pour obtenir une projection hD Extrapolation de hD ` a T pour d´ efinir h 9 / 25
14. Apprentissage du Treillis Complet ´ Etape 1: Construction d’un dictionnaire Construire par QV un dictionnaire D = {x1 , . . . , xp } ` a partir de T ´ Etape 2: Apprentissage de vari´ et´ e sur le dictionnaire Calcul de la matrice de similarit´ e KD entre les vecteurs xi ∈ D Calcul de la matrice des degr´ es DD of KD Calcul de la d´ ecomposition du Laplacien normalis´ e L = I − D− 1 2 D KD D− 1 2 D avec L = ΦD ΠD ΦT D avec les vecteurs propres ΦD et valeurs propres ΠD ´ Etape 3: Extrapolation de la projection ΦD ` a tous les vecteurs de T Calcul de la matrice de similarit´ e KDT entre D et T Calcul de la matrice des degr´ es DDT of KDT Extrapolation des vecteurs propres de D ` a T avec ˜ Φ = D− 1 2 DT KT DT D− 1 2 D ΦD (diag[1] − ΠD )−1 Sortie : La projection finale h : T ⊂ R3 → L ⊂ Rp sur la vari´ et´ e est donn´ ee par ˜ Φ et d´ efini h(x) = ( ˜ φ1 (x), · · · , ˜ φp (x))T . Le treillis complet (T , ≤h ) est obtenu par l’ordre conditionnel sur h. 10 / 25
15. 1 Introduction 2 Apprentissage de treillis complet 3 D´ ecomposition morphologique multi-couches 4 Edition de signaux sur graphes 5 Conclusion 11 / 25
16. Repr´ esentation du signal sur graphe ´ Etant donn´ e le treillis complet (T , ≤h ), une permutation tri´ ee P de T est construite P = {v1 , · · · , vm } with vi ≤h vi+1 , ∀i ∈ [1, (m − 1)]. ` A partir de la permutation, un signal d’index I : Ω ⊂ Z2 → [1, m] est d´ efini par : I(pi ) = {k | vk = f (pi ) = vi } . La paire (I, P) donne une nouvelle repr´ esentation du signal sur graphe (l’index et la palette des vecteurs ordonn´ es). Le signal original f peut ˆ etre reconstruit puisque f (pi ) = P[I(pi )] = T [i] = vi 12 / 25
17. Exemples de repr´ esentation 13 / 25
18. Exemples de repr´ esentation 13 / 25
19. MM pour signaux sur graphes Le signal d’index I peut ˆ etre directement utilis´ e pour un traitement mais pour pouvoir reconstruire le r´ esultat les valeurs doivent ˆ etre maintenues dans [1, m]. · Un traitement morphologique g op´ erant sur I doit pr´ eserver les vecteurs du signal initial : g(f (vi )) = P[g(I(vi ))] . L’´ erosion et la dilatation d’un signal sur graphe f au noeud vi ∈ G avec un ´ el´ ement structurant Bk ⊂ G sont : Bk (f )(vi ) = {P[∧I(vj )], vj ∈ Bk (vi )} δBk (f )(vi ) = {P[∨I(vj )], vj ∈ Bk (vi )} . Un ´ el´ ement structurant Bk (vi ) contient tous les noeuds dans le k-hop de vi : Bk (vi ) = {vj ∼ vi } ∪ {vi } si k = 1 Bk−1 (vi ) ∪ ∪∀vl ∈Bk−1(vi ) B1 (vl ) si k ≥ 2 14 / 25
20. Exemples de traitement Image Originale f Bk (f ) δBk (f ) γBk (f ) = δBk ( Bk (f )) φBk (f ) = Bk (δBk (f )) 15 / 25
21. Exemples de traitement Maillage Original f Bk (f ) δBk (f ) γBk (f ) = δBk ( Bk (f )) φBk (f ) = Bk (δBk (f )) 15 / 25
22. D´ ecomposition multi-couche hi´ erarchique Les approches de l’´ etat de l’art en ´ edition d’images d´ ecomposent l’image en couches · Exploiter la MM pour signaux sur graphes : f = l−2 i=0 fi + dl−1 . d−1 = f , i = 0 while i < l do Calcul de la repr´ esentation du signal au niveau i − 1: di−1 = (Ii−1, Pi−1 ) Filtrage Morphologique de di−1 : fi = FMBl−i (di−1 ) Calcul du r´ esidu (couche de d´ etail): di = di−1 − fi Passer ` a la couche suivante : i = i + 1 end while 16 / 25
23. D´ ecomposition multi-couche hi´ erarchique Le filtre morphologique consid´ er´ e est un Open Close Close Open : OCCOBk (f ) = γBk (φBk (f )) + φBk (γBk (f )) 2 . (1) Chaque couche extraite devant contenir de plus en plus de d´ etails, le niveau de filtrage doit d´ ecroˆ ıtre au cours de de la d´ ecompostion · La taille de l’´ el´ ement structurant doit d´ ecroitre au fur et ` a mesure Bl−i a sa taille qui d´ epend du nombre de couches i ∈ [0, l − 1] avec i le niveau dans la hi´ erarchie qui va croissant 17 / 25
24. Exemples de d´ ecomposition f f0 f1 f2 f3 d3 18 / 25
25. Exemples de d´ ecomposition f f0 f1 f2 f3 d3 18 / 25
26. 1 Introduction 2 Apprentissage de treillis complet 3 D´ ecomposition morphologique multi-couches 4 Edition de signaux sur graphes 5 Conclusion 19 / 25
27. Abstraction 20 / 25
28. Abstraction 20 / 25
29. Am´ elioration de d´ etails 21 / 25
30. Tone Mapping 22 / 25
31. 1 Introduction 2 Apprentissage de treillis complet 3 D´ ecomposition morphologique multi-couches 4 Edition de signaux sur graphes 5 Conclusion 23 / 25
32. Conclusion Nous avons propos´ e : Un apprentissage de treillis complet Une repr´ esentation de signal sur graphe sous la forme d’un index et d’une palette Une d´ ecomposition hi´ erarchique multi-couche reposant sur un filtrage morphologique Cela permet De d´ ecomposer un signal sur graphe De consid´ erer cette d´ ecomposition dans des tˆ aches d’´ edition De montrer l’int´ erˆ et des filtres morphologiques pour cela 24 / 25
33. The end Publications disponibles ` a : https://lezoray.users.greyc.fr Travaux soutenus par l’ANR-14-CE27-0001 GRAPHSIP et l’union Europ´ eenne FEDER/FSE 2014/2020 (projet GRAPHSIP) 25 / 25