Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Édition morphologique de signaux sur graphes

Édition morphologique de signaux sur graphes

GRETSI 2019

1509d0ae6901a6cf2c2fd7cc97f02fc0?s=128

Olivier Lézoray

August 27, 2019
Tweet

Transcript

  1. ´ Edition morphologique de signaux sur graphes Olivier L´ ezoray

    Normandie Univ, UNICAEN, ENSICAEN, CNRS, GREYC, 14000 Caen, France olivier.lezoray@unicaen.fr https://lezoray.users.greyc.fr
  2. 1 Introduction 2 Apprentissage de treillis complet 3 D´ ecomposition

    morphologique multi-couches 4 Edition de signaux sur graphes 5 Conclusion 2 / 25
  3. 1 Introduction 2 Apprentissage de treillis complet 3 D´ ecomposition

    morphologique multi-couches 4 Edition de signaux sur graphes 5 Conclusion 3 / 25
  4. Introduction · Objectif : Investiguer l’exploitation de la Morphologie Math´

    ematique pour l’´ edition de signaux Edition de signaux : repose sur une d´ ecomposition du signal en couches Les couches sont manipul´ ees pour diff´ erents buts : abstraction, manipulation de d´ etails, tone-mapping Nous proposons une approche pour les signaux couleur d´ efinis sur des graphes repr´ esentant des donn´ ees 2D (Images) ou 3D (Maillages) 4 / 25
  5. Introduction - Morphologie Math´ ematique Les op´ erateurs fondamentaux en

    Morphologie Math´ ematique (MM) sont la dilatation et l’´ erosion. La dilatation δ d’une function f 0 : Ω ⊂ R2 → R consiste ` a remplacer la valeur de la fonction par le maximum des valeurs contenues dans un ´ el´ ement structurant B : δB f 0(x, y) = max f 0(x + x , y + y )|(x , y ) ∈ B L’´ erosion est calcul´ ee par : B f 0(x, y) = min f 0(x + x , y + y )|(x , y ) ∈ B 5 / 25
  6. Introduction - Signaux sur graphes Afin de pouvoir traiter des

    donn´ ees 2D, 3D issues d’images ou de maillages, nous utilisons le formalisme des signaux sur graphes Le domaine Ω de l’image est consid´ er´ e comme un graphe grille G = (V, E) Les noeuds V = {v1, . . . , vm} correspondent aux pixels ou aux noeuds du maillage Les arˆ etes eij = (vi , vj ) connectent les noeuds en 8-adjacence ou suivant la topologie du maillage Les images et maillages sont repr´ esent´ es comme des signaux sur graphes avec des vecteurs couleur associ´ es aux noeuds : f : G → T ⊂ R3 L’ensemble T = {v1, · · · , vm} repr´ esente tous les vecteurs associ´ es aux noeuds ` A chaque noeud vi ∈ G est associ´ e un vecteur f (vi ) = vi = T [i] 6 / 25
  7. 1 Introduction 2 Apprentissage de treillis complet 3 D´ ecomposition

    morphologique multi-couches 4 Edition de signaux sur graphes 5 Conclusion 7 / 25
  8. Introduction - Treillis Complet La MM a besoin d’un ordre

    entre les donn´ ees trait´ ees : un treillis complet (T , ≤) La MM est probl´ ematique pour le traitement des vecteurs puisqu’il n’existe pas d’ordre naturel pour les vecteurs Le cadre des h-ordres peut ˆ etre consid´ er´ e pour cela : construire une projection h de T vers L o` u L est un treillis complet ´ equip´ e de l’ordre total conditionnel entre les vecteurs obtenus h : T → L and v → h(v), ∀(vi , vj ) ∈ T × T vi ≤h vj ⇔ h(vi ) ≤ h(vj ) . ≤h d´ esigne un tel h-ordre 8 / 25
  9. Apprentissage du Treillis Complet × Probl` eme : l’op´ erateur

    de projection h ne peut ˆ etre lin´ eaire car une distorsion de l’espace initial est in´ evitable ! 9 / 25
  10. Apprentissage du Treillis Complet × Probl` eme : l’op´ erateur

    de projection h ne peut ˆ etre lin´ eaire car une distorsion de l’espace initial est in´ evitable ! Solution : Consid´ erer une r´ eduction de dimension non-lin´ eaire par les Laplacian Eigenmaps qui correspond ` a apprendre la vari´ et´ e sur laquelle r´ esident les vecteurs. 9 / 25
  11. Apprentissage du Treillis Complet × Probl` eme : l’op´ erateur

    de projection h ne peut ˆ etre lin´ eaire car une distorsion de l’espace initial est in´ evitable ! Solution : Consid´ erer une r´ eduction de dimension non-lin´ eaire par les Laplacian Eigenmaps qui correspond ` a apprendre la vari´ et´ e sur laquelle r´ esident les vecteurs. × Probl` eme : Effectuer une r´ eduction de dimension non-lin´ eaire directement sur l’ensemble T des vecteurs n’est pas faisable en un temps raisonnable ! 9 / 25
  12. Apprentissage du Treillis Complet × Probl` eme : l’op´ erateur

    de projection h ne peut ˆ etre lin´ eaire car une distorsion de l’espace initial est in´ evitable ! Solution : Consid´ erer une r´ eduction de dimension non-lin´ eaire par les Laplacian Eigenmaps qui correspond ` a apprendre la vari´ et´ e sur laquelle r´ esident les vecteurs. × Probl` eme : Effectuer une r´ eduction de dimension non-lin´ eaire directement sur l’ensemble T des vecteurs n’est pas faisable en un temps raisonnable ! Solution : Consid´ erer une strat´ egie plus efficace. 9 / 25
  13. Apprentissage du Treillis Complet × Probl` eme : l’op´ erateur

    de projection h ne peut ˆ etre lin´ eaire car une distorsion de l’espace initial est in´ evitable ! Solution : Consid´ erer une r´ eduction de dimension non-lin´ eaire par les Laplacian Eigenmaps qui correspond ` a apprendre la vari´ et´ e sur laquelle r´ esident les vecteurs. × Probl` eme : Effectuer une r´ eduction de dimension non-lin´ eaire directement sur l’ensemble T des vecteurs n’est pas faisable en un temps raisonnable ! Solution : Consid´ erer une strat´ egie plus efficace. Strat´ egie en 3 ´ etapes Apprentissage de dictionnaire pour produire un ensemble D ` a partir de l’ensemble initial T Apprentissage de vari´ et´ e par Laplacian Eigenmaps sur le dictionnaire D pour obtenir une projection hD Extrapolation de hD ` a T pour d´ efinir h 9 / 25
  14. Apprentissage du Treillis Complet ´ Etape 1: Construction d’un dictionnaire

    Construire par QV un dictionnaire D = {x1 , . . . , xp } ` a partir de T ´ Etape 2: Apprentissage de vari´ et´ e sur le dictionnaire Calcul de la matrice de similarit´ e KD entre les vecteurs xi ∈ D Calcul de la matrice des degr´ es DD of KD Calcul de la d´ ecomposition du Laplacien normalis´ e L = I − D− 1 2 D KD D− 1 2 D avec L = ΦD ΠD ΦT D avec les vecteurs propres ΦD et valeurs propres ΠD ´ Etape 3: Extrapolation de la projection ΦD ` a tous les vecteurs de T Calcul de la matrice de similarit´ e KDT entre D et T Calcul de la matrice des degr´ es DDT of KDT Extrapolation des vecteurs propres de D ` a T avec ˜ Φ = D− 1 2 DT KT DT D− 1 2 D ΦD (diag[1] − ΠD )−1 Sortie : La projection finale h : T ⊂ R3 → L ⊂ Rp sur la vari´ et´ e est donn´ ee par ˜ Φ et d´ efini h(x) = ( ˜ φ1 (x), · · · , ˜ φp (x))T . Le treillis complet (T , ≤h ) est obtenu par l’ordre conditionnel sur h. 10 / 25
  15. 1 Introduction 2 Apprentissage de treillis complet 3 D´ ecomposition

    morphologique multi-couches 4 Edition de signaux sur graphes 5 Conclusion 11 / 25
  16. Repr´ esentation du signal sur graphe ´ Etant donn´ e

    le treillis complet (T , ≤h ), une permutation tri´ ee P de T est construite P = {v1 , · · · , vm } with vi ≤h vi+1 , ∀i ∈ [1, (m − 1)]. ` A partir de la permutation, un signal d’index I : Ω ⊂ Z2 → [1, m] est d´ efini par : I(pi ) = {k | vk = f (pi ) = vi } . La paire (I, P) donne une nouvelle repr´ esentation du signal sur graphe (l’index et la palette des vecteurs ordonn´ es). Le signal original f peut ˆ etre reconstruit puisque f (pi ) = P[I(pi )] = T [i] = vi 12 / 25
  17. Exemples de repr´ esentation 13 / 25

  18. Exemples de repr´ esentation 13 / 25

  19. MM pour signaux sur graphes Le signal d’index I peut

    ˆ etre directement utilis´ e pour un traitement mais pour pouvoir reconstruire le r´ esultat les valeurs doivent ˆ etre maintenues dans [1, m]. · Un traitement morphologique g op´ erant sur I doit pr´ eserver les vecteurs du signal initial : g(f (vi )) = P[g(I(vi ))] . L’´ erosion et la dilatation d’un signal sur graphe f au noeud vi ∈ G avec un ´ el´ ement structurant Bk ⊂ G sont : Bk (f )(vi ) = {P[∧I(vj )], vj ∈ Bk (vi )} δBk (f )(vi ) = {P[∨I(vj )], vj ∈ Bk (vi )} . Un ´ el´ ement structurant Bk (vi ) contient tous les noeuds dans le k-hop de vi : Bk (vi ) = {vj ∼ vi } ∪ {vi } si k = 1 Bk−1 (vi ) ∪ ∪∀vl ∈Bk−1(vi ) B1 (vl ) si k ≥ 2 14 / 25
  20. Exemples de traitement Image Originale f Bk (f ) δBk

    (f ) γBk (f ) = δBk ( Bk (f )) φBk (f ) = Bk (δBk (f )) 15 / 25
  21. Exemples de traitement Maillage Original f Bk (f ) δBk

    (f ) γBk (f ) = δBk ( Bk (f )) φBk (f ) = Bk (δBk (f )) 15 / 25
  22. D´ ecomposition multi-couche hi´ erarchique Les approches de l’´ etat

    de l’art en ´ edition d’images d´ ecomposent l’image en couches · Exploiter la MM pour signaux sur graphes : f = l−2 i=0 fi + dl−1 . d−1 = f , i = 0 while i < l do Calcul de la repr´ esentation du signal au niveau i − 1: di−1 = (Ii−1, Pi−1 ) Filtrage Morphologique de di−1 : fi = FMBl−i (di−1 ) Calcul du r´ esidu (couche de d´ etail): di = di−1 − fi Passer ` a la couche suivante : i = i + 1 end while 16 / 25
  23. D´ ecomposition multi-couche hi´ erarchique Le filtre morphologique consid´ er´

    e est un Open Close Close Open : OCCOBk (f ) = γBk (φBk (f )) + φBk (γBk (f )) 2 . (1) Chaque couche extraite devant contenir de plus en plus de d´ etails, le niveau de filtrage doit d´ ecroˆ ıtre au cours de de la d´ ecompostion · La taille de l’´ el´ ement structurant doit d´ ecroitre au fur et ` a mesure Bl−i a sa taille qui d´ epend du nombre de couches i ∈ [0, l − 1] avec i le niveau dans la hi´ erarchie qui va croissant 17 / 25
  24. Exemples de d´ ecomposition f f0 f1 f2 f3 d3

    18 / 25
  25. Exemples de d´ ecomposition f f0 f1 f2 f3 d3

    18 / 25
  26. 1 Introduction 2 Apprentissage de treillis complet 3 D´ ecomposition

    morphologique multi-couches 4 Edition de signaux sur graphes 5 Conclusion 19 / 25
  27. Abstraction 20 / 25

  28. Abstraction 20 / 25

  29. Am´ elioration de d´ etails 21 / 25

  30. Tone Mapping 22 / 25

  31. 1 Introduction 2 Apprentissage de treillis complet 3 D´ ecomposition

    morphologique multi-couches 4 Edition de signaux sur graphes 5 Conclusion 23 / 25
  32. Conclusion Nous avons propos´ e : Un apprentissage de treillis

    complet Une repr´ esentation de signal sur graphe sous la forme d’un index et d’une palette Une d´ ecomposition hi´ erarchique multi-couche reposant sur un filtrage morphologique Cela permet De d´ ecomposer un signal sur graphe De consid´ erer cette d´ ecomposition dans des tˆ aches d’´ edition De montrer l’int´ erˆ et des filtres morphologiques pour cela 24 / 25
  33. The end Publications disponibles ` a : https://lezoray.users.greyc.fr Travaux soutenus

    par l’ANR-14-CE27-0001 GRAPHSIP et l’union Europ´ eenne FEDER/FSE 2014/2020 (projet GRAPHSIP) 25 / 25