TRAITEMENT DU SIGNAL SUR GRAPHES Olivier L´ ezoray Normandie Univ, UNICAEN, ENSICAEN, CNRS, GREYC, Caen, FRANCE [email protected] https://lezoray.users.greyc.fr

Quel(s) graphe(s) ? On consid` ere des domaines Ω ( D: images, D: maillages, nD: vari´ et´ es) repr´ esent´ es par des graphes G = (V, E) et qui portent des signaux multivari´ es f : G → Rn Les graphes peuvent ˆ etre orient´ es ou non, et porter des poids sur les arˆ etes. Leur topologie est arbitraire. f1 : G1 → Rn=3 f2 : G2 → Rn=3 f3 : G3 → Rn=21×21 f4 : G4 → Rn=∗ Olivier L´ ezoray Traitement du signal sur graphes /

Probl´ ematiques scientifiques Mani` eres usuelles de traiter des donn´ ees issues de graphes Th´ eorie des graphes · analyse spectrale (pour le traitement de donn´ ees : graphes de proximit´ es construits ` a partir des donn´ ees) M´ ethodes variationnelles et morphologiques (pour le traitement du signal et des images : graphes grilles) ´ Emergence d’un nouveau domaine de recherche appel´ e Traitement du signal sur graphes Objectif : d´ eveloppement d’algorithmes permettant de traiter les donn´ ees qui r´ esident sur les sommets (ou les arˆ etes) d’un graphe : signaux sur graphes Probl` eme : comment traiter des graphes g´ en´ eraux (non Euclidiens) avec des techniques de traitement du signal ? De nombreux travaux r´ ecents visent ` a ´ etendre les outils de traitement du signal et des images au traitement de signaux sur graphes. Olivier L´ ezoray Traitement du signal sur graphes /

Traitement de signaux sur graphes R´ ef´ erences David I. Shuman, Sunil K. Narang, Pascal Frossard, Antonio Ortega, Pierre Vandergheynst, The Emerging Field of Signal Processing on Graphs: Extending High-Dimensional Data Analysis to Networks and Other Irregular Domains. IEEE Signal Process. Mag. ( ): 8 - 8, . A. Ortega, P. Frossard, J. Kovaˇ cevi´ c, J. M. F. Moura and P. Vandergheynst, Graph Signal Processing: Overview, Challenges, and Applications, Proceedings of the IEEE, 6( ): 8 8-8 8, 8. W. Hu, J. Pang, X. Liu, D. Tian, C. -W. Lin and A. Vetro, Graph Signal Processing for Geometric Data and Beyond: Theory and Applications, in IEEE Transactions on Multimedia, . Olivier L´ ezoray Traitement du signal sur graphes /

Pour quoi faire ? Probl´ ematiques : du bas au haut niveau Compression du signal : · ondelettes pour signaux sur graphes Compl´ etion : · inpainting de signaux sur graphes D´ ebruitage : · filtrage de signaux sur graphes Manipulation : · rehaussement de signaux sur graphes Segmentation : · partitionnement de signaux sur graphes Olivier L´ ezoray Traitement du signal sur graphes /

Exemple de mise en oeuvre : filtrage Adaptatif Filtre de lissage pr´ eservant la structure, bas´ e sur un p-Laplacien adaptatif et une pr´ eservation guid´ ee les amplitudes de gradient arg min F∈Rn×3 λd F − F0 2 Fid´ elit´ e + λs 1 2N n i=1 αi |∇S i F|2 − |∇S i F0|2 2 Pr´ eservation des structures + λr n i=1 1 pi ∇W i F pi R´ egularisation Avec un signal original F0 = (fi,c )i,c ∈ Rn×3 (couleurs) et deux graphes S and W (mˆ eme structure mais poids diff´ erents) construits sur les donn´ ees sources S0. Guid´ e par α = (αi )n i=1 ∈ [0, 1]n qui indique ± la pr´ esence de structures ( : pas de structure, : des structures)) p = (pi )n i=1 ∈ [1, 2]n donne la r´ egularit´ e de chaque noeud ( : r´ egulier, : non r´ egulier) et indique ± l’absence de structures (rˆ ole oppos´ e ` a α). Olivier L´ ezoray Traitement du signal sur graphes 6 /

Exemple de mise en oeuvre : filtrage Adaptatif Original Guide R´ esultat Olivier L´ ezoray Traitement du signal sur graphes 6 /

Exemple de mise en oeuvre : filtrage Adaptatif Original R´ esultat Sharpening Olivier L´ ezoray Traitement du signal sur graphes 6 /

Exemple de mise en oeuvre : d´ ecomposition D´ ecomposition multi-´ echelle du signal Le signal sur graphe est d´ ecompos´ ee en une couche de base et des couches de d´ etails, chacune capturant un niveau de d´ etail : f = l−2 i=0 fi + dl−1 Chaque couche de d´ etail est obtenue par di = di−1 − FM(di−1) avec d−1 = f le signal original Le filtrage est effectu´ e avec un filtrage morphologique afin de cr´ eer des zones plates Le signal peut ˆ etre reconstruit apr` es manipulation des couches : ˆ f(vk) = S0(f0(vk)) + M(vk) · l−1 i=1 Si(fi(vk)) avec fl−1 = dl−1 Chaque couche est manipul´ ee avec un fonction non-lin´ eaire Si(x) = 1 1+exp(−αix) et un guide M Olivier L´ ezoray Traitement du signal sur graphes /

Exemple de mise en oeuvre : d´ ecomposition Olivier L´ ezoray Traitement du signal sur graphes /

Exemple de mise en oeuvre : d´ ecomposition Olivier L´ ezoray Traitement du signal sur graphes /

Exemple de mise en oeuvre : d´ ecomposition Olivier L´ ezoray Traitement du signal sur graphes /

Exemple de mise en oeuvre : d´ ecomposition Olivier L´ ezoray Traitement du signal sur graphes /

Exemple de mise en oeuvre : contours actifs Extraire deux clusters d’un signal ` a partir d’une initialisation Adaptation des contours actifs sur graphes Unifie les contours actifs g´ eod´ esiques et de Chan & Vese Exploite des patchs locaux comme descripteurs pour pond´ erer le graphe Consid` ere un mod` ele de patch moyen pour d´ ecrire chaque cluster R´ esolu selon un processus de propagation de front δf(vi, t) δt = F(vi, t) (∇wf)(vi, t) p p F(vi, t) est une fonction de vitesse (d´ epend de la courbure, des moyennes des clusters). Olivier L´ ezoray Traitement du signal sur graphes 8 /

Exemple de mise en oeuvre : contours actifs Olivier L´ ezoray Traitement du signal sur graphes 8 /

Exemple de mise en oeuvre : contours actifs Olivier L´ ezoray Traitement du signal sur graphes 8 /

Exemple de mise en oeuvre : contours actifs Olivier L´ ezoray Traitement du signal sur graphes 8 /

Vers le Deep learning G´ eom´ etrique M. M. Bronstein, J. Bruna, Y. LeCun, A. Szlam and P. Vandergheynst, Geometric Deep Learning: Going beyond Euclidean data, IEEE Signal Processing Magazine, ( ): 8- , · Convergence des m´ ethodes de traitement de signaux sur graphes et de Deep Learning qui b´ en´ eficient chacune des avanc´ ees de l’autre. Olivier L´ ezoray Traitement du signal sur graphes /

The end [thank you] Any Questions ? [email protected] https://lezoray.users.greyc.fr Olivier L´ ezoray Traitement du signal sur graphes /