Benjamin Le Guen - Adaptation du contenu spatio-temporel des images pour un codage par ondelettes

Transcript

1. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Adaptation du contenu spatio-temporel des images pour un codage par ondelettes Benjamin Le Guen benjamin.leguen@gmail.com Orange Labs - Sup´ elec 14 f´ evrier 2008 Directeur de th` ese M. Jacques Palicot Sup´ elec-SCEE/IETR-AC Encadrants M. Jacques Weiss Sup´ elec-SCEE/IETR-AC M. St´ ephane Pateux Orange Labs/France T´ el´ ecom Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 1
2. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Pourquoi compresser les images et les vid´ eos ? ◮ Multiplication des supports d’acquisition/visualisation ◮ Appareils photos num´ eriques, t´ el´ evisions, ordinateurs personnels, appareils nomades. . . ◮ Multiplication des offres ◮ T´ el´ evision (HD), vid´ eos ` a la demande, visioconf´ erence, diffusion temps r´ eel (´ ev´ enements sportifs, concert. . .) ⇒ Explosion des contenus ◮ Contraintes : Capacit´ es de stockage, d´ ebits des r´ eseaux ◮ Vid´ eo non compress´ ee (16 bits de couleur par pixel) ◮ Film de 90 min au format TV (SD) : 89, 6 Gbits, soit environ 20 DVD ! ! ◮ Applications ´ emergentes (HDTV, TV3D, High Dynamic Range. . .) multiplient encore l’espace et les d´ ebits ⇒ Il faut compresser les contenus Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 2
3. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Principes de la compression ◮ Transform´ ee : changer l’espace de repr´ esentation ◮ Transf´ erer l’information sur un petit nombre de coefficients ◮ Projeter le signal sur des atomes ´ el´ ementaires ◮ Outils privil´ egi´ es : Bases orthonormales (Fourier, Ondelettes. . .) ⇒ Les atomes doivent pr´ esenter des similarit´ es fortes avec les caract´ eristiques des images Atome 2D de Fourier 0 10 20 30 40 50 60 70 0 10 20 30 40 50 60 70 −1 0 1 x y Transform´ ee de Fourier Transformée Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 3
4. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Principes de la compression ◮ Transform´ ee : changer l’espace de repr´ esentation ◮ Transf´ erer l’information sur un petit nombre de coefficients ◮ Projeter le signal sur des atomes ´ el´ ementaires ◮ Outils privil´ egi´ es : Bases orthonormales (Fourier, Ondelettes. . .) ⇒ Les atomes doivent pr´ esenter des similarit´ es fortes avec les caract´ eristiques des images ◮ Quantification : perte de pr´ ecision des coefficients ◮ Associer un symbole ` a chaque coefficient ◮ Limiter l’impact sur la qualit´ e visuelle Atome 2D de Fourier 0 10 20 30 40 50 60 70 0 10 20 30 40 50 60 70 −1 0 1 x y Transform´ ee de Fourier Transformée Quantification Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 3
5. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Principes de la compression ◮ Transform´ ee : changer l’espace de repr´ esentation ◮ Transf´ erer l’information sur un petit nombre de coefficients ◮ Projeter le signal sur des atomes ´ el´ ementaires ◮ Outils privil´ egi´ es : Bases orthonormales (Fourier, Ondelettes. . .) ⇒ Les atomes doivent pr´ esenter des similarit´ es fortes avec les caract´ eristiques des images ◮ Quantification : perte de pr´ ecision des coefficients ◮ Associer un symbole ` a chaque coefficient ◮ Limiter l’impact sur la qualit´ e visuelle ◮ Codage entropique ◮ Valeurs quantifi´ ees transform´ ees en mots binaires ◮ Atteindre l’entropie de la source Atome 2D de Fourier 0 10 20 30 40 50 60 70 0 10 20 30 40 50 60 70 −1 0 1 x y Transform´ ee de Fourier Transformée Quantification 00111011... Codage Entropique Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 3
6. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions La g´ eom´ etrie dans les images ◮ Poids perceptuel important ◮ Th´ eories : Constructivisme [Marr, 1982], Gestalt [Wertheimer, 1938]. . . ◮ Exp´ eriences « dures » : imagerie du cerveau, ´ electrodes. . . ⇒ Limiter les d´ egradations de g´ eom´ etrie ⇒ Trouver des atomes qui exploitent les r´ egularit´ es le long des contours Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 4
7. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions La g´ eom´ etrie dans les images ◮ Poids perceptuel important ◮ Th´ eories : Constructivisme [Marr, 1982], Gestalt [Wertheimer, 1938]. . . ◮ Exp´ eriences « dures » : imagerie du cerveau, ´ electrodes. . . ⇒ Limiter les d´ egradations de g´ eom´ etrie ⇒ Trouver des atomes qui exploitent les r´ egularit´ es le long des contours ◮ Qu’est-ce qu’un contour ? Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 4
8. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Sommaire Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 5
9. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Sommaire Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 6
10. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Ondelettes : d´ efinition ◮ Base d’ondelettes 1D B = {ψj,m } ◮ Translations et dilatations d’une ondelette m` ere ψ ψj,m = 2−j/2ψ(2−j t − m) j 0, m ∈ Z ◮ ψj,m localis´ ee dans le domaine temporel et fr´ equentiel ◮ Repr´ esentation de ph´ enom` enes multi-´ echelles ◮ Optimale pour signaux 1D avec un nombre fini de discontinuit´ es [Mallat, 1989] ◮ Base d’ondelettes 2D ◮ Translations et dilatations de trois ondelettes m` eres ψH , ψV , ψD ◮ En pratique d´ ecomposition s´ eparable horizontale puis verticale sur J niveaux de d´ ecomposition Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 7
11. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Ondelettes : d´ efinition ◮ Base d’ondelettes 1D B = {ψj,m } ◮ Translations et dilatations d’une ondelette m` ere ψ ψj,m = 2−j/2ψ(2−j t − m) j 0, m ∈ Z ◮ ψj,m localis´ ee dans le domaine temporel et fr´ equentiel ◮ Repr´ esentation de ph´ enom` enes multi-´ echelles ◮ Optimale pour signaux 1D avec un nombre fini de discontinuit´ es [Mallat, 1989] ◮ Base d’ondelettes 2D ◮ Translations et dilatations de trois ondelettes m` eres ψH , ψV , ψD ◮ En pratique d´ ecomposition s´ eparable horizontale puis verticale sur J niveaux de d´ ecomposition Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 7
12. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Ondelettes : d´ efinition ◮ Base d’ondelettes 1D B = {ψj,m } ◮ Translations et dilatations d’une ondelette m` ere ψ ψj,m = 2−j/2ψ(2−j t − m) j 0, m ∈ Z ◮ ψj,m localis´ ee dans le domaine temporel et fr´ equentiel ◮ Repr´ esentation de ph´ enom` enes multi-´ echelles ◮ Optimale pour signaux 1D avec un nombre fini de discontinuit´ es [Mallat, 1989] ◮ Base d’ondelettes 2D ◮ Translations et dilatations de trois ondelettes m` eres ψH , ψV , ψD ◮ En pratique d´ ecomposition s´ eparable horizontale puis verticale sur J niveaux de d´ ecomposition Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 7
13. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Ondelettes : d´ efinition ◮ Base d’ondelettes 1D B = {ψj,m } ◮ Translations et dilatations d’une ondelette m` ere ψ ψj,m = 2−j/2ψ(2−j t − m) j 0, m ∈ Z ◮ ψj,m localis´ ee dans le domaine temporel et fr´ equentiel ◮ Repr´ esentation de ph´ enom` enes multi-´ echelles ◮ Optimale pour signaux 1D avec un nombre fini de discontinuit´ es [Mallat, 1989] ◮ Base d’ondelettes 2D ◮ Translations et dilatations de trois ondelettes m` eres ψH , ψV , ψD ◮ En pratique d´ ecomposition s´ eparable horizontale puis verticale sur J niveaux de d´ ecomposition Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 7
14. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Ondelettes : d´ efinition ◮ Base d’ondelettes 1D B = {ψj,m } ◮ Translations et dilatations d’une ondelette m` ere ψ ψj,m = 2−j/2ψ(2−j t − m) j 0, m ∈ Z ◮ ψj,m localis´ ee dans le domaine temporel et fr´ equentiel ◮ Repr´ esentation de ph´ enom` enes multi-´ echelles ◮ Optimale pour signaux 1D avec un nombre fini de discontinuit´ es [Mallat, 1989] ◮ Base d’ondelettes 2D ◮ Translations et dilatations de trois ondelettes m` eres ψH , ψV , ψD ◮ En pratique d´ ecomposition s´ eparable horizontale puis verticale sur J niveaux de d´ ecomposition Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 7
15. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Ondelettes : d´ efinition ◮ Base d’ondelettes 1D B = {ψj,m } ◮ Translations et dilatations d’une ondelette m` ere ψ ψj,m = 2−j/2ψ(2−j t − m) j 0, m ∈ Z ◮ ψj,m localis´ ee dans le domaine temporel et fr´ equentiel ◮ Repr´ esentation de ph´ enom` enes multi-´ echelles ◮ Optimale pour signaux 1D avec un nombre fini de discontinuit´ es [Mallat, 1989] ◮ Base d’ondelettes 2D ◮ Translations et dilatations de trois ondelettes m` eres ψH , ψV , ψD ◮ En pratique d´ ecomposition s´ eparable horizontale puis verticale sur J niveaux de d´ ecomposition Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 7
16. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Ondelettes : succ` es et limites ◮ Application en compression d’images : JPEG2000 [Skodras, 2001] ◮ Codeur standard d’images bas´ e sur EBCOT ◮ Meilleures performances que JPEG ◮ Possibilit´ e de cr´ eer un flux scalable spatialement et en qualit´ e 24 26 28 30 32 34 36 38 40 42 0 0.2 0.4 0.6 0.8 1 1.2 1.4 PSNR (dB) DØbits (bpp) JPEG Irfanview JPEG2000 VM 8.0 progressif Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 8
17. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Ondelettes : succ` es et limites ◮ Application en compression d’images : JPEG2000 [Skodras, 2001] ◮ Codeur standard d’images bas´ e sur EBCOT ◮ Meilleures performances que JPEG ◮ Possibilit´ e de cr´ eer un flux scalable spatialement et en qualit´ e ◮ Limites des ondelettes s´ eparables standard ◮ Support rectangulaire fixe inadapt´ e aux contours ⇒ ´ energie dispers´ ee sur de nombreux coefficients ⇒ impact visuel apr` es seuillage : ph´ enom` ene « ringing » Ratio d’aspect fixe Directions fixes Ondelette (a) Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 8
18. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Ondelettes : succ` es et limites ◮ Application en compression d’images : JPEG2000 [Skodras, 2001] ◮ Codeur standard d’images bas´ e sur EBCOT ◮ Meilleures performances que JPEG ◮ Possibilit´ e de cr´ eer un flux scalable spatialement et en qualit´ e ◮ Limites des ondelettes s´ eparables standard ◮ Support rectangulaire fixe inadapt´ e aux contours ⇒ ´ energie dispers´ ee sur de nombreux coefficients ⇒ impact visuel apr` es seuillage : ph´ enom` ene « ringing » ◮ Construire des ondelettes de « seconde g´ en´ eration » ◮ Ajouter de l’anisotropie ` a l’ondelette [Le Pennec et Mallat, 2005] : ◮ Directionnalit´ e + ratio d’aspect Ratio d’aspect fixe Directions fixes Ondelette (a) Direction adaptative θ (b) dh Ratio d’aspect adaptatif dh /dv Ondelette Seconde G´ en´ eration dv θ Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 8
19. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Ondelettes de « seconde g´ en´ eration » : Etat de l’art ◮ M´ ethodes non-adaptatives ◮ Bancs de filtres fixes (Ridgelets [Cand` es, 1998], Curvelets [Cand` es et Donoho, 1999], Contourlets [Do, 2001]) ◮ Limites : redondance, probl` eme de conception Contourlets [Do, 2001] ÈÝÖ Ñ Ä ÔÐ ÒÒ ÐØÖ Ö Ø ÓÒÒ Ð ×ÓÙ×¹ Ò × ÙØ Ö ÕÙ Ò ´¾ ¾µ ×ÓÙ×¹ Ò ×× Ö ÕÙ Ò ´ µ Ü Ý ´ µ ´ µ ´ µ Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 9
20. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Ondelettes de « seconde g´ en´ eration » : Etat de l’art ◮ M´ ethodes non-adaptatives ◮ Bancs de filtres fixes (Ridgelets [Cand` es, 1998], Curvelets [Cand` es et Donoho, 1999], Contourlets [Do, 2001]) ◮ Limites : redondance, probl` eme de conception ◮ M´ ethodes adaptatives ◮ Calcul d’un mod` ele g´ eom´ etrique ◮ Recherche exhaustive ◮ Guid´ ee par des a priori g´ eom´ etriques [Le Pennec, 2002], [Jeannic et al, 2007] Contourlets [Do, 2001] ÈÝÖ Ñ Ä ÔÐ ÒÒ ÐØÖ Ö Ø ÓÒÒ Ð ×ÓÙ×¹ Ò × ÙØ Ö ÕÙ Ò ´¾ ¾µ ×ÓÙ×¹ Ò ×× Ö ÕÙ Ò ´ µ Ü Ý ´ µ ´ µ ´ µ Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 9
21. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Ondelettes de « seconde g´ en´ eration » : Etat de l’art ◮ M´ ethodes non-adaptatives ◮ Bancs de filtres fixes (Ridgelets [Cand` es, 1998], Curvelets [Cand` es et Donoho, 1999], Contourlets [Do, 2001]) ◮ Limites : redondance, probl` eme de conception ◮ M´ ethodes adaptatives ◮ Calcul d’un mod` ele g´ eom´ etrique ◮ Recherche exhaustive ◮ Guid´ ee par des a priori g´ eom´ etriques [Le Pennec, 2002], [Jeannic et al, 2007] ◮ Diff´ erentes fa¸ cons d’exploiter la g´ eom´ etrie : ◮ Adapter les directions de filtrage ` a l’image : [Velisavljevic, 2005], [Ding et al, 2007], [Peyre, 2005]. . . ◮ Adapter l’image ` a l’ondelette s´ eparable standard : correction de la g´ eom´ etrie par d´ eformation de blocs [Taubman et Zakhor, 1994][Le Pennec, 2002] Lifting directionnel [Ding et al, 2007] θv π/4 −π/4 θv Bandelettes premi` ere g´ en´ eration [Le Pennec, 2002] Ondelette Bandelette Á Ò× ÏÁ Ò× Û Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 9
22. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Ondelettes de « seconde g´ en´ eration » : Etat de l’art ◮ M´ ethodes non-adaptatives ◮ Bancs de filtres fixes (Ridgelets [Cand` es, 1998], Curvelets [Cand` es et Donoho, 1999], Contourlets [Do, 2001]) ◮ Limites : redondance, probl` eme de conception ◮ M´ ethodes adaptatives ◮ Calcul d’un mod` ele g´ eom´ etrique ◮ Recherche exhaustive ◮ Guid´ ee par des a priori g´ eom´ etriques [Le Pennec, 2002], [Jeannic et al, 2007] ◮ Diff´ erentes fa¸ cons d’exploiter la g´ eom´ etrie : ◮ Adapter les directions de filtrage ` a l’image : [Velisavljevic, 2005], [Ding et al, 2007], [Peyre, 2005]. . . ◮ Adapter l’image ` a l’ondelette s´ eparable standard : correction de la g´ eom´ etrie par d´ eformation de blocs [Taubman et Zakhor, 1994][Le Pennec, 2002] ◮ En marge : approximations par ´ el´ ements finis [Demaret et al, 2006] Lifting directionnel [Ding et al, 2007] θv π/4 −π/4 θv Bandelettes premi` ere g´ en´ eration [Le Pennec, 2002] Ondelette Bandelette Á Ò× ÏÁ Ò× Û Elements finis [Demaret et al, 2006] Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 9
23. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Ondelettes de « seconde g´ en´ eration » : Etat de l’art ◮ M´ ethodes non-adaptatives ◮ Bancs de filtres fixes (Ridgelets [Cand` es, 1998], Curvelets [Cand` es et Donoho, 1999], Contourlets [Do, 2001]) ◮ Limites : redondance, probl` eme de conception ◮ M´ ethodes adaptatives ◮ Calcul d’un mod` ele g´ eom´ etrique ◮ Recherche exhaustive ◮ Guid´ ee par des a priori g´ eom´ etriques [Le Pennec, 2002], [Jeannic et al, 2007] ◮ Diff´ erentes fa¸ cons d’exploiter la g´ eom´ etrie : ◮ Adapter les directions de filtrage ` a l’image : [Velisavljevic, 2005], [Ding et al, 2007], [Peyre, 2005]. . . ◮ Adapter l’image ` a l’ondelette s´ eparable standard : correction de la g´ eom´ etrie par d´ eformation de blocs [Taubman et Zakhor, 1994][Le Pennec, 2002] ◮ En marge : approximations par ´ el´ ements finis [Demaret et al, 2006] ◮ Pourquoi ne pas utiliser le maillage pour mod´ eliser une d´ eformation globale et continue ? ◮ Motivation : l’image d´ eform´ ee peut ˆ etre envoy´ ee ` a un codeur d’images existant Lifting directionnel [Ding et al, 2007] θv π/4 −π/4 θv Bandelettes premi` ere g´ en´ eration [Le Pennec, 2002] Ondelette Bandelette Á Ò× ÏÁ Ò× Û Elements finis [Demaret et al, 2006] Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 9
24. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Sommaire Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 10
25. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Analyse-Synth` ese spatiales : sch´ ema de principe ◮ S’appuie sur un codeur non adaptatif (JPEG2000) TEXTURE IMAGE $\deforminv$ $\deform$ $\sommetimage{\indicesommet}$ $\domaineimage$ $\larete$ $\domainetexture$ $\sommettexture{\indicesommet}$ $\ptdeuxt=\cddeuxt$ $\ptdeux=\cddeux$ N A L Y S E S Y N T H E S E Reconstruction spatiale Adaptation spatiale A Image déformée Paramètres déformation Codeur 2D Non adaptatif Non adaptatif Décodeur 2D I ˆ w ˆ T ˆ I T w Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 11
26. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Analyse-Synth` ese spatiales : sch´ ema de principe ◮ S’appuie sur un codeur non adaptatif (JPEG2000) ◮ Analyse : ◮ D´ eforme l’image pour l’« adapter » au codeur : Texture T ◮ La d´ eformation est mod´ elis´ ee par un maillage d´ eformable 2D [Cammas, 2004] ◮ Les param` etres de d´ eformation doivent ˆ etre transmis TEXTURE IMAGE la w−1 w u = (u, v) x = (x, y) ui ˜ D D xi N A L Y S E S Y N T H E S E Reconstruction spatiale Adaptation spatiale A Image déformée Paramètres déformation Codeur 2D Non adaptatif Non adaptatif Décodeur 2D w ˆ T ˆ I I T ˆ w Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 11
27. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Analyse-Synth` ese spatiales : sch´ ema de principe ◮ S’appuie sur un codeur non adaptatif (JPEG2000) ◮ Analyse : ◮ D´ eforme l’image pour l’« adapter » au codeur : Texture T ◮ La d´ eformation est mod´ elis´ ee par un maillage d´ eformable 2D [Cammas, 2004] ◮ Les param` etres de d´ eformation doivent ˆ etre transmis ◮ Synth` ese : ◮ Reconstruit l’image en inversant la d´ eformation TEXTURE IMAGE la w−1 w u = (u, v) x = (x, y) ui ˜ D D xi A L Y S E S Y N T H E S E Image déformée N Non adaptatif Non adaptatif Décodeur 2D Reconstruction spatiale Adaptation spatiale A Paramètres déformation Codeur 2D ˆ w ˆ T ˆ I T w I Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 11
28. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions D´ efinition du crit` ere d’adaptation ◮ Consid´ erons la d´ ecomposition de T dans une base d’ondelettes : T(u, v) = m aJ [m]φ∗ J,m (u, v) + J j=1 m dj [m]ψ∗ j,m (u, v) ◮ Hypoth` ese : distribution gaussienne dans les sous-bandes ⇒ le coˆ ut de codage de T peut ˆ etre ´ ecrit C ∝ − J j=1 m dj [m]2 2σ2 j + K ◮ Adaptation est formul´ ee comme la minimisation de C ◮ Soit ˜ Tj l’approximation de T sans j sous-bandes : ˜ Tj (u, v) = m aj [m]φ∗ j,m (u, v) ⇒ Nous pouvons exprimer C en fonction de w : C = J j=1 ηj ˜ D (T(u, v) − ˜ Tj (u, v))2 Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 12
29. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions D´ efinition du crit` ere d’adaptation ◮ Consid´ erons la d´ ecomposition de T dans une base d’ondelettes : T(u, v) = m aJ [m]φ∗ J,m (u, v) + J j=1 m dj [m]ψ∗ j,m (u, v) ◮ Hypoth` ese : distribution gaussienne dans les sous-bandes ⇒ le coˆ ut de codage de T peut ˆ etre ´ ecrit C ∝ − J j=1 m dj [m]2 2σ2 j + K ◮ Adaptation est formul´ ee comme la minimisation de C ◮ Soit ˜ Tj l’approximation de T sans j sous-bandes : ˜ Tj (u, v) = m aj [m]φ∗ j,m (u, v) ⇒ Nous pouvons exprimer C en fonction de w : C = J j=1 ηj ˜ D (T(u, v) − ˜ Tj (u, v))2 ˜ T2 ˜ T1 ˜ T0 = T Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 12
30. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions D´ efinition du crit` ere d’adaptation ◮ Consid´ erons la d´ ecomposition de T dans une base d’ondelettes : T(u, v) = m aJ [m]φ∗ J,m (u, v) + J j=1 m dj [m]ψ∗ j,m (u, v) ◮ Hypoth` ese : distribution gaussienne dans les sous-bandes ⇒ le coˆ ut de codage de T peut ˆ etre ´ ecrit C ∝ − J j=1 m dj [m]2 2σ2 j + K ◮ Adaptation est formul´ ee comme la minimisation de C ◮ Soit ˜ Tj l’approximation de T sans j sous-bandes : ˜ Tj (u, v) = m aj [m]φ∗ j,m (u, v) ⇒ Nous pouvons exprimer C en fonction de w : C = J j=1 ηj ˜ D (I(w(u, v)) − ˜ Tj (u, v))2 ˜ T2 ˜ T1 ˜ T0 = T Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 12
31. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Simplification et r´ esolution ◮ On montre que minimiser C revient ` a minimiser C′ : C′ = ˜ D (I(w(u, v)) − Tcible (u, v))2, Tcible = j ηj ˜ Tj j ηj ◮ Diff´ erence d’image d´ eplac´ ee entre I et Tcible mais ◮ w est inconnue ◮ Tcible est inconnue Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 13
32. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Simplification et r´ esolution ◮ On montre que minimiser C revient ` a minimiser C′ : C′ = ˜ D (I(w(u, v)) − Tcible (u, v))2, Tcible = j ηj ˜ Tj j ηj ◮ Diff´ erence d’image d´ eplac´ ee entre I et Tcible mais ◮ w est inconnue ◮ Tcible est inconnue ◮ Solution propos´ ee : optimisation conjointe de w et T : ◮ Algorithme it´ eratif. Initialement w(0) = Id, T(0) = I ◮ Etant donn´ e le r´ esultat apr` es l’it´ eration k : ◮ Mise ` a jour de w(k+1) ´ etant donn´ ee T(k) en minimisant (descente gradient) : C′(w(k+1)) = ˜ D (I(w(k+1)(u, v)) − T(k) cible (u, v))2 ◮ Mise ` a jour de T(k+1) et de toutes les approximations ˜ T(k+1) j ´ etant donn´ ee w(k+1) : T(k+1)(u, v) = I(w(k+1)(u, v)) ◮ Jusqu’` a atteindre kmax Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 13
33. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Simplification et r´ esolution ◮ On montre que minimiser C revient ` a minimiser C′ : C′ = ˜ D (I(w(u, v)) − Tcible (u, v))2, Tcible = j ηj ˜ Tj j ηj ◮ Diff´ erence d’image d´ eplac´ ee entre I et Tcible mais ◮ w est inconnue ◮ Tcible est inconnue ◮ Solution propos´ ee : optimisation conjointe de w et T : ◮ Algorithme it´ eratif. Initialement w(0) = Id, T(0) = I ◮ Etant donn´ e le r´ esultat apr` es l’it´ eration k : ◮ Mise ` a jour de w(k+1) ´ etant donn´ ee T(k) en minimisant (descente gradient) : C′(w(k+1)) = ˜ D (I(w(k+1)(u, v)) − T(k) cible (u, v))2 ◮ Mise ` a jour de T(k+1) et de toutes les approximations ˜ T(k+1) j ´ etant donn´ ee w(k+1) : T(k+1)(u, v) = I(w(k+1)(u, v)) ◮ Jusqu’` a atteindre kmax ◮ ∼ estimation de mouvement entre 2 images Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 13
34. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions R´ esultats d’analyse ◮ La g´ eom´ etrie est-elle extraite ? ◮ Densification des noeuds autour des contours dans D ◮ Plus de caract´ eristiques horizontales-verticales dans ˜ D ◮ Contours liss´ es dans ˜ D TEXTURE IMAGE la w−1 w u = (u, v) x = (x, y) ui ˜ D D xi Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 14
35. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions R´ esultats d’analyse ◮ La g´ eom´ etrie est-elle extraite ? ◮ Densification des noeuds autour des contours dans D ◮ Plus de caract´ eristiques horizontales-verticales dans ˜ D ◮ Contours liss´ es dans ˜ D TEXTURE IMAGE la w−1 w u = (u, v) x = (x, y) ui ˜ D D xi Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 14
36. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions R´ esultats d’analyse ◮ La g´ eom´ etrie est-elle extraite ? ◮ Densification des noeuds autour des contours dans D ◮ Plus de caract´ eristiques horizontales-verticales dans ˜ D ◮ Contours liss´ es dans ˜ D ◮ En pratique, le nombre de noeuds doit ˆ etre limit´ e ◮ Interpr´ etation visuelle plus difficile TEXTURE IMAGE la w−1 w u = (u, v) x = (x, y) ui ˜ D D xi Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 14
37. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions R´ esultats d’analyse ◮ La g´ eom´ etrie est-elle extraite ? ◮ Densification des noeuds autour des contours dans D ◮ Plus de caract´ eristiques horizontales-verticales dans ˜ D ◮ Contours liss´ es dans ˜ D ◮ En pratique, le nombre de noeuds doit ˆ etre limit´ e ◮ Interpr´ etation visuelle plus difficile ◮ Mais on peut observer les ´ energies dans les sous-bandes de T : ◮ Energie d´ ecroˆ ıt dans les sous-bandes de hautes fr´ equences ◮ Energie croˆ ıt dans les sous-bandes de basses fr´ equences ◮ ⇒ D´ eplacement de l’´ energie ⇒ repr´ esentation compacte. TEXTURE IMAGE la w−1 w u = (u, v) x = (x, y) ui ˜ D D xi 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1.1 0 10 20 30 40 50 60 70 80 90 100 Facteur E(k) j /E(0) j It´ eration k j=1 j=2 j=3 j=4 Energie totale Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 14
38. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions R´ esultats d’analyse ◮ La g´ eom´ etrie est-elle extraite ? ◮ Densification des noeuds autour des contours dans D ◮ Plus de caract´ eristiques horizontales-verticales dans ˜ D ◮ Contours liss´ es dans ˜ D ◮ En pratique, le nombre de noeuds doit ˆ etre limit´ e ◮ Interpr´ etation visuelle plus difficile ◮ Mais on peut observer les ´ energies dans les sous-bandes de T : ◮ Energie d´ ecroˆ ıt dans les sous-bandes de hautes fr´ equences ◮ Energie croˆ ıt dans les sous-bandes de basses fr´ equences ◮ ⇒ D´ eplacement de l’´ energie ⇒ repr´ esentation compacte. ◮ La r´ eduction du coˆ ut de codage est-elle suffisante pour compenser le coˆ ut du maillage ? TEXTURE IMAGE la w−1 w u = (u, v) x = (x, y) ui ˜ D D xi 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1.1 0 10 20 30 40 50 60 70 80 90 100 Facteur E(k) j /E(0) j It´ eration k j=1 j=2 j=3 j=4 Energie totale Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 14
39. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions R´ esultats num´ eriques de compression ◮ Param` etres d’analyse ◮ J = 4, la = 16 ◮ Ondelette 9/7 [Antonini et al, 1992] ◮ T encod´ ee avec JPEG2000 VM8.0 (50 couches de qualit´ e) ◮ Positions de noeuds quantifi´ ees au pixel, codage arithm´ etique (coˆ ut∼ 0.03 bpp) ◮ Courbes R-D ◮ JPEG2000 vs AS2D ◮ PSNR ◮ SSIM : mesure objective bas´ ee sur des crit` eres subjectifs (luminance, contraste, structure) varie entre 0 et 1 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0.7 0.75 0.8 0.85 0.9 0.95 1 PSNR (dB) SSIM D´ ebit (bpp) Lena 256 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0.7 0.75 0.8 0.85 0.9 0.95 1 PSNR (dB) SSIM D´ ebit (bpp) Lena 256 JPEG2000 (PSNR) AS2D (PSNR) JPEG2000 (SSIM) AS2D (SSIM) 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0.7 0.75 0.8 0.85 0.9 0.95 1 PSNR (dB) SSIM D´ ebit (bpp) Cameraman 256 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0.7 0.75 0.8 0.85 0.9 0.95 1 PSNR (dB) SSIM D´ ebit (bpp) Cameraman 256 JPEG2000 (PSNR) AS2D (PSNR) JPEG2000 (SSIM) AS2D (SSIM) Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 15
40. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions R´ esultas visuels de compression (0.3 bpp) JPEG2000 PSNR=30, 19 dB PSNR=30, 23 dB AS2D Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 16
41. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions R´ esultas visuels de compression (0.3 bpp) JPEG2000 PSNR=30, 19 dB PSNR=30, 23 dB AS2D ◮ R´ eduction du ph´ enom` ene rebonds pr` es des contours Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 16
42. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions R´ esultas visuels de compression (0.3 bpp) JPEG2000 PSNR=30, 19 dB PSNR=30, 23 dB AS2D ◮ R´ eduction du ph´ enom` ene rebonds pr` es des contours ◮ L´ eger flou dans les zones textur´ ees (impact dans les hauts d´ ebits) Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 16
43. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions R´ esultas visuels de compression (0.3 bpp) PSNR=28, 12 dB PSNR=27, 83 dB ◮ R´ eduction du ph´ enom` ene rebonds pr` es des contours ◮ L´ eger flou dans les zones textur´ ees (impact dans les hauts d´ ebits) Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 16
44. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Sommaire Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 17
45. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Tirer partie des corr´ elations dans une vid´ eo ◮ Diff´ erentes fa¸ cons de prendre en compte le mouvement dans une vid´ eo ◮ Sch´ ema pr´ edictif (d´ ecomposition I,P,B) ◮ MCTF avec bancs de filtres ou lifting directionnel ◮ Analyse-synth` ese 2D-3D. . . Codage pr´ edictif It -1 T-1 Inter/Intra Intra Inter D´ elai P T Q Q ◮ Diff´ erentes fa¸ cons de tirer partie de la g´ eom´ etrie dans une image fixe Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 18
46. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Tirer partie des corr´ elations dans une vid´ eo ◮ Diff´ erentes fa¸ cons de prendre en compte le mouvement dans une vid´ eo ◮ Sch´ ema pr´ edictif (d´ ecomposition I,P,B) ◮ MCTF avec bancs de filtres ou lifting directionnel ◮ Analyse-synth` ese 2D-3D. . . Lifting directionnel [Xiong et al, 2007] 00 00 11 11 00 00 11 11 I0 ING −1 multiplement connect´ e terminal non connect´ e w ◮ Diff´ erentes fa¸ cons de tirer partie de la g´ eom´ etrie dans une image fixe Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 18
47. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Tirer partie des corr´ elations dans une vid´ eo ◮ Diff´ erentes fa¸ cons de prendre en compte le mouvement dans une vid´ eo ◮ Sch´ ema pr´ edictif (d´ ecomposition I,P,B) ◮ MCTF avec bancs de filtres ou lifting directionnel ◮ Analyse-synth` ese 2D-3D. . . Analyse-Synth` ese 3D [Galpin, 2002] ◮ Diff´ erentes fa¸ cons de tirer partie de la g´ eom´ etrie dans une image fixe Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 18
48. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Tirer partie des corr´ elations dans une vid´ eo ◮ Diff´ erentes fa¸ cons de prendre en compte le mouvement dans une vid´ eo ◮ Sch´ ema pr´ edictif (d´ ecomposition I,P,B) ◮ MCTF avec bancs de filtres ou lifting directionnel ◮ Analyse-synth` ese 2D-3D. . . Analyse-Synth` ese 3D [Galpin, 2002] ◮ Diff´ erentes fa¸ cons de tirer partie de la g´ eom´ etrie dans une image fixe ◮ Mais peu de codeurs prennent en compte les deux types de corr´ elation Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 18
49. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Tirer partie des corr´ elations dans une vid´ eo ◮ Diff´ erentes fa¸ cons de prendre en compte le mouvement dans une vid´ eo ◮ Sch´ ema pr´ edictif (d´ ecomposition I,P,B) ◮ MCTF avec bancs de filtres ou lifting directionnel ◮ Analyse-synth` ese 2D-3D. . . Analyse-Synth` ese 3D [Galpin, 2002] ◮ Diff´ erentes fa¸ cons de tirer partie de la g´ eom´ etrie dans une image fixe ◮ Mais peu de codeurs prennent en compte les deux types de corr´ elation ◮ Difficult´ es pour un GOF de taille NG : ◮ Encoder NG − 1 mod` eles de mouvement et NG mod` eles de g´ eom´ etrie est tr` es coˆ uteux ◮ Travaux sur H.264/MPEG-4 AVC de Robert et al [Robert, 2008]. R´ e-ordonnancement adaptatif des coefficients dans des blocs intra-inter avant transform´ ee DCT. Gain num´ erique d’environ 1%. ⇒ Il faut explorer de nouvelles directions Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 18
50. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Tirer partie des corr´ elations dans une vid´ eo ◮ Diff´ erentes fa¸ cons de prendre en compte le mouvement dans une vid´ eo ◮ Sch´ ema pr´ edictif (d´ ecomposition I,P,B) ◮ MCTF avec bancs de filtres ou lifting directionnel ◮ Analyse-synth` ese 2D-3D. . . Analyse-Synth` ese 3D [Galpin, 2002] ◮ Diff´ erentes fa¸ cons de tirer partie de la g´ eom´ etrie dans une image fixe ◮ Mais peu de codeurs prennent en compte les deux types de corr´ elation ◮ Difficult´ es pour un GOF de taille NG : ◮ Encoder NG − 1 mod` eles de mouvement et NG mod` eles de g´ eom´ etrie est tr` es coˆ uteux ◮ Travaux sur H.264/MPEG-4 AVC de Robert et al [Robert, 2008]. R´ e-ordonnancement adaptatif des coefficients dans des blocs intra-inter avant transform´ ee DCT. Gain num´ erique d’environ 1%. ⇒ Il faut explorer de nouvelles directions ◮ Notre solution : Analyse-Synth` ese spatio-temporelles ◮ Point de d´ epart : A-S temporelles de Cammas et Pateux [Cammas, 2004] ◮ Seulement une g´ eom´ etrie est encod´ ee par GOF Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 18
51. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Sch´ ema par Analyse-Synth` ese temporelles [Cammas, 2004] ◮ Analyse : chaque image d’un GOF est projet´ ee sur un mˆ eme instant de projection apr` es estimation et compensation en mouvement. Vidéo reconstruite Séquence vidéo Texture Mouvement ANALYSE SYNTHESE Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 19
52. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Sch´ ema par Analyse-Synth` ese temporelles [Cammas, 2004] ◮ Analyse : chaque image d’un GOF est projet´ ee sur un mˆ eme instant de projection apr` es estimation et compensation en mouvement. tp Estimation Compensation mouvement Trajectoire de mouvement quelconque align´ ee Trajectoire Groupe d’images d’origine Groupe d’images d´ eform´ ees « sans » mouvement Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 19
53. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Sch´ ema par Analyse-Synth` ese temporelles [Cammas, 2004] ◮ Analyse : chaque image d’un GOF est projet´ ee sur un mˆ eme instant de projection apr` es estimation et compensation en mouvement. ◮ Codec : le GOF compens´ e subit une d´ ecomposition en ondelettes t+2D (aucune compensation n’est n´ ecessaire). Le mouvement est encod´ e et transmis ind´ ependamment. Vidéo reconstruite Séquence vidéo Texture Mouvement ANALYSE SYNTHESE Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 19
54. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Sch´ ema par Analyse-Synth` ese temporelles [Cammas, 2004] ◮ Analyse : chaque image d’un GOF est projet´ ee sur un mˆ eme instant de projection apr` es estimation et compensation en mouvement. ◮ Codec : le GOF compens´ e subit une d´ ecomposition en ondelettes t+2D (aucune compensation n’est n´ ecessaire). Le mouvement est encod´ e et transmis ind´ ependamment. ◮ Synth` ese : images reconstruites en inversant les d´ eformations. Vidéo reconstruite Séquence vidéo Texture Mouvement ANALYSE SYNTHESE Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 19
55. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Sch´ ema par Analyse-Synth` ese temporelles [Cammas, 2004] ◮ Analyse : chaque image d’un GOF est projet´ ee sur un mˆ eme instant de projection apr` es estimation et compensation en mouvement. ◮ Codec : le GOF compens´ e subit une d´ ecomposition en ondelettes t+2D (aucune compensation n’est n´ ecessaire). Le mouvement est encod´ e et transmis ind´ ependamment. ◮ Synth` ese : images reconstruites en inversant les d´ eformations. ◮ Probl` eme : apr` es compensation en mouvement, les images d´ eform´ ees ont toujours des caract´ eristiques g´ eom´ etriques non adapt´ ees ` a une d´ ecomposition 2D horizontale-verticale Vidéo reconstruite Séquence vidéo Texture Mouvement ANALYSE SYNTHESE Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 19
56. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Sch´ ema par Analyse-Synth` ese temporelles [Cammas, 2004] ◮ Analyse : chaque image d’un GOF est projet´ ee sur un mˆ eme instant de projection apr` es estimation et compensation en mouvement. ◮ Codec : le GOF compens´ e subit une d´ ecomposition en ondelettes t+2D (aucune compensation n’est n´ ecessaire). Le mouvement est encod´ e et transmis ind´ ependamment. ◮ Synth` ese : images reconstruites en inversant les d´ eformations. ◮ Probl` eme : apr` es compensation en mouvement, les images d´ eform´ ees ont toujours des caract´ eristiques g´ eom´ etriques non adapt´ ees ` a une d´ ecomposition 2D horizontale-verticale ◮ Atout : toutes les images compens´ ees ont une g´ eom´ etrie similaire Vidéo reconstruite Séquence vidéo Texture Mouvement ANALYSE SYNTHESE Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 19
57. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Analyse-Synth` ese spatio-temporelles : sch´ ema de principe ◮ Analyse : d´ eformer chaque image dans le domaine spatial pour adapter les trajectoires de mouvement et les contours ` a une d´ ecomposition t+2D fixe temporelle-horizontale-verticale. N A L Y S E S Y N T H E S E Décodeur t+2D Codeur t+2D Non Adaptatif A Non Adaptatif Images compensées en géométrie et mouvement Reconstruction spatio−temporelle Paramètres de déformation: Adaptation spatio−temporelle ˆ Tmg t t ˆ It t ˆ wg, { ˆ wm t } t=tp {It } t - 1 G´ eom´ etrie wg, {wm t } t=tp {Tmg t } t - NG − 1 Mouvements Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 20
58. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Analyse-Synth` ese spatio-temporelles : sch´ ema de principe ◮ Analyse : d´ eformer chaque image dans le domaine spatial pour adapter les trajectoires de mouvement et les contours ` a une d´ ecomposition t+2D fixe temporelle-horizontale-verticale. N A L Y S E S Y N T H E S E A Adaptation spatio−temporelle Codeur t+2D Non Adaptatif Décodeur t+2D Non Adaptatif Images compensées en géométrie et mouvement Reconstruction spatio−temporelle Paramètres de déformation: ˆ wg, { ˆ wm t } t=tp ˆ It t - 1 G´ eom´ etrie - NG − 1 Mouvements {Tmg t } t {It } t wg, {wm t } t=tp ˆ Tmg t t Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 20
59. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Analyse-Synth` ese spatio-temporelles : sch´ ema de principe ◮ Analyse : d´ eformer chaque image dans le domaine spatial pour adapter les trajectoires de mouvement et les contours ` a une d´ ecomposition t+2D fixe temporelle-horizontale-verticale. ◮ Codec : codage ondelettes t+2D sans compensation en mouvement ni en g´ eom´ etrie. Le mouvement et la g´ eom´ etrie sont encod´ es et transmis ind´ ependamment. N A L Y S E S Y N T H E S E A Adaptation spatio−temporelle Codeur t+2D Non Adaptatif Décodeur t+2D Non Adaptatif Images compensées en géométrie et mouvement Reconstruction spatio−temporelle Paramètres de déformation: ˆ wg, { ˆ wm t } t=tp ˆ It t - 1 G´ eom´ etrie - NG − 1 Mouvements {Tmg t } t {It } t wg, {wm t } t=tp ˆ Tmg t t Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 20
60. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Analyse-Synth` ese spatio-temporelles : sch´ ema de principe ◮ Analyse : d´ eformer chaque image dans le domaine spatial pour adapter les trajectoires de mouvement et les contours ` a une d´ ecomposition t+2D fixe temporelle-horizontale-verticale. ◮ Codec : codage ondelettes t+2D sans compensation en mouvement ni en g´ eom´ etrie. Le mouvement et la g´ eom´ etrie sont encod´ es et transmis ind´ ependamment. ◮ Synth` ese : images d’origine reconstruites en inversant les d´ eformations. N A L Y S E S Y N T H E S E Adaptation spatio−temporelle Codeur t+2D Non Adaptatif Décodeur t+2D Non Adaptatif Images compensées en géométrie et mouvement Reconstruction spatio−temporelle Paramètres de déformation: A - 1 G´ eom´ etrie - NG − 1 Mouvements ˆ It t ˆ Tmg t t {Tmg t } t {It } t wg, {wm t } t=tp ˆ wg, { ˆ wm t } t=tp Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 20
61. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Analyse spatio-temporelle ◮ Premi` ere ´ etape : Alignement temporel [Cammas, 2004] ◮ Seconde ´ etape : « Alignement » g´ eom´ etrique ◮ Calcule l’image moyenne IBF (basse fr´ equence temporelle) du GOF compens´ e ◮ Analyse spatiale de IBF pour estimer une g´ eom´ etrie ◮ Troisi` eme ´ etape : applique la d´ eformation spatiale ` a chaque image compens´ ee en mouvement pour g´ en´ erer le groupe de textures ` a encoder. tp Estimation Compensation mouvement Trajectoire de mouvement quelconque align´ ee Trajectoire Groupe d’images d’origine Groupe d’images d´ eform´ ees « sans » mouvement Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 21
62. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Analyse spatio-temporelle ◮ Premi` ere ´ etape : Alignement temporel [Cammas, 2004] ◮ Seconde ´ etape : « Alignement » g´ eom´ etrique ◮ Calcule l’image moyenne IBF (basse fr´ equence temporelle) du GOF compens´ e ◮ Analyse spatiale de IBF pour estimer une g´ eom´ etrie ◮ Troisi` eme ´ etape : applique la d´ eformation spatiale ` a chaque image compens´ ee en mouvement pour g´ en´ erer le groupe de textures ` a encoder. GOP 2 GOP 1 GOP 0 Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 21
63. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Analyse spatio-temporelle ◮ Premi` ere ´ etape : Alignement temporel [Cammas, 2004] ◮ Seconde ´ etape : « Alignement » g´ eom´ etrique ◮ Calcule l’image moyenne IBF (basse fr´ equence temporelle) du GOF compens´ e ◮ Analyse spatiale de IBF pour estimer une g´ eom´ etrie ◮ Troisi` eme ´ etape : applique la d´ eformation spatiale ` a chaque image compens´ ee en mouvement pour g´ en´ erer le groupe de textures ` a encoder. GOP 1 GOP 2 GOP 0 Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 21
64. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Analyse spatio-temporelle ◮ Premi` ere ´ etape : Alignement temporel [Cammas, 2004] ◮ Seconde ´ etape : « Alignement » g´ eom´ etrique ◮ Calcule l’image moyenne IBF (basse fr´ equence temporelle) du GOF compens´ e ◮ Analyse spatiale de IBF pour estimer une g´ eom´ etrie ◮ Troisi` eme ´ etape : applique la d´ eformation spatiale ` a chaque image compens´ ee en mouvement pour g´ en´ erer le groupe de textures ` a encoder. wg BF wm t7 Texture Tt7 Image d’origine It7 Image compensee en mouvement Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 21
65. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions R´ esultats num´ eriques de compression ◮ Trois courbes : AS t, AS2D+t, H.264/MPEG-4 SVC ◮ Coˆ ut des param` etres de compensation (kb/s) ◮ ! Le coˆ ut du mouvement est plus ´ elev´ e pour les sch´ emas par analyse-synth` ese. ◮ La g´ eom´ etrie occupe une part importante de la bande passante. ◮ Ce coˆ ut suppl´ ementaire n’est pas compens´ e par l’adaptation spatiale des images. 26 28 30 32 34 36 38 0 100 200 300 400 500 600 700 800 900 1000 1100 PSNR moyen (dB) D´ ebit (kb/s) Foreman CIF 30Hz SVC AS t AS2D+t 28 30 32 34 36 38 40 42 44 46 0 200 400 600 800 1000 1200 PSNR moyen (dB) D´ ebit (kb/s) Akiyo CIF 30Hz SVC AS t AS2D+t Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 22
66. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions R´ esultats visuels de compression (150 kb/s) Original SVC (JSVM 8.9), PSNR = 39, 95 dB AS t , PSNR = 35, 50 dB AS2D+t , PSNR = 34, 67 dB Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 23
67. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Sommaire Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 24
68. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Contributions : compression d’images fixes ◮ Sch´ ema par Analyse-Synth` ese Spatiales ◮ D´ eforme le contenu d’une image pour l’adapter ` a une d´ ecomposition standard en ondelettes ◮ Crit` ere d’adaptation : coˆ ut de description de l’image d´ eform´ ee ◮ Minimisation similaire ` a une estimation de mouvement entre deux images Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 25
69. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Contributions : compression d’images fixes ◮ Sch´ ema par Analyse-Synth` ese Spatiales ◮ D´ eforme le contenu d’une image pour l’adapter ` a une d´ ecomposition standard en ondelettes ◮ Crit` ere d’adaptation : coˆ ut de description de l’image d´ eform´ ee ◮ Minimisation similaire ` a une estimation de mouvement entre deux images ◮ R´ esultats ◮ R´ eduction de l’effet rebonds pr` es des contours ◮ Flou dans les zones textur´ ees gˆ enant dans les hauts d´ ebits Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 25
70. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Contributions : compression d’images fixes ◮ Sch´ ema par Analyse-Synth` ese Spatiales ◮ D´ eforme le contenu d’une image pour l’adapter ` a une d´ ecomposition standard en ondelettes ◮ Crit` ere d’adaptation : coˆ ut de description de l’image d´ eform´ ee ◮ Minimisation similaire ` a une estimation de mouvement entre deux images ◮ R´ esultats ◮ R´ eduction de l’effet rebonds pr` es des contours ◮ Flou dans les zones textur´ ees gˆ enant dans les hauts d´ ebits ◮ Am´ eliorations : r´ eduction des pertes dans les zones textur´ ees ◮ Quantification adaptative de la texture ◮ Encodage d’une image d’erreur ◮ Accroˆ ıtre la r´ esolution de T Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 25
71. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Contributions : compression d’images fixes ◮ Sch´ ema par Analyse-Synth` ese Spatiales ◮ D´ eforme le contenu d’une image pour l’adapter ` a une d´ ecomposition standard en ondelettes ◮ Crit` ere d’adaptation : coˆ ut de description de l’image d´ eform´ ee ◮ Minimisation similaire ` a une estimation de mouvement entre deux images ◮ R´ esultats ◮ R´ eduction de l’effet rebonds pr` es des contours ◮ Flou dans les zones textur´ ees gˆ enant dans les hauts d´ ebits ◮ Am´ eliorations : r´ eduction des pertes dans les zones textur´ ees ◮ Quantification adaptative de la texture ◮ Encodage d’une image d’erreur ◮ Accroˆ ıtre la r´ esolution de T ◮ Am´ eliorations : augmenter le nombre de noeuds tout en limitant le coˆ ut maillage ◮ Deux post-traitements pour annuler les d´ eformations dans les zones textur´ ees ◮ Construction d’un maillage quadtree Rg = 0, 103 bpp, DI⋆ = 33, 06 dB Rg = 0, 071 bpp, DI⋆ = 38, 28 dB Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 25
72. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Contributions : compression d’images fixes ◮ Sch´ ema par Analyse-Synth` ese Spatiales ◮ D´ eforme le contenu d’une image pour l’adapter ` a une d´ ecomposition standard en ondelettes ◮ Crit` ere d’adaptation : coˆ ut de description de l’image d´ eform´ ee ◮ Minimisation similaire ` a une estimation de mouvement entre deux images ◮ R´ esultats ◮ R´ eduction de l’effet rebonds pr` es des contours ◮ Flou dans les zones textur´ ees gˆ enant dans les hauts d´ ebits ◮ Am´ eliorations : r´ eduction des pertes dans les zones textur´ ees ◮ Quantification adaptative de la texture ◮ Encodage d’une image d’erreur ◮ Accroˆ ıtre la r´ esolution de T ◮ Am´ eliorations : augmenter le nombre de noeuds tout en limitant le coˆ ut maillage ◮ Deux post-traitements pour annuler les d´ eformations dans les zones textur´ ees ◮ Construction d’un maillage quadtree PSNR = 28, 63 dB, SSIM = 0, 842 PSNR = 28, 15 dB, SSIM = 0, 817 Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 25
73. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Contributions : compression de vid´ eos ◮ Sch´ ema par Analyse-Synth` ese spatio-temporelles ◮ D´ eformer le contenu des images pour l’adapter ` a une d´ ecomposition ondelettes t + 2D ◮ Analyse temporelle [Cammas, 2004] adapte les images ` a un filtrage temporel fixe ◮ Analyse spatiale sur la basse fr´ equence temporelle uniquement ◮ Combinaison des d´ eformations CGI ` a t0 BM ` a t7 BM ` a t7 Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 26
74. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Contributions : compression de vid´ eos ◮ Sch´ ema par Analyse-Synth` ese spatio-temporelles ◮ D´ eformer le contenu des images pour l’adapter ` a une d´ ecomposition ondelettes t + 2D ◮ Analyse temporelle [Cammas, 2004] adapte les images ` a un filtrage temporel fixe ◮ Analyse spatiale sur la basse fr´ equence temporelle uniquement ◮ Combinaison des d´ eformations ◮ R´ esultats ◮ Meilleure reconstruction des contours ◮ G´ eom´ etrie coˆ ute encore trop cher ` a coder ⇒ Artefacts visibles ` a l’oeil (flou, ´ etirement de textures) CGI ` a t0 BM ` a t7 BM ` a t7 Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 26
75. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Contributions : compression de vid´ eos ◮ Sch´ ema par Analyse-Synth` ese spatio-temporelles ◮ D´ eformer le contenu des images pour l’adapter ` a une d´ ecomposition ondelettes t + 2D ◮ Analyse temporelle [Cammas, 2004] adapte les images ` a un filtrage temporel fixe ◮ Analyse spatiale sur la basse fr´ equence temporelle uniquement ◮ Combinaison des d´ eformations ◮ R´ esultats ◮ Meilleure reconstruction des contours ◮ G´ eom´ etrie coˆ ute encore trop cher ` a coder ⇒ Artefacts visibles ` a l’oeil (flou, ´ etirement de textures) ◮ Am´ elioration de l’alignement temporel ◮ Suivi temporel avec mod` eles de mouvement discontinus (BM, OBMC, SCGI) ◮ Meilleur alignement temporel mais. . . ◮ Pas d’am´ elioration significative de la qualit´ e des zones reconstruites apr` es d´ ecodage CGI ` a t0 BM ` a t7 SCGI ` a t7 Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 26
76. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Contributions : compression de vid´ eos ◮ Sch´ ema par Analyse-Synth` ese spatio-temporelles ◮ D´ eformer le contenu des images pour l’adapter ` a une d´ ecomposition ondelettes t + 2D ◮ Analyse temporelle [Cammas, 2004] adapte les images ` a un filtrage temporel fixe ◮ Analyse spatiale sur la basse fr´ equence temporelle uniquement ◮ Combinaison des d´ eformations ◮ R´ esultats ◮ Meilleure reconstruction des contours ◮ G´ eom´ etrie coˆ ute encore trop cher ` a coder ⇒ Artefacts visibles ` a l’oeil (flou, ´ etirement de textures) ◮ Am´ elioration de l’alignement temporel ◮ Suivi temporel avec mod` eles de mouvement discontinus (BM, OBMC, SCGI) ◮ Meilleur alignement temporel mais. . . ◮ Pas d’am´ elioration significative de la qualit´ e des zones reconstruites apr` es d´ ecodage CGI ` a t7 BM ` a t7 SCGI ` a t7 Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 26
77. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Perspectives ◮ Am´ eliorer le sch´ ema par Analyse-Synth` ese spatiales ◮ Am´ eliorer l’encodage de la g´ eom´ etrie ◮ Utiliser les informations port´ ees par le maillage pour mettre en place une d´ ecomposition r´ eversible de type lifting ◮ D´ econnecter les mailles pour am´ eliorer l’adaptativit´ e Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 27
78. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Perspectives ◮ Am´ eliorer le sch´ ema par Analyse-Synth` ese spatiales ◮ Am´ eliorer l’encodage de la g´ eom´ etrie ◮ Utiliser les informations port´ ees par le maillage pour mettre en place une d´ ecomposition r´ eversible de type lifting ◮ D´ econnecter les mailles pour am´ eliorer l’adaptativit´ e ◮ Am´ eliorer le sch´ ema par Analyse-Synth` ese spatio-temporelles ◮ Am´ eliorer l’encodage du mouvement ◮ Mettre en place structure en Quadtree comme dans le cas 2D ◮ Utiliser un autre mod` ele de g´ eom´ etrie (Bandelettes, d´ eformation de blocs) Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 27
79. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Perspectives ◮ Am´ eliorer le sch´ ema par Analyse-Synth` ese spatiales ◮ Am´ eliorer l’encodage de la g´ eom´ etrie ◮ Utiliser les informations port´ ees par le maillage pour mettre en place une d´ ecomposition r´ eversible de type lifting ◮ D´ econnecter les mailles pour am´ eliorer l’adaptativit´ e ◮ Am´ eliorer le sch´ ema par Analyse-Synth` ese spatio-temporelles ◮ Am´ eliorer l’encodage du mouvement ◮ Mettre en place structure en Quadtree comme dans le cas 2D ◮ Utiliser un autre mod` ele de g´ eom´ etrie (Bandelettes, d´ eformation de blocs) ◮ Nouvelle repr´ esentation d’une vid´ eo en marge des techniques pr´ ec´ edentes ◮ L’ondelette n’est pas le noyau optimal pour tous les contenus ◮ Le maillage ne permet pas de mod´ eliser les discontinuit´ es de mouvement ⇒ Partir d’une structure ´ el´ ementaire plus souple : le tube de mouvement ⇒ Travaux de th` ese de Mathieu Urvoy. . . Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 27
80. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Publications scientifiques Conf´ erences internationales B. Le Guen, S. Pateux, and J. Weiss. Non-Geometric Energy Formulation for Adaptive Image Compression. Dans IEEE International Conference on Image Processing, San Antonio, TX, Octobre 2007. B. Le Guen, S. Pateux, and J. Weiss. Spatial Anaysis-Synthesis for Improvement of Wavelet Coders. Dans European Signal Processing Conference, Poznan, Poland, Septembre 2007. B. Le Guen, S. Pateux, and J. Weiss. Motion-geometry compensation for analysis-synthesis video coding. Dans IEEE Workshop on Multimedia Signal Processing, pages 300–303, Chania, Crete, Greece, Octobre 2007. Conf´ erences nationales B. Le Guen, S. Pateux, and J. Weiss. Mod` ele ´ energ´ etique pour la repr´ esentation d’images par ondelettes d´ eform´ ees. Dans Actes de la conf´ erence CORESA, Caen, France, Novembre 2006. B. Le Guen, S. Pateux, and J. Weiss. Compensation spatio-temporelle Globale pour le Codage Vid´ eo par Ondelettes 3D. Dans Actes de la conf´ erence CORESA, Montpellier, France, Novembre 2007. Brevets B. Le Guen and S. Pateux. Dispositif et proc´ ed´ e de codage et de d´ ecodage d’au moins une image. Brevet FR-06 51 815. S. Pateux, B. Le Guen, N. Cammas, I. Amonou, and S. Kervadec. Proc´ ed´ es et dispositifs de codage et de d´ ecodage d’une s´ equence d’images repr´ esent´ ee ` a l’aide de tubes de mouvement. Brevet FR-756 007. Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 28
81. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Bibliographie I S. Mallat. A theory of multiresolution signal decomposition : the wavelet representation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 11 :674–693, Juillet 1989. M. Antonini, M. Barlaud, P. Mathieu, and I. Daubechies. Image coding using wavelet transform. IEEE Transactions on Image Processing, 1(2) :205–220, Avril 1992. E. Skodras, C. Christopoulos, and T. Ebrahimi. The JPEG 2000 still image compression standard. IEEE Signal Processing Magazine, 18 :36–58, Septembre 2001. D. Marr. Vision : A Computational Investigation into the Human Representation and Processing of Visual Information. W.H. Freeman, San Francisco, 1982. M. Wertheimer. Principles of perceptual organisation. W. H. Ellis, London, 1938. N. Cammas. Codage vid´ eo scalable par maillages et ondelettes t+2D. Th` ese de doctorat, Universit´ e de Rennes 1, 2004. E. J. Cand` es. Ridgelets : theory and applications. Th` ese de Doctorat, Department of Statistics, Stanford University, 1998. Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 29
82. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Bibliographie II E. J. Cand` es and D. L. Donoho. Curvelets - A Surprisingly Effective Nonadaptive Representation for Objects with Edges. Vanderbilt University Press, Nashville, TN, 1999. E. Le Pennec. Bandelettes et repr´ esentation g´ eom´ etrique des images. Th` ese de Doctorat, Ecole Polytechnique, D´ ecembre 2002. M. N. Do. Directional Multiresolution Image Representation. Th` ese de Doctorat, Department of Communication Systems, Swiss Federal Institute of Technology Lausanne, Novembre 2001. D. Taubman and A. Zakhor. Orientation adaptive subband coding of images. IEEE Transactions on Image Processing, 3 :421–436, Juillet 1994. G. Jeannic, V. Ricordel, and D. Barba. Repr´ esentation structurelle d’images fixes par transform´ ee en ondelettes orient´ ees. Dans Actes du Colloque GRETSI sur le Traitement du Signal et des Images, Troyes, France, Septembre 2007. V. Velisavljevic. Directionlets : anisotropic multi-directional representation with separable filtering. Th` ese de Doctorat, LCAV, School of Computer and Communication Sciences, EPFL, Lausanne, Switzerland, Octobre 2005. E. Le Pennec and S. Mallat. Sparse Geometric Image Representations with Bandelets. IEEE Transactions on Image Processing, 14(4) :423–438, Avril 2005. Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 30
83. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Bibliographie III G. Peyr´ e. G´ eom´ etrie multi-´ echelles pour les images et les textures. Th` ese de Doctorat, Ecole Polytechnique, D´ ecembre 2005. W. Ding, F. Wu, X. Wu, S. Li, and H. Li. Adaptive Directional Lifting-Based Wavelet Transform for Image Coding. IEEE Transactions on Image Processing, 16(2) :416–427, F´ evrier 2007. L. Demaret, N. Dyn, and A. Iske. Image compression by linear splines over adaptive triangulations. Signal Processing, 86(7) :1604–1616, Juillet 2006. R. Xiong, J. Xu, F. Wu, and S. Li. Barbell-lifting-based 3D wavelet coding scheme. IEEE Transaction on Circuits and Systems for Video Technology, 2007. F. Galpin. Repr´ esentation 3D de s´ equences vid´ eo : Sch´ ema d’extraction automatique d’un flux de mod` eles 3D, applications ` a la compression et ` a la r´ ealit´ e virtuelle. Th` ese de Doctorat, Universit´ e de Rennes 1, Janvier 2002. A. Robert. Sch´ ema de codage vid´ eo hybride. Th` ese de Doctorat, Ecole nationale sup´ erieure des t´ el´ ecommunications, F´ evrier 2008. Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 31
84. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Un d´ ecodage ` a 0 , 7 bpp AS2D JPEG2000 AS2D+Quadtree PSNR=34, 76 dB, SSIM = 0, 939 PSNR=35, 74 dB, SSIM = 0, 941 PSNR=35, 24 dB, SSIM = 0, 938 Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 32
85. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Quantification adaptative de la texture ◮ On a Q⋆ = arg min Q (u,v) (T(u, v) − ˆ T(u, v))2 ∀(u, v) ∈ ˜ D (1) ◮ Or, a priori, on souhaiterait avoir : Q⋆ = arg min Q (x,y) (I(x, y) − ˆ I(x, y))2 ∀(x, y) ∈ D (2) ⇒ Q⋆ = arg min Q ˜ D (T(u, v)) − ˆ T(u, v))2Jw (u, v)dudv 26 28 30 32 34 36 38 0.2 0.4 0.6 0.8 1 1.2 PSNR (dB) D´ ebit (bpp) Influence de la quantification adaptative de la texture Sans quantification adaptative Avec quantification adaptative Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 33
86. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions D´ ecodage du maillage avec perte np = 0, PSNR = 27, 42 dB np = 2, PSNR = 25, 15 dB np = 3, PSNR = 24, 57 dB Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 34
87. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Am´ elioration de la reconstruction des textures 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1.1 PSNR (dB) D´ ebit (bpp) 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1.1 PSNR (dB) D´ ebit (bpp) Lena AS2D Lena AS2D+residu Lena JPEG2000 Cameraman AS2D Cameraman AS2D+residu Cameraman JPEG2000 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1.1 PSNR (dB) D´ ebit (bpp) 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1.1 PSNR (dB) D´ ebit (bpp) Lena rd = 1 rd = 2 rd = 3 JPEG2000 Cameraman rd = 1 rd = 2 rd = 3 JPEG2000 Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 35
88. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Annulation des d´ eformations : cas des zones textur´ ees Avant post-traitement Apr` es post-traitement Tssim = 1, Rg = 0, 103 bpp Tssim = 0, 95, Rg = 0, 101 bpp SSIM = 0, 95 (PSNR=33, 06 dB) SSIM = 0, 98 (PSNR=37, 43 dB) Fig.: Post-traitement pour r´ eduire le coˆ ut du maillage et am´ eliorer la qualit´ e des textures dans les hauts-d´ ebits. En haut, le maillage. En bas, index SSIM de l’image de qualit´ e optimale qu’il est possible de reconstruire. Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 36
89. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Annulation des d´ eformations : cas des d´ eformations non significatives Cw (u) = Jw (u) si Jw (u) 1 1/Jw (u) si Jw (u) < 1 (3) Tw = 0, Rg = 0, 096 bpp Tw = 1.5, Rg = 0, 092 bpp Fig.: Post-traitement pour annuler les d´ eformations non significatives par rapport au seuil Tw . Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 37
90. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Cr´ eation du Maillage Quadtree niveau 2 arbre de décisions 4 noeuds fils niveau 1 Racine niveau 0 Fusion au niveau 1 Fusions au Tssim = 0, 96 Tw = 1, 75 Rg = 0, 102 bpp, DI⋆ = 38, 75 dB Rg = 0, 071 bpp, DI⋆ = 42 dB Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 38
91. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions R´ esultats de compression num´ eriques 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0.7 0.75 0.8 0.85 0.9 0.95 1 PSNR (dB) SSIM D´ ebit (bpp) Lena 256 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0.7 0.75 0.8 0.85 0.9 0.95 1 PSNR (dB) SSIM D´ ebit (bpp) Lena 256 JPEG2000 (PSNR) AS2D + quadtree (PSNR) AS2D(PSNR) JPEG2000 (SSIM) AS2D + quadtree (SSIM) AS2D (SSIM) 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0.7 0.75 0.8 0.85 0.9 0.95 1 PSNR (dB) SSIM D´ ebit (bpp) Cameraman 256 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0.7 0.75 0.8 0.85 0.9 0.95 1 PSNR (dB) SSIM D´ ebit (bpp) Cameraman 256 JPEG2000 (PSNR) AS2D + quadtree (PSNR) AS2D(PSNR) JPEG2000 (SSIM) AS2D + quadtree (SSIM) AS2D (SSIM) 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0.7 0.75 0.8 0.85 0.9 0.95 1 PSNR (dB) SSIM D´ ebit (bpp) Barbara 256 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0.7 0.75 0.8 0.85 0.9 0.95 1 PSNR (dB) SSIM D´ ebit (bpp) Barbara 256 JPEG2000 (PSNR) AS2D + quadtree (PSNR) AS2D(PSNR) JPEG2K (SSIM) AS2D + quadtree (SSIM) AS2D (SSIM) 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0.7 0.75 0.8 0.85 0.9 0.95 1 PSNR (dB) SSIM D´ ebit (bpp) Peppers 256 24 26 28 30 32 34 36 38 40 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0.7 0.75 0.8 0.85 0.9 0.95 1 PSNR (dB) SSIM D´ ebit (bpp) Peppers 256 JPEG2000 (PSNR) AS2D + quadtree (PSNR) AS2D (PSNR) JPEG2000 (SSIM) AS2D + quadtree (SSIM) AS2D (SSIM) Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 39
92. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions R´ esultats visuels (0 , 4 bpp) AS2D JPEG2000 PSNR = 28, 15 dB, SSIM = 0, 817 PSNR = 28, 63 dB, SSIM = 0, 842 Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 40
93. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Mod` eles de mouvement Instant de projection tp Instant de r´ ef´ erence t ¯ Itc (x) = 4 i=1 ωi · Itr (x + υbi ) Instant de r´ ef´ erence t υb1 υb2 x υb4 υb3 x ¯ Itp (x) = It (x + υbi ) Instant de projection tp Fig.: A gauche, mod` ele de mouvement par blocs non recouvrants (BM). A droite, mod` ele de mouvement par blocs recouvrants (OBMC). Label = 1 - D´ eformation Label = 0 - Translation cassures Instant de projection tp Instant de r´ ef´ erence t Fig.: Maille d´ eformable (CGI) et ajout d’un label (SCGI) pour accepter les cassures de connectivit´ e. Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 41
94. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Qualit´ e de l’alignement (analyse) 21 22 23 24 25 26 27 28 29 30 31 0 5 10 15 20 25 30 35 40 45 PSNR moyen (dB) Indice image Mobile CIF 30Hz BM OBMC SOBMC CGI descente gradient CGI optimisation locale SCGI Fig.: Qualit´ e de l’alignement temporel en fonction des mod` eles de mouvement. Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 42
95. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Qualit´ e de la synth` ese 24 25 26 27 28 29 30 31 32 33 34 0 5 10 15 20 25 30 35 40 45 PSNR moyen (dB) Indice image Mobile CIF 30Hz BM OBMC SOBMC CGI descente gradient CGI optimisation locale SCGI Fig.: Qualit´ e de la synth` ese (sans codage) pour chaque mod` ele. Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 43
96. Introduction Limites des ondelettes Adaptation spatiale des images Adaptation spatio-temporelle des images Conclusions Perspectives : Les tubes de mouvement ◮ Tube de mouvement : portion spatio-temporelle en mouvement 1. Cycle de vie : ti , tf 2. Position, forme initiales, d´ eformations entre ti et tf 3. Texture spatio-temporelle ◮ Vid´ eo comme un ensemble de tubes T ∈ Lr ◮ A un instant t, une image est synth´ etis´ ee en r´ ealisant un rendu ¯ It = T∈Lr T ½ ؾ Ø¿ Ì ÑÔ× ¾ ¿ ½ ½ ¿ ¾ ¿ ؽ ؼ ◮ Cr´ eation des tubes au sein du codeur ◮ Initialisation et suivi d’une liste de r´ ef´ erence Lr ◮ A chaque instant t, estimation de mouvement forward de It avec Lr ◮ D´ ecision et mise ` a jour des tubes participant au rendu ◮ Questions ouvertes ◮ Suivi de mouvement forward ◮ Contrˆ ole de la liste ◮ Gestion des chevauchements ⇒ Travaux de th` ese de Mathieu Urvoy. . . Benjamin Le Guen Orange Labs - Sup´ elec Adaptation du contenu spatio-temporel des images pour un codage par ondelettes 44