Transmisi´ on de secuencias de im´ agenes JPEG 2000 usando actualizaci´ on condicional controlada por el cliente Alumno: Jos´ e Juan S´ anchez Hern´ andez Director: Vicente Gonz´ alez Ruiz 1/26 

´ Indice 1. Introducci´ on. 2. Motivaci´ on. 3. Propuesta. 4. Ejemplos. 5. Conclusiones. 6. Referencias. 2/26 

Introducci´ on • Proyecto Helioviewer ESA/NASA. JHelioviewer y Helioviewer. • SDO/AIA recoge im´ agenes del sol cada 12 segundos, en 10 bandas espectrales ultravioletas diferentes, con una res- oluci´ on de 4096 × 4096 p´ ıxeles. • JPIP y JPEG2000 parecen ser la mejor soluci´ on. Este trabajo se centra en aplicaciones JPIP, como JHelioviewer. 3/26 

Demostraci´ on de JHelioviewer 4/26 

Arquitectura de JHelioviewer Servidor JHelioviewer JPEG 2000 Parser Modelo de cach´ e JPEG 2000 del cliente Manejador de metadatos Interfaz de usuario JHelioviewer Browser Gestor de eventos solares Gestor de capas Renderizador de im´ agenes Cach´ e local Repositorio de im´ agenes Petici´ on WOI data-bins Cat´ alogo de Metadatos Petici´ on Metadatos eventos solares Cat´ alogo de Web Service Petici´ on Datos Servidor de eventos solares 5/26 

El est´ andar JPEG 2000 • Altos ratios de compresi´ on. • Muy robusto ante la presencia de errores. • Permite compresi´ on sin p´ erdidas y con p´ erdidas. • Permite acceder de forma aleatoria al code-stream. • Ofrece escalabilidad por resoluci´ on y calidad. • Permite codificaci´ on de regiones de inter´ es. • Permite al usuario seleccionar el tama˜ no del archivo com- primido. • Dispone de un formato de archivo muy sencillo y flexible. 6/26 

Particiones de los datos en JPEG 2000 • Hacen posible las diferentes formas de escalabilidad (es- pacial, en calidad y por regiones de inter´ es) ya que el code-stream puede recorrerse en diferentes ´ ordenes (pro- gresiones). components canvas image tile precinct tile-component resolutions code-block 7/26 

El protocolo JPIP (JPEG 2000 Interactive Protocol) • Estandariza la forma en que un servidor env´ ıa el code-stream de las im´ agenes a los clientes. • Una arquitectura t´ ıpica: WOI data-bins WOI data-bins Cliente status Cache imagen Browser Cliente JPIP Petici´ on WOI Descompresor cache del cliente Modelo de la Servidor JPIP Im´ agenes JPEG 2000 Servidor 8/26 

Motivaci´ on Las im´ agenes del sol tienen un alto grado de correlaci´ on tem- poral entre im´ agenes consecutivas. Podemos usar actualizaci´ on condicional (CR). • Todas las soluciones actuales necesitan conocer la secuencia previamente y procesarla en el lado del servidor. • Ninguna de las soluciones existentes es compatible con el est´ andar JPIP. • Es complicado utilizar alguna de las soluciones existentes en JHelioviewer. 9/26 

Propuesta I0 I1 I2 I3 IN−1 . . . Tiempo In es la n-´ esima imagen de la secuencia, donde 0 ≤ n < N. Par´ ametros de codificaci´ on para la secuencia de im´ agenes: • P = dimensi´ on de los precincts. • Q = n´ umero de capas de calidad. • R = n´ umero de niveles de descomposici´ on wavelet. 10/26 

Propuesta x/8 y/8 y/4 x/4 x/2 y/2 x y In = I0 n Ir n Las im´ agenes se pueden descomprimir desde el mismo code-stream con diferentes niveles de resoluci´ on espacial. In = I0 n es la imagen con el mayor nivel de resoluci´ on.. Ir n tiene una resoluci´ on de S/2r y 0 ≤ r < R + 1. 11/26 

Esquema de transmisi´ on controlado por el cliente 1. Sea q ← 1 el n´ umero de capas de calidad utilizadas en las reconstrucciones actuales. 2. Sea n ← 1 el ´ ındice de im´ agenes reconstruidas. 3. Obtenemos la siguiente capa de calidad de la imagen In−1 e inicializamos I n−1 con este valor. 4. Obtenemos solamente la siguiente capa de calidad de la imagen n a la menor resoluci´ on espacial IR n (la imagen en miniatura). 5. Calculamos el Error Cuadr´ atico Medio (MSE) entre los precincts de las im´ agenes IR n−1 y IR n , y los almacenamos en una lista L en orden descendente. 12/26 

Esquema de transmisi´ on controlado por el cliente 6. I n ← In (L) ∪ (In−1 ∩ In (L)). Copiamos de la imagen I n−1 a I n aquellos precincts que permanecen “constantes” y ac- tualizamos desde la imagen In aquellos precincts que est´ an en la lista L con una calidad q. 7. n ← n + 1. 8. Si n < N − 1, ir al paso 4. 9. q ← q + 1. 10. Si q ≤ Q, ir al paso 2. 13/26 

Esquema de transmisi´ on controlado por el cliente Obtenemos la siguiente capa de calidad de In−1 . In−1 . Imagen a la mayor resoluci´ on IR n−1 . Imagen a la menor resoluci´ on 14/26 

Esquema de transmisi´ on controlado por el cliente Obtenemos la siguiente capa de calidad de IR n . IR n−1 IR n Precincts IR n−1 Precincts IR n Precincts que permanecen constatnes Precincts que han cambiado 15/26 

Esquema de transmisi´ on controlado por el cliente In In−1 I′ n Precincts que permanecen constantes Imagen reconstruida con CR Precincts que han cambiado 16/26 

Ejemplo 1. Secuencia SDO/AIA Without CR With CR Formada por 140 im´ agenes (512 × 512). Par´ ametros de codificaci´ on: P = 32, Q = 8 y R = 7. Bit-rate: 580 Kilo (103) bits/segundo. Refreshing-rate: 25 frames/segundo. Video. Precincts vs sin CR Video. con CR vs sin CR 17/26 

Evaluaci´ on With CR Without CR 29.5 30 30.5 31 31.5 32 0 20 40 60 80 100 120 140 PSNR [dB] Frames 18/26 

Ejemplo 2. Secuencia SDO/AIA Without CR With CR Formada por 140 im´ agenes (512 × 512). Par´ ametros de codificaci´ on: P = 32, Q = 8 y R = 7. Bit-rate: 22.4 Mega (106) bits/segundo. Refreshing-rate: 25 frames/segundo. Video. Precincts vs sin CR Video. con CR vs sin CR 19/26 

Evaluaci´ on With CR Without CR 54 56 58 60 62 64 66 68 0 20 40 60 80 100 120 140 PSNR [dB] Frames 20/26 

Ejemplo 3. Secuencia Akiyo Without CR With CR Formada por 300 im´ agenes (352 × 288). Par´ ametros de codificaci´ on: P = 32, Q = 8 y R = 3. Bit-rate: 380 Kilo bits/segundo. Refreshing-rate: 25 frames/segundo. Video. Precincts vs sin CR Video. con CR vs sin CR 21/26 

Evaluaci´ on With CR Without CR 27.5 28 28.5 29 29.5 30 30.5 31 31.5 0 50 100 150 200 250 300 PSNR [dB] Frames 22/26 

Ejemplo 4. Secuencia Akiyo Without CR With CR Formada por 300 im´ agenes (352 × 288). Par´ ametros de codificaci´ on: P = 32, Q = 8 y R = 3. Bit-rate: 11 Mega bits/segundo. Refreshing-rate: 25 frames/segundo. Video. Precincts vs sin CR Video. con CR vs sin CR 23/26 

Evaluaci´ on With CR Without CR 55 60 65 70 75 80 85 90 95 100 0 50 100 150 200 250 300 PSNR [dB] Frames 24/26 

Conclusiones • Este trabajo muestra c´ omo mejorar la visualizaci´ on de im´ agenes JPEG 2000 haciendo uso de la t´ ecnica de CR controlada por el cliente. • El sistema propuesto es completamente compatible con el est´ andar JPIP. • Como trabajo futuro, se podr´ ıan realizar predicciones de compensaci´ on de movimiento en el lado del cliente, con la idea de mejorar las reconstrucciones con un alto grado de movimiento. 25/26 

Referencias • Cheung, N.-M. and Ortega, A., (2007). Flexible Video Decoding: A Distributed Source Coding Approach. In IEEE Workshop on Multimedia Signal Processing, pages 103 - 106. • Devaux, F.-O., Meessen, J., Parisot, C., Delaigle, J.-F., Macq, B. and Vleeschouwer C.D., (2009). Remote Interactive Browsing of Video Surveillance Content Based on JPEG 2000. IEEE Transactionf on Circuits and Systems for Video Technology, 19(8):1143 - 1157. • International Organization for Standardization, (2004). Information Technology - JPEG 2000 Image Coding System - Core Coding System. ISO/IEC 15444-1:2004. • International Organization for Standardization, (2005). Information Technology - JPEG 2000 Image Coding System - Interactivity Tools, APIs and Protocols. ISO/IEC 15444-9:2005. • Garc´ ıa Ortiz J.P., Gonz´ alez Ruiz V., Garc´ ıa I., M¨ uller D. and G. Dimitoglou, (2010). Interactive Browsing of Remote JPEG 2000 Image Sequences. In IEEE International Conference on Pattern Recognition, pages 3179 - 3182, Istambul, Turkey. IEEE press. 26/26