Eficiencia Energética Más Allá Del PUE: Explotando el Conocimiento de la Aplicación y los Recursos

Conferencia invitada de Jose M. Moya en Datacenter Dynamics Converged Madrid 2012.

Las técnicas actuales de optimización energética de datacenters, basadas en métricas de eficiencia como PUE, pPUE, ERE, DCcE, etc., no tienen en cuenta las características estáticas y dinámicas de las
aplicaciones y los recursos (de computación y refrigeración). Sin embargo, el conocimiento del estado actual del datacenter, de la historia pasada, de las caracteriìsticas térmicas de los recursos y de las caracteriìsticas de demanda energética de los trabajos a ejecutar puede ser utilizado de manera muy eficaz para guiar la toma de decisiones a todos los niveles en el datacenter con objeto de minimizar las necesidades energeìticas. Por ejemplo, el reparto de trabajos en las maìquinas disponibles, si se hace teniendo en cuenta las arquitecturas maìs adecuadas para cada trabajo desde el punto de vista energeìtico, y teniendo en cuenta el tipo de trabajos que van a venir con posterioridad, puede reducir las necesidades energeìticas hasta un 30%.

Además, para conseguir una reducción significativa del consumo energético de datacenters ya eficientes (PUE bajo) cada vez es más importante un enfoque global y multi-nivel, esto es, actuando sobre los diferentes niveles de abstraccioìn del datacenter (planificación y asignación de recursos, aplicación, sistema operativo, compiladores y máquinas virtuales, arquitectura y tecnología), y en los distintos ámbitos (chip, servidor, rack, sala y multi-sala).

Transcript

1. “Ingeniamos el futuro”!
   CAMPUS OF
   INTERNATIONAL
   EXCELLENCE
   Eficiencia Energética más allá del PUE:
   Explotando el Conocimiento de la
   Aplicación y los Recursos
   José  M.  Moya    
   Laboratorio  de  Sistemas  Integrados  
   José  M.Moya  |    Madrid  (Spain),  June  12,  2012   1  
   

   View Slide

2. “Ingeniamos el futuro”!
   CAMPUS OF
   INTERNATIONAL
   EXCELLENCE
   Contenido
   •  MoCvación  
   •  Nuestro  enfoque  
   –  Planificación  y  gesCón  
   de  recursos  
   –  OpCmización  de  
   máquinas  virtuales  
   –  GesCón  de  modos  de  
   bajo  consumo  
   –  Diseño  de  procesadores  
   •  Conclusiones  
   José  M.Moya  |    Madrid  (Spain),  June  12,  2012   2  
   

   View Slide

3. “Ingeniamos el futuro”!
   CAMPUS OF
   INTERNATIONAL
   EXCELLENCE
   Motivación
   José  M.Moya  |    Madrid  (Spain),  June  12,  2012   3  
   •  Consumo  energéCco  en  data  centers  
   – 1.3%  de  la  producción  energéCca  mundial  en  2010  
   – USA:  80  mill  MWh/año  en  2011  =  1,5  x  NYC  
   – 1  datacenter  =  25  000  casas  
   •  Más  de  43  Millones  de  Toneladas  de  CO2
    /  año  
   (2%  mundial)  
   •  Más  agua  que  la  industria  del  papel,  automóvil,  
   petróleo,    madera  o  plásCco  
                      Jonathan  Koomey.  2011.  Growth  in  Data  center  electricity  use  2005  to  2010  
   

   View Slide

4. “Ingeniamos el futuro”!
   CAMPUS OF
   INTERNATIONAL
   EXCELLENCE
   Motivación
   José  M.Moya  |    Madrid  (Spain),  June  12,  2012   4  
   •  Se  espera  que  la  electricidad  
   total  uClizada  por  los  data  
   centers  en  2015  exceda  los  
   400  GWh/año.  
   •  El  consumo  de  energía  de  la  
   refrigeración  conCnuará  
   teniendo  una  importancia  
   similar  o  superior  al  consumo  
   de  la  computación  
   •  La  opCmización  energéCca  
   de  los  data  centers  del  futuro  
   requerirá  un  enfoque  global  
   y  mulC-­‐disciplinar.  
   0  
   5000  
   10000  
   15000  
   20000  
   25000  
   30000  
   35000  
   2000   2005   2010  
   World  server  installed  base  
   (thousands)  
   High-­‐end  servers  
   Mid-­‐range  servers  
   Volume  servers  
   0  
   50  
   100  
   150  
   200  
   250  
   300  
   2000   2005   2010  
   Electricity  use    
   (billion  kWh/year)  
   Infrastructure  
   CommunicaCons  
   Storage  
   High-­‐end  servers  
   Mid-­‐range  servers  
   Volume  servers  
   5,75  Millones  de  servidores  nuevos  /  año  
   10%  de  servidores  sin  uClizar  (CO2
    de  6,5  
   millones  de  coches)  
   

   View Slide

5. “Ingeniamos el futuro”!
   CAMPUS OF
   INTERNATIONAL
   EXCELLENCE
   Problemas de fiabilidad
   que dependen de la temperatura
   José  M.Moya  |    Madrid  (Spain),  June  12,  2012   5  
   Time-­‐dependent  
   dielectric-­‐
   breakdown  (TDDB)  
   ElectromigraCon  (EM)  
   Stress  
   migraCon  (SM)  
   Thermal  
   cycling  (TC)  
   ✔  
   ✖  
   ✖  
   ✖  
   

   View Slide

6. “Ingeniamos el futuro”!
   CAMPUS OF
   INTERNATIONAL
   EXCELLENCE
   Refrigeración de
   un data center
   José  M.Moya  |    Madrid  (Spain),  June  12,  2012   6  
   

   View Slide

7. “Ingeniamos el futuro”!
   CAMPUS OF
   INTERNATIONAL
   EXCELLENCE
   •  Virtualización  
    
    
   -­‐  27%  
   •  Servidores  conforme  a  
   Energy  Star  
    
    
   =  6.500  
   •  Mejor  planificación  de  
   capacidad  
    
   2.500  
   Mejoras en servidores
   José  M.Moya  |    Madrid  (Spain),  June  12,  2012   7  
   . . . . . . . . . . . . . . . . . . . . . . . . . . .
   Servidores
   5,75 millones de nuevos servido-
   res se instalan cada año para
   mantenerse al ritmo de creci-
   miento de los servicios on-line, y
   todavía aproximadamente el 10%
   de los servidores instalados no
   se utilizan debido a sobrestima-
   ciones conservadoras a la hora
   de planificar las necesidades de
   almacenamiento.
   La energía utilizada para
   los servidores en desuso
   podría compensar
   las emisiones de 6,5
   millones de coches.
   de los servidores.
   En un centro de datos convencional, algunas de
   estas mejoras pueden reducir su impacto en las
   siguientes cifras:
   (excluyendo el software)
   $ $ $ $
   A menudo los servidores se sobredimensionan
   para afrontar picos de demanda, lo que significa
   que como media suelen funcionar sólo al 20%
   2.500
   6,5 millones
   = 6.500
   El equivalente a retirar 6.500
   coches de las carreteras, me-
   diante la utilización de servidores
   acordes a Energy Star, lo que re-
   duciría el consumo eléctrico de
   los centros de datos en 82.000
   megavatios-hora.
   10% no se utilizan
   US
   27% Reducir un 27% el consumo
   energético mediante la virtuali-
   zación, lo que reduce la capaci-
   dad productiva no empleada.
   El equivalente a la energía consumida por 2.500
   hogares en EEUU, mediante una mejor planifica-
   ción de la capacidad.
   

   View Slide

8. “Ingeniamos el futuro”!
   CAMPUS OF
   INTERNATIONAL
   EXCELLENCE
   Mejoras en refrigeración
   •  Mejoras  en  gesCón  de  flujos  de  aire  y  rangos  
   de  temperatura  ligeramente  más  amplios  
   José  M.Moya  |    Madrid  (Spain),  June  12,  2012   8  
   Reducción  del  consumo  
   hasta  un  25%  
   25.000  
   Recuperación  de  la  inversión    
   en  solo  2  años  
    
   

   View Slide

9. “Ingeniamos el futuro”!
   CAMPUS OF
   INTERNATIONAL
   EXCELLENCE
   CA  è  CC  
   – 20%  reducción  de  pérdidas  de  conversión  
   – 47  millones  de  dólares  de  gastos  
   inmobiliarios  por  data  center  
   – Mayor  eficiencia,  ahorro  de  energía  suficiente  para  
   cargar  un  iPad  durante  
   70  
   millones  de  años  
   Mejoras en infraestructura
   José  M.Moya  |    Madrid  (Spain),  June  12,  2012   9  
   

   View Slide

10. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    
    
    
    
    
    
    
    Mejores prácticas de
    eficiencia energética
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   10  
    

    View Slide

11. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    PUE
    Power Usage Effectiveness
    •  Estado  del  arte:    PUE  ≈  1,2  
    –  La  parte  importante  es  el  consumo  de  computación  
    –  El  trabajo  en  eficiencia  energéCca  en  DC  está  
    centrado  en  la  reducción  del  PUE  
    –  Reducir  PIT    
    no  reduce  el  PUE,  pero  se  nota  en  la  
    factura  de  la  luz  
    •   ¿Cómo  se  puede  reducir  PIT  
    ?  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   11  
    !"# =
    1
    !"#$
    =
    !!"!#$
    !!"
    =
    !!"#$%&!'(
    + !!"#!$%"!&'$()
    + !!"#$
    !!"#$%
    !
    

    View Slide

12. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Ahorro energético según el
    nivel de abstracción
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   12  
    

    View Slide

13. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Nuestro enfoque
    •  Estrategia  global  para  permiCr  la  uClización  de  
    múlCples  fuentes  de  información  y  para  coordinar  las  
    decisiones  con  el  fin  de  reducir  el  consumo  total  
    •  UClización  del  conocimiento  de  las  caracterísCcas  de  
    demanda  energéDca  de  las  aplicaciones  y  las  
    caracterísDcas  de  los  recursos  de  computación  y  
    refrigeración  para  aplicar  técnicas  proacDvas  de  
    opCmización  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   13  
    

    View Slide

14. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Enfoque holístico
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   14  
    Chip   Server   Rack   Room   MulD-­‐
    room  
    Sched  &  alloc   2   1  
    app  
    OS/middleware  
    Compiler/VM   3   3  
    architecture   4   4  
    technology   5  
    

    View Slide

15. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    1. Gestión de recursos
    en la sala
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   15  
    Chip   Server   Rack   Room   MulD-­‐
    room  
    Sched  &  alloc   2   1
    app  
    OS/middleware  
    Compiler/VM   3   3  
    architecture   4   4  
    technology   5  
    

    View Slide

16. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Aprovechando la heterogeneidad
    •  UClización  de  la  heterogeneidad  para  minimizar  el  
    consumo  energéCco  desde  un  punto  de  vista  
    estáCco/dinámico  
    –  EstáDco:  Encontrar  el  mejor  set-­‐up  del  datacenter,  
    dado  un  número  heterogéneo  de  máquinas  
    –  Dinámico:  OpCmización  de  la  asignación  de  tareas  en  
    el  Resource  Manager  
    •  Demostramos  que  la  mejor  solución  se  encuentra  
    en  un  datacenter  heterogéneo  
    –  Muchos  datacenters  son  heterogéneos  (diversas  
    generaciones  de  máquinas)  
    16  
    CCGrid 2012
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012  
    M.  Zapater,  J.M.  Moya,  J.L.  Ayala.  Leveraging  Heterogeneity  for  
    Energy  MinimizaCon  in  Data  Centers,  CCGrid  2012  
    

    View Slide

17. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Escenario actual
    17  
    WORKLOAD  
    Scheduler   Resource    
    Manager  
    ExecuDon  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012  
    

    View Slide

18. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Potencial de mejora
    con mejores prácticas
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   18  
    ot aisle
    0
    200
    400
    600
    800
    1000
    1200
    1400
    0 20 40 60 80 100
    Power (KW)
    job size relative to data center capacity (%)
    Total power (computing and cooling) for various scheduling approaches
    savings by minimizing computing power
    savings by minimizing the recirculation’s effect
    savings by turning off idle machines
    unaddressed heat recirculation cost
    basic (unavoidable) cost
    max computing power, worst thermal placement
    min computing power, worst thermal placemenit
    optimal computing+cooling
    optimal computing+cooling, shut off idles
    optimal computing+cooling, shut off idles, no recirculation
    Fig. 3. Data center operation cost (in kilowatts) for various “savings
    modes”. Savings are based on heat recirculation data obtained by
    

    View Slide

19. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Planificación y asignación de recursos
    consciente de la refrigeración
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   19  
    0
    50
    100
    150
    200
    FCFS-FF FCFS-LRH EDF-LRH FCFS-Xint SCINT
    energy consumed (GJ)
    Energy consumption, Scenario (a) 40 jobs, 25014 core-hours, idle servers on
    Throughput
    Turnaround time
    Alg. runtime
    Energy savings
    0.197 jobs/hr 0.197 jobs/hr 0.172 jobs/hr 0.197 jobs/hr 0.163 jobs/hr
    18.41 hr 18.41 hr 20.75 hr 18.41 hr 51.75 hr
    3.4 ms 6.9 ms 213 ms 23 min 40 min
    0% 6.2% 8.6% 8.7% 10.2%
    cooling energy
    computing energy
    (a)
    0
    5
    10
    15
    20
    25
    30
    35
    40
    FCFS-FF FCFS-LRH EDF-LRH FCFS-Xint SCINT
    energy consumed (GJ)
    Energy consumption, Scenario (a) 40 jobs, 25014 core-hours, idle servers off
    Throughput
    Turnaround time
    Alg. runtime
    Energy savings
    0.197 jobs/hr 0.197 jobs/hr 0.172 jobs/hr 0.197 jobs/hr 0.163 jobs/hr
    18.41 hr 18.41 hr 20.75 hr 18.41 hr 38.02 hr
    3.4 ms 6.9 ms 213 ms 23 min 43 min
    0% 11.8% 54.7% 21.8% 60.5%
    cooling energy
    computing energy
    (b)
    0
    50
    100
    150
    200
    250
    300
    FCFS-FF FCFS-LRH EDF-LRH FCFS-Xint SCINT
    energy consumed (GJ)
    Energy consumption, Scenario (b) 120 jobs, 16039 core-hours, idle servers on
    Throughput
    Turnaround time
    Alg. runtime
    Energy savings
    0.580 jobs/hr 0.580 jobs/hr 0.349 jobs/hr 0.580 jobs/hr 0.254 jobs/hr
    8.98 hr 8.98 hr 12.17 hr 8.98 hr 48.49 hr
    170 ms 186 ms 397 ms 40.8 min 88.6 min
    0% 1.7% 4.1% 3.6% 4.7%
    cooling energy
    computing energy
    (c)
    0
    5
    10
    15
    20
    25
    30
    35
    40
    FCFS-FF FCFS-LRH EDF-LRH FCFS-Xint SCINT
    energy consumed (GJ)
    Energy consumption, Scenario (b) 120 jobs, 16039 core-hours, idle servers off
    Throughput
    Turnaround time
    Alg. runtime
    Energy savings
    0.580 jobs/hr 0.580 jobs/hr 0.349 jobs/hr 0.580 jobs/hr 0.427 jobs/hr
    8.98 hr 8.98 hr 12.17 hr 8.98 hr 17.75 hr
    171 ms 186 ms 397 ms 42 min 100 min
    0% 4.0% 14.6% 14.2% 15.1%
    cooling energy
    computing energy
    (d)
    300
    350
    400
    450
    (GJ)
    Energy consumption, Scenario (c) 174 jobs, 45817 core-hours, idle servers on
    Throughput
    Turnaround time
    Alg. runtime
    Energy savings
    0.892 jobs/hr 0.892 jobs/hr 0.861 jobs/hr 0.892 jobs/hr 0.561 jobs/hr
    9.99 hr 9.99 hr 13.39 hr 9.99 hr 65.38 hr
    173 ms 196 ms 346 ms 20 min 142 min
    0% 2.5% 5.9% 9.4% 12.5%
    cooling energy
    computing energy
    80
    100
    (GJ)
    Energy consumption, Scenario (c) 174 jobs, 45817 core-hours, idle servers off
    Throughput
    Turnaround time
    Alg. runtime
    Energy savings
    0.892 jobs/hr 0.892 jobs/hr 0.861 jobs/hr 0.892 jobs/hr 0.590 jobs/hr
    9.99 hr 9.99 hr 13.39 hr 9.99 hr 61.49 hr
    173 ms 191 ms 346 ms 21 min 147 min
    0.0% 7.5% 17.3% 25.7% 41.4%
    cooling energy
    computing energy
    0
    50
    100
    150
    FCFS-FF FCFS-LRH EDF-LRH FCFS-Xint SCINT
    energy consumed (GJ)
    Turnaround time
    Alg. runtime
    Energy savings
    18.41 hr 18.41 hr 20.75 hr 18.41 hr 51.75 hr
    3.4 ms 6.9 ms 213 ms 23 min 40 min
    0% 6.2% 8.6% 8.7% 10.2%
    (a)
    0
    5
    10
    15
    20
    25
    30
    FCFS-FF FCFS-LRH EDF-LRH FCFS-Xint SCINT
    energy consumed (GJ)
    Throughput
    Turnaround time
    Alg. runtime
    Energy savings
    0.197 jobs/hr 0.197 jobs/hr 0.172 jobs/hr 0.197 jobs/hr 0.163 jobs/hr
    18.41 hr 18.41 hr 20.75 hr 18.41 hr 38.02 hr
    3.4 ms 6.9 ms 213 ms 23 min 43 min
    0% 11.8% 54.7% 21.8% 60.5%
    (b)
    0
    50
    100
    150
    200
    250
    300
    FCFS-FF FCFS-LRH EDF-LRH FCFS-Xint SCINT
    energy consumed (GJ)
    Energy consumption, Scenario (b) 120 jobs, 16039 core-hours, idle servers on
    Throughput
    Turnaround time
    Alg. runtime
    Energy savings
    0.580 jobs/hr 0.580 jobs/hr 0.349 jobs/hr 0.580 jobs/hr 0.254 jobs/hr
    8.98 hr 8.98 hr 12.17 hr 8.98 hr 48.49 hr
    170 ms 186 ms 397 ms 40.8 min 88.6 min
    0% 1.7% 4.1% 3.6% 4.7%
    cooling energy
    computing energy
    (c)
    0
    5
    10
    15
    20
    25
    30
    35
    40
    FCFS-FF FCFS-LRH EDF-LRH FCFS-Xint SCINT
    energy consumed (GJ)
    Energy consumption, Scenario (b) 120 jobs, 16039 core-hours, idle servers off
    Throughput
    Turnaround time
    Alg. runtime
    Energy savings
    0.580 jobs/hr 0.580 jobs/hr 0.349 jobs/hr 0.580 jobs/hr 0.427 jobs/hr
    8.98 hr 8.98 hr 12.17 hr 8.98 hr 17.75 hr
    171 ms 186 ms 397 ms 42 min 100 min
    0% 4.0% 14.6% 14.2% 15.1%
    cooling energy
    computing energy
    (d)
    0
    50
    100
    150
    200
    250
    300
    350
    400
    450
    FCFS-FF FCFS-LRH EDF-LRH FCFS-Xint SCINT
    energy consumed (GJ)
    Energy consumption, Scenario (c) 174 jobs, 45817 core-hours, idle servers on
    Throughput
    Turnaround time
    Alg. runtime
    Energy savings
    0.892 jobs/hr 0.892 jobs/hr 0.861 jobs/hr 0.892 jobs/hr 0.561 jobs/hr
    9.99 hr 9.99 hr 13.39 hr 9.99 hr 65.38 hr
    173 ms 196 ms 346 ms 20 min 142 min
    0% 2.5% 5.9% 9.4% 12.5%
    cooling energy
    computing energy
    (e)
    0
    20
    40
    60
    80
    100
    FCFS-FF FCFS-LRH EDF-LRH FCFS-Xint SCINT
    energy consumed (GJ)
    Energy consumption, Scenario (c) 174 jobs, 45817 core-hours, idle servers off
    Throughput
    Turnaround time
    Alg. runtime
    Energy savings
    0.892 jobs/hr 0.892 jobs/hr 0.861 jobs/hr 0.892 jobs/hr 0.590 jobs/hr
    9.99 hr 9.99 hr 13.39 hr 9.99 hr 61.49 hr
    173 ms 191 ms 346 ms 21 min 147 min
    0.0% 7.5% 17.3% 25.7% 41.4%
    cooling energy
    computing energy
    (f)
    Fig. 8. Energy comparison of the simulated schemes for the three scenarios. The plots correspond in respective positions to the plots of Figure 7.
    policy used in the data center, which enables job execution as soon as they arrive if the queue is empty and the data
    center is lightly loaded. In the “idle-on” case (Figure 8a), the total energy consumption using SCINT, EDF-LRH,
    iMPACT Lab (Arizona State U)
    

    View Slide

20. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Planificación y asignación de
    recursos consciente de la aplicación
    20  
    LSI-UPM
    WORKLOAD  
    Resource    
    Manager  
    (SLURM)  
    ExecuDon  
    Profiling  and  
    ClassificaDon  
    Energy    
    OpDmizaDon  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012  
    

    View Slide

21. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Planificación y asignación de
    recursos consciente de la aplicación
    •  Workload:  
    –  12  tareas  del  benchmark  SpecCPU  2006  
    –  Workload  aleatorio  de  2000  tareas,  dividido  en  job  sets  
    –  Tiempo  de  llegada  aleatorio  entre  job  sets  
    •  Servidores:  
    21  
    Escenario
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012  
    

    View Slide

22. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Planificación y asignación de
    recursos consciente de la aplicación
    22  
    Profiling de energía
    WORKLOAD  
    Resource    
    Manager  
    (SLURM)  
    ExecuDon  
    Profiling  and  
    ClassificaDon  
    Energy    
    OpDmizaDon  
    Energy  profiling  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012  
    

    View Slide

23. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Caracterización de la
    carga de trabajo
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   23  
    

    View Slide

24. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Trabajo realizado
    24  
    Optimizaciones
    WORKLOAD  
    Resource    
    Manager  
    (SLURM)  
    ExecuDon  
    Profiling  and  
    ClassificaDon  
    Energy    
    OpDmizaDon  
    Energy  MinimizaDon:  
    •   MinimizaDon  subjected  to  constraints  
    •   MILP  problem  (solved  with  CPLEX)  
    •   StaDc  and  Dynamic  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012  
    

    View Slide

25. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Planificación y asignación de
    recursos consciente de la aplicación
    25  
    Optimización estática
    •  Definición  del  datacenter  ópCmo  
    –  Dado  un  pool  de  100  máquinas  de  cada  
    –  1  job  set  del  workload  
    –  El  opCmizador  escoge  los  mejores  servidores  
    –  Constraints  de  presupuesto  y  espacio  
    Mejor  solución:  
    •   40  Sparc  
    •   27  AMD  
     
    Ahorros:  
    •   5  a  22%  en  energía  
    •   30%  Dempo  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012  
    

    View Slide

26. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Planificación y asignación de
    recursos consciente de la aplicación
    26  
    Optimización dinámica
    •  Asignación  ópCma  del  workload  
    –  Uso  del  workload  completo  (2000  tareas)  
    –  El  algoritmo  encuentra  una  buena  asignación  (no  la  mejor)  
    en  términos  de  energía  
    –  Ejecución  del  algoritmo  en  runCme  
    Ahorros  del  24%  
    al  47%  en  energía  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012  
    

    View Slide

27. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Planificación y asignación de
    recursos consciente de la aplicación
    •  Primera  prueba  de  concepto  en  cuanto  a  ahorros  
    energéCcos  gracias  a  heterogeneidad  
    •  Solución  automáCca  
    •  La  solución  automáCca  de  procesadores  ofrece  
    notables  ahorros  energéCcos.  
    •  La  solución  puede  ser  fácilmente  implementable  en  
    un  entorno  real  
    –  Uso  del  Resource  Manager  SLURM  
    –  Workloads  y  servidores  más  realistas  
    27  
    Conclusiones
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012  
    

    View Slide

28. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    2. Gestión de recursos
    en el servidor
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   28  
    Chip   Server   Rack   Room   MulD-­‐
    room  
    Sched  &  alloc   2 1  
    app  
    OS/middleware  
    Compiler/VM   3   3  
    architecture   4   4  
    technology   5  
    

    View Slide

29. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Políticas de planificación y
    asignación de recursos en MPSoCs
    A.  Coskun  ,  T.  Rosing  ,  K.  Whisnant  and  K.  Gross    "StaCc  and  dynamic  temperature-­‐
    aware  scheduling  for  mulCprocessor  SoCs",    IEEE  Trans.  Very  Large  Scale  Integr.  Syst.,    
    vol.  16,    no.  9,    pp.1127  -­‐1140  2008    
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   29  
    Fig. 3. Distribution of thermal hot spots, with DPM (ILP).
    A. Static Scheduling Techniques
    We next provide an extensive comparison of the ILP based
    techniques. We refer to our static approach as Min-Th&Sp.
    As discussed in Section III, we implemented the ILP for min-
    imizing thermal hot spots (Min-Th), energy balancing (Bal-
    En), and energy minimization (Min-En) to compare against
    Fig. 4. Distribution of spatial gradients, with DPM (ILP).
    hot spots. While Min-Th reduces the high spatial differentials
    above 15 C, we observe a substantial increase in the spatial
    gradients above 10 C. In contrast, our method achieves lower
    and more balanced temperature distribution in the die.
    In Fig. 5, we show how the magnitudes of thermal cycles vary
    with the scheduling method. We demonstrate the average per-
    Fig. 3. Distribution of thermal hot spots, with DPM (ILP).
    A. Static Scheduling Techniques
    We next provide an extensive comparison of the ILP based
    techniques. We refer to our static approach as Min-Th&Sp.
    As discussed in Section III, we implemented the ILP for min-
    imizing thermal hot spots (Min-Th), energy balancing (Bal-
    Fig. 4. Distribution of spatial gradients, with DPM (ILP).
    hot spots. While Min-Th reduces the high spatial differentials
    above 15 C, we observe a substantial increase in the spatial
    gradients above 10 C. In contrast, our method achieves lower
    and more balanced temperature distribution in the die.
    In Fig. 5, we show how the magnitudes of thermal cycles vary
    UCSD – System Energy Efficiency Lab
    

    View Slide

30. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Planificación y asignación de
    recursos consciente de la aplicación
    •  La  caracterización  energéCca  de  las  
    aplicaciones  permite  la  definición  de  políCcas  
    proacCvas  de  planificación  y  asignación  de  
    recursos  que  minimizan  los  hotspots  
    •  La  reducción  de  hotspots  permite  aumentar  la  
    temperatura  del  aire  de  los  sistemas  de  
    refrigeración  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   30  
    

    View Slide

31. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    3. Máquina virtual consciente
    de la aplicación y los recursos
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   31  
    Chip   Server   Rack   Room   MulD-­‐
    room  
    Sched  &  alloc   2   1  
    app  
    OS/middleware  
    Compiler/VM   3 3
    architecture   4   4  
    technology   5  
    

    View Slide

32. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Compilación JIT en
    máquinas virtuales
    •  La  máquina  virtual  
    compila  (JIT)  la  
    aplicación  a  código  
    naCvo  por  eficiencia  
    •  El  opCmizador  es  
    genérico  y  orientado  a  
    la  opDmización  de  
    rendimiento  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   32  
    

    View Slide

33. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Back-­‐end  
    Compilación JIT para
    reducción de energía
    •  Compilador  consciente  de  la  aplicación  
    –  Caracterización  de  aplicaciones  y  transformaciones  
    –  OpCmizador  dependiente  de  la  aplicación  
    –  Visión  global  de  la  carga  de  trabajo  del  data  center  
    •  OpCmizador  de  energía  
    –  En  la  actualidad,  los  compiladores  para  procesadores  
    de  altas  prestaciones  solo  opCmizan  rendimiento  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   33  
    Front-­‐end  
    OpCmizador  
    Generador  de  
    código  
    

    View Slide

34. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Potencial de ahorro desde
    el compilador (MPSoCs)
    T.  Simunic,  G.  de  Micheli,  L.  Benini,  and  M.  Hans.  “Source  code  opCmizaCon  and  
    profiling  of  energy  consumpCon  in  embedded  systems,”  InternaConal  Symposium  on  
    System  Synthesis,  pages  193  –  199,  Sept.  2000  
    – Reducción  de  un  77  %  de  energía  en  un  
    decodificador  MP3  
    FEI,  Y.,  RAVI,  S.,  RAGHUNATHAN,  A.,  AND  JHA,  N.  K.  2004.  Energy-­‐opCmizing  source  
    code  transformaCons  for  OS-­‐driven  embedded  so{ware.  In  Proceedings  of  the  
    InternaConal  Conference  VLSI  Design.  261–266.  
    – Hasta  el  37,9%  (media  23,8%)  de  ahorro  
    energéCco  en  programas  mulCproceso  sobre  
    Linux  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   34  
    

    View Slide

35. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    4. Gestión automática de
    frecuencia a nivel global
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   35  
    Chip   Server   Rack   Room   MulD-­‐
    room  
    Sched  &  alloc   2   1  
    app  
    OS/middleware  
    Compiler/VM   3   3  
    architecture   4 4
    technology   5  
    

    View Slide

36. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    DVFS – Dynamic Voltage
    and Frequency Scaling
    •  Al  decrementar  la  tensión  de  alimentación,  la  
    potencia  se  reduce  cuadráCcamente  (a  
    frecuencia  constante)  
    •  El  retardo  se  incrementa  solo  linealmente  
    •  La  frecuencia  máxima  también  se  decrementa  
    linealmente  
    •  Actualmente  los  modos  de  bajo  consumo  se  
    acCvan  por  inacCvidad  del  sistema  operaCvo  
    de  un  servidor  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   36  
    

    View Slide

37. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    DVFS a nivel de sala
    •  Para  minimizar  el  consumo  hay  que  minimizar  
    los  cambios  de  modo  
    •  Existen  algoritmos  ópCmos  para  un  conjunto  
    conocido  de  tareas  (YDS)  
    •  El  conocimiento  de  la  carga  de  trabajo  
    permite  planificar  los  modos  de  bajo  consumo  
    a  nivel  global  sin  pérdida  de  rendimiento  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   37  
    

    View Slide

38. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Paralelismo para ahorrar
    energía
    Use of Parallelism
    Use of Parallelism
    V
    dd
    V
    dd
    /2 V
    dd
    /2
    f f /2 f /2
    f
    max
    f
    max
    /2 f
    max
    /2
    9-17
    Swiss Federal
    Institute of Technology
    Computer Engineering
    and Networks Laboratory
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   38  
    

    View Slide

39. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    5. Emplazamiento de cores
    consciente de la temperatura
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   39  
    Chip   Server   Rack   Room   MulD-­‐
    room  
    Sched  &  alloc   2   1  
    app  
    OS/middleware  
    Compiler/VM   3  
    architecture   4   4  
    technology   5
    

    View Slide

40. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Floorplanning consciente
    de la temperatura
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   40  
    

    View Slide

41. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Potencial de ahorro
    energético por floorplaning
    –  Reducciones  de  temperatura  máxima  de  hasta  21oC  
    –  Media:  -­‐12oC  en  temperatura  máxima  
    –  Mayor  reducción  en  los  casos  más  críCcos  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   41  
    Temperature Reductions
    Average MaxTemp reduction: 12 oC
    Larger temperature reductions for benchmarks
    with higher maximum temperature
    For many benchmarks, temperature reducions are
    larger than 20 oC
    Maximum Temperature
    0
    20
    40
    60
    80
    100
    120
    140
    ammp
    applu
    apsi
    art
    bzip2
    crafty
    eon
    equake
    facerec
    fma3d
    gap
    gcc
    gzip
    lucas
    mcf
    mesa
    mgrid
    parser
    perlbmk
    swim
    twolf
    vortex
    vpr
    wupwise
    avg
    original modified
    Y.  Han,  I.  Koren,  and  C.  A.  Moritz.  Temperature  Aware  Floorplanning.  In  Proc.  of  the    
    Second  Workshop  on  Temperature-­‐Aware  Computer  Systems,  June  2005  
    

    View Slide

42. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Floorplanning consciente de la
    temperatura en chips 3D
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   42  
    •  El  circuito  integrado  3D  está  recibiendo  
    atención:  
    –  ↑  ↑    Escalado:  reduce  área  2D  equivalente  
    –  ↑  ↑    Rendimiento:  menor  longitud  de  
    comunicaciones  
    –  ↑  Fiabilidad:  menor  cableado  
     
    •  Desventaja:  
    –  Aumentan  drás3camente  los  picos  de  
    temperatura  con  respecto  a  los  diseños  2D  
    equivalentes  
    

    View Slide

43. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Floorplanning consciente
    de la temperatura
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   43  
    •  Reducción  de  hasta  30oC  por  capa  en  un  chip  
    3D  de  4  capas  y  48  cores  
    

    View Slide

44. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Y todavía hay más
    •  Smart  Grids  
    – Consumir  cuando  nadie  consume  
    – Reducir  el  consumo  cuando  todo  el  mundo  
    consume  
    •  Reducción  de  la  factura  de  luz  
    – Coste  dependiente  del  horario  
    – Coeficiente  de  energía  reacCva  
    – Picos  de  consumo  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   44  
    

    View Slide

45. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Conclusiones
    •  Reducir  el  PUE  no  es  lo  mismo  que  reducir  el  consumo  
    –  El  consumo  de  computación  es  dominante  en  data  centers  
    modernos  
    •  El  conocimiento  de  la  aplicación  y  de  los  recursos  puede  
    ser  uClizado  para  establecer  políDcas  proacDvas  para  
    reducir  la  energía  total  
    –  A  todos  los  niveles  
    –  En  todos  los  ámbitos  
    –  Considerando  simultáneamente  computación  y  refrigeración  
    •  La  gesCón  adecuada  del  conocimiento  del  comportamiento  
    térmico  del  data  center  permite  reducir  los  problemas  de  
    fiabilidad  
    •  Reducir  el  consumo  total  no  es  lo  mismo  que  reducir  la  
    factura  de  la  luz  
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   45  
    

    View Slide

46. “Ingeniamos el futuro”!
    CAMPUS OF
    INTERNATIONAL
    EXCELLENCE
    Contacto
    José  M.Moya  |    Madrid  (Spain),  June  12,  2012   46  
    José M. Moya
    +34  607  082  892  
    jm.moya@upm.es  
     
    ETSI de Telecomunicación, B104
    Avenida Complutense, 30
    Madrid 28040, Spain
    Gracias:  
    

    View Slide