Slide 1

Slide 1 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Algoritmos para economia de energia no escalonamento de workflows em nuvens computacionais Elaine N. Watanabe, Pedro P. V. Campos, Kelly R. Braghetto, Daniel M. Batista Instituto de Matemática e Estatística Universidade de São Paulo, São Paulo, Brasil {elainew,pedrovc,kellyrb,batista}@ime.usp.br Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos - 2014

Slide 2

Slide 2 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Roteiro 1 Motivação 2 Conceitos 3 PowerHEFTLookahead 4 HEFT-DynamicAllocationVM 5 Task Clustering 6 Experimentos 7 Conclusões

Slide 3

Slide 3 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Motivação Data centers [BB10]: 2% do CO2 no mundo Servidores (Google) [BH07]: Análise de milhares de servidores durante 6 meses CPUs operavam entre 10% a 50% Ineficiente energeticamente Gastos extras Custos em 2014 [B07]: Refrigeração e Energia elétrica(75%) > Equipamento(25%) Uma das possíveis soluções Computação em nuvem!

Slide 4

Slide 4 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Computação em nuvem Máquinas virtuais (VMs) Alto desempenho (TOP500: posição 64 em 11/2013) Ambiente elástico (sob demanda) Candidato à execução de Workflows

Slide 5

Slide 5 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Workflows científicos Descrição de um experimento científico Conjunto de tarefas interligadas Aquisição Processamento Análise Visualização Etc. E no contexto da nuvem? Problema? Dependência entre os dados Possível solução? Novas políticas de escalonamento!

Slide 6

Slide 6 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Objetivos Avaliar o escalonamento de workflows em nuvens computacionais visando à economia de energia 3 novos algoritmos de escalonamento PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Uso do simulador CloudSim-DVFS

Slide 7

Slide 7 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Trabalhos relacionados Topcuoglu et al. 2002: HEFT (Heterogeneous Earliest-Finish-Time) Mais de mil citações no Google Acadêmico Aksanli et al. 2012: GENSim Estudo comparativo de eficiência energética Simular batch jobs e service jobs Sem suporte a VMs Kliazovich et al. 2012: GreenCloud Comparação entre simuladores existentes Avaliar componentes da rede, não apenas os servidores Não possui código aberto

Slide 8

Slide 8 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Trabalhos relacionados Beloglazov et al. 2012: CloudSim Eficiência energética em nuvem CloudSim + simulações energéticas Sem suporte a workflows Weiwei and Deelman 2012: WorkflowSim (CloudSim) Simulação de workflows em nuvens computacionais considerando simulação de falhas Sem suporte a simulações energéticas Guérout et al. 2013: CloudSim-DVFS (CloudSim) Suporte à simulação energética de workflows em nuvens computacionais Escalonadores com número de VMs fixas

Slide 9

Slide 9 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Roteiro 1 Motivação 2 Conceitos 3 PowerHEFTLookahead 4 HEFT-DynamicAllocationVM 5 Task Clustering 6 Experimentos 7 Conclusões

Slide 10

Slide 10 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões CloudSim-DVFS Disponível em outubro/2013 Uso do DVFS (Dimensionamento dinâmico de voltagem e frequência): De acordo com o uso de CPU, altera-se frequência e voltagem da CPU, economizando energia

Slide 11

Slide 11 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Modelo energético PTOT = (1 −α)PCPUOciosa +(α)PCPUCargaMaxima (1) onde α é o uso de CPU e PCPUOciosa e PCPUCargaMaxima são as potências da CPU a 0% e 100% de utilização, respectivamente.

Slide 12

Slide 12 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Frequências utilizadas para criação de VMs Frequências (GHz) 0.8 1.0 1.2 1.5 1.7 CPU ociosa (W) 140 146 153 159 167 CPU carga máxima (W) 228 238 249 260 272 Tabela: Frequências da nuvem privada (Grid’5000 Reims) utilizadas por Guérout et al. 2013 para criar a lista de VMs

Slide 13

Slide 13 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Workflows DAG (Grafo Orientado Acíclico) Nós: custo de computação Arestas: custo de comunicação (transferência de dados) Caminhos críticos e não-críticos

Slide 14

Slide 14 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Escalonadores do CloudSim-DVFS Performance: frequência máxima sempre OnDemand: frequência máxima se CPU em uso e mínima quando ociosa Optimal: diminuir consumo energético nos caminhos não-críticos com VMs "mais lentas"

Slide 15

Slide 15 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões HEFT: Heterogeneous Earliest Finish Time Tarefa VM 1 VM 2 VM 3 rank(ti ) 1 14,9 11,9 9,9 57,9 2 13,8 11,1 9,2 45,6 3 11,7 9,4 7,8 34,3 4 13,8 9,2 12,7 45,6 5 12,7 10,2 8,5 44,7 6 13,8 11,1 9,2 34,2 7 7,4 6 5 24,6 8 5,3 4,3 3,5 22,8 9 19,1 15,3 12,7 34,1 10 22,3 17,9 14,9 18,3 Tarefas em ordem decrescente de rank: 1,2,4,5,3,6,9,7,8,10

Slide 16

Slide 16 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Roteiro 1 Motivação 2 Conceitos 3 PowerHEFTLookahead 4 HEFT-DynamicAllocationVM 5 Task Clustering 6 Experimentos 7 Conclusões

Slide 17

Slide 17 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões PowerHEFTLookahead VM 1 = VM do tipo "mais rápida"(Tipo 1)

Slide 18

Slide 18 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões PowerHEFTLookahead Aloca a tarefa de maior rank na VM 1

Slide 19

Slide 19 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões PowerHEFTLookahead Simula a alocação das demais tarefas Qual o consumo energético?

Slide 20

Slide 20 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões PowerHEFTLookahead Simula a criação de uma nova VM (Tipo 1) Qual o consumo energético?

Slide 21

Slide 21 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões PowerHEFTLookahead Simula a criação de uma nova VM (Tipo 2) Qual o consumo energético?

Slide 22

Slide 22 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões PowerHEFTLookahead Simula a criação de uma nova VM (Tipo 3) Qual o consumo energético?

Slide 23

Slide 23 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões PowerHEFTLookahead Qual caso obteve o menor consumo energético? É melhor criar uma nova VM? De qual tipo?

Slide 24

Slide 24 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Roteiro 1 Motivação 2 Conceitos 3 PowerHEFTLookahead 4 HEFT-DynamicAllocationVM 5 Task Clustering 6 Experimentos 7 Conclusões

Slide 25

Slide 25 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões HEFT-DynamicAllocationVM VM 1 = VM do tipo "mais rápida"(Tipo 1)

Slide 26

Slide 26 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões HEFT-DynamicAllocationVM Aloca a tarefa de maior rank

Slide 27

Slide 27 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões HEFT-DynamicAllocationVM Aloca a tarefa de maior rank Tarefa dependente da anterior? Pode executar na mesma VM

Slide 28

Slide 28 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões HEFT-DynamicAllocationVM Tarefa paralelizável? Aloca uma nova VM do tipo "mais lenta"

Slide 29

Slide 29 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões HEFT-DynamicAllocationVM Paralelize o máximo que puder

Slide 30

Slide 30 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões HEFT-DynamicAllocationVM Uma VM lenta vai executar mais de uma tarefa?

Slide 31

Slide 31 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões HEFT-DynamicAllocationVM Troque por uma VM mais rápida, pois pode ser um caminho crítico

Slide 32

Slide 32 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões HEFT-DynamicAllocationVM Faça isso para todos os casos

Slide 33

Slide 33 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões HEFT-DynamicAllocationVM Continue a alocação

Slide 34

Slide 34 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões HEFT-DynamicAllocationVM Alocação final com dependência de dados

Slide 35

Slide 35 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Roteiro 1 Motivação 2 Conceitos 3 PowerHEFTLookahead 4 HEFT-DynamicAllocationVM 5 Task Clustering 6 Experimentos 7 Conclusões

Slide 36

Slide 36 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Task Clustering Reconhece duas VMs "mais lentas"que vão executar apenas uma tarefa cada

Slide 37

Slide 37 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Task Clustering Agrupa as tarefas em uma única VM "mais rápida"

Slide 38

Slide 38 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Roteiro 1 Motivação 2 Conceitos 3 PowerHEFTLookahead 4 HEFT-DynamicAllocationVM 5 Task Clustering 6 Experimentos 7 Conclusões

Slide 39

Slide 39 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Experimentos Ambiente de Teste: o mesmo utilizado por [Guérout et al. 2013] 1 VM por host Tipos de VMs: conforme frequências para DVFS Escalonadores: Performance (PERF) DVFS: OnDemand (ONDEM) e Optimal (OPT) PowerHEFTLookahead (POWERHEFT) HEFT HEFT-DynamicAllocation-VM (DAVM) HEFT-DynamicAllocation-VM-TaskClustering (DAVM-TC) Optimal-TaskClustering (OPT-TC)

Slide 40

Slide 40 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Figura: Exemplo da estrutura do workflow (a) Sipht (codificação de genes), (b) Cybershake (caracterização de zonas de risco de terremotos.) e (c) Montage (mosaico astronômico).

Slide 41

Slide 41 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Montage Figura: Comparativo do consumo energético e makespan do DAG Montage utilizando diferentes políticas de escalonamento de tarefas.

Slide 42

Slide 42 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Roteiro 1 Motivação 2 Conceitos 3 PowerHEFTLookahead 4 HEFT-DynamicAllocationVM 5 Task Clustering 6 Experimentos 7 Conclusões

Slide 43

Slide 43 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Conclusões Resultados Redução do consumo energético na maioria dos casos, chegando até a 22.7% Task clustering pode ser vantajoso tanto em relação ao consumo energético quanto ao tempo de execução Estrutura de interligação das tarefas no workflow influencia no escalonamento

Slide 44

Slide 44 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Conclusões Contribuições Três novos algoritmos para escalonamento de workflows visando a eficiência energética sem impacto significativo no makespan Estudo comparativo com algoritmos existentes Dados e código abertos à comunidade

Slide 45

Slide 45 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Trabalhos futuros Simulações Outros ambientes de teste Outros modelos energéticos Uso de cargas de trabalho dinâmicas Novas abordagens com o HEFT Validação dos resultados em ambiente real Possibilidades de: Integração do WorkflowSim ao CloudSim-DVFS Utilização de escalonadores dinâmicos ao invés de estáticos Adição da estimativa de consumo energético de outros componentes do data center

Slide 46

Slide 46 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Muito obrigada! Perguntas? [email protected] Agradecimentos FAPESP (processo número: 2011/24114-0) e CAPES Rodrigo N. Calheiros e Tom Guérout (CloudSim-DVFS) Weiwei Chen (WorkflowSim) Daniel A. Cordeiro (explicação sobre o HEFT) Disponível em: https://github.com/pedropaulovc/CloudSim_DVFS http://www.ime.usp.br/~elainew

Slide 47

Slide 47 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Bibliografia L.A. Barroso e U. Hölzle. The case for energy-proportional computing. Computer, 40(12):33–37, 2007. Tom Guérout, Thierry Monteil, Georges Da Costa, Rodrigo Neves Calheiros, Rajkumar Buyya e Mihai Alexandru. Energy-aware simulation with dvfs. Simulation Modelling Practice and Theory, v.39, i.1, p.76-91, 2013. H. Topcuoglu, S. Hariri e Min-You Wu. Performance-effective and low-complexity task scheduling for heterogeneous computing. IEEE Transactions on Parallel and Distributed Systems, 13(3):260–274, 2002. A. Beloglazov e R. Buyya. Energy Efficient Resource Management in Virtualized Cloud Data Centers. Energy Efficient Resource Management in Virtualized Cloud Data Centers, 826–831, 2007. C. Belady. In the data center, power and cooling costs more than the it equipment it supports Energy Efficient Resource Management in Virtualized Cloud Data Centers, 2007.

Slide 48

Slide 48 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Bibliografia S. Murugesan. Harnessing green IT: Principles and practices IT professional, 24–33,2008. J. Vöckler, G. Juve, E. Deelman, M. Rynge and B. Berriman Experiences using cloud computing for a scientific workflow application Proceedings of the 2nd international workshop on Scientific cloud computing, 15–24,2011. L.F. Bittencourt, E. Madeira, N.L.S. Fonseca Scheduling in hybrid clouds Communications Magazine, IEEE, 42–47,2012.

Slide 49

Slide 49 text

Motivação Conceitos PowerHEFTLookahead HEFT-DynamicAllocationVM Task Clustering Experimentos Conclusões Bibliografia B. Aksanli, J. Venkatesh and T. Rosing Using Datacenter Simulation to Evaluate Green Energy Integration Computer, 56–64,2012. D. Kliazovich, P. Bouvry and S.U. Khan GreenCloud: a packet-level simulator of energy-aware cloud computing data centers The Journal of Supercomputing, 1263–1283,2012. C. Weiwei and E. Deelman WorkflowSim: A toolkit for simulating scientific workflows in distributed environments IEEE 8th International Conference on E-Science (e-Science), 1-8,2012.