Execução de Workflows Científicos em Nuvens Computacionais

Apresentação no Napsol 2014

Transcript

1. EXECUÇÃO DE WORKFLOWS CIENTÍFICOS EM NUVENS COMPUTACIONAIS Elaine Naomi Watanabe Insttuto de Matemátca e Estatstca elainew@ime.usp.br Workshop do Núcleo de Apoio à Pesquisa em Softare Livre São Carlos, 16 a 17 de Outubro de 2014.
2. Workfows cientfcos Um torkfot científco é a automação de experimentos ou processos cientfcoss expressa em termos das atvidades a serem executadas e das dependências dos dados manipulados.
3. Workfows cientfcos • Conjunto de tarefas interligadas – Aquisição – Processamento – Análise – Visualização – etc • Grafo direcionado acíclico (DAG) • Grandes quantdades de dados
4. Workfows cientfcos
5. Workfows cientfcos Modelo do workfow cientfco Montage. Fonte: Ewa Deelman. Grids and Clouds: Making workfows applicatons work in heterogeneous distributed environmentss 2010.
6. Aplicações • Astronomias medicinas bioinformátcas visão computacionals geofsicas neurociências etc. • Por exemplo... – A fase piloto do projeto 1000 genomess comparando o genoma de 629 indivíduoss gerou: 7s3 terabytes = 7s3 x 1012 bytes
7. Sistema Gerenciador de Workfots Científcos (SGWfC): É um sistema que permite a descrição de um experimento cientfco como um conjunto de tarefas a serem executadas de forma automátcas utlizandos para issos a infraestrutura computacional disponível.
8. Exemplos de SGWfC Kepler htp://kepler-project.org/ Taverna htp://www.taverna.org.uk/ Askalon htp://www.askalon.org/ Pegasus htp://pegasus.sss.ediu/ SciCumulus htp://su.net/projects/scscuuulus
9. Exemplos de Simuladores de Workfows Cientfcos para Nuvem • WorkfowSim • SimpleWorkfow • DynamicCloudSim • CloudSim-DVFS Fonte: htp://www.cloudbus.org/cloudsim/
10. Necessidade de um ambiente de alto desempenho...
11. • A computação em nuvem tem se mostrado uma boa alternatva: – Com investmento menor que o tradicional – Com possibilidade de alocação sob demanda
12. Escalonamento: seleção do recurso e do momento de execução das atvidadess otmizando objetvos como o tempo total de execução.
13. Motvação • Escalonamento para execução em nuvem: – considerar informações como restrições de tempo e orçamento. • Sistemas Gerenciadores de Workfots Científcos atuais: – não exploram completamente as nuvens computacionais – linguagens de modelagem possuem pouca informação de apoio ao escalonamento. • Informações de apoio ao escalonamento: – podem ser inseridas no modelo de workfow
14. Trabalhos em andamento • Modelagem e escalonamento de workfows cientfcos em plataformas de computação em nuvem • Provisionamento dinâmico de recursos para execução de workfows cientfcos em nuvens • Gerenciamento de dados de workfows cientfcos em nuvens computacionais
15. Trabalho concluído Economia de energia na execução de torkfots científcos em nuvens computacionais: • Novos escalonadores de tarefas • Simulador CloudSim-DVFS (licença LGPL) • Conseguiu economia de energia na maioria dos casoss chegando até 22s7% [2].
16. Esse trabalho foi fruto da colaboração de pesquisadores da comunidade cientfca nacional e internacional
17. Sofware livre e a colaboração da comunidade cientfca • Entre a comunidade do IME-USP – Pedro Campos (graduação) – Elaine Watanabe (mestrado) – Prof. Dr. Daniel Batsta • Professor e Pesquisador da área de Redes – Profª Drª Kelly Bragheto • Professora e Pesquisadora da área de Banco de dados – Dr. Daniel Cordeiro • Pesquisador da área de Computação de Alto Desempenho e Teoria de Escalonamento
18. Sofware livre e a colaboração da comunidade cientfca • Entre a comunidade internacional – University of Melbourne (Austrália) • Rodrigo Calheiros (CloudSim-DVFS) – Université de Toulouse(França) • Tom Guérout (CloudSim-DVFS) – University of Southern California (EUA) • Weiwei Chen (WorkfowSim)
19. Grupos de pesquisam sobre workfows cientfcos...
20. Alguns grupos que pesquisam sobre Workfows Cientfcos • No Brasil – Universidade Federal do Rio de Janeiro (PESC- COPPE-UFRJ)s em parceria com o Laboratório Nacional de Computação Cientfca (LNCC) • Criadores das ferramentas Chiron e SciCumulus – Universidade Estadual de Campinas (IC-UNICAMP) – Universidade de São Paulo (DCC-IME-USP)
21. Alguns grupos que pesquisam sobre Workfows Cientfcos • Fora do Brasil – University of Southern California (Informaton Sciences Insttute) • Profa. Ewa Deelman – Criadores do Pegasus – University of Manchester (School of Computer Science) • Profa. Carole Goble – Criadores do Tavernas myGrids myExperiment – University of Chicago (Computaton Insttute) • Prof. Ian Foster – Criadores do conceito de grade e do projeto Globus – University of Innsbruck (Insttute of Computer Science) • Prof. Thomas Fahringer – Criadores do ASKALON
22. Resumo • Sistemas gerenciadores de workfows cientfcos são importantes para o desenvolvimento da ciência. • Existe uma carência de escalonadores de workfows em nuvens computacionais em tais gerenciadores que explorem melhor os recursos e ambiente disponível. • Sofware livre permite maior cooperação entre comunidades cientfcass além de permitr reprodutbilidades validação e novos experimentos.
23. MUITO OBRIGADA! Elaine Watanabe (elainew@ime.usp.br) Ricardo Oda (odaric@ime.usp.br) Eduardo Cotrin (cotrin@ime.usp.br) Orientadora: Profª Drª Kelly R. Bragheto (kellyrb@ime.usp.br)
24. Referências [1] BRAGHETTOs K. R. ; CORDEIROs D. . Introdução à Modelagem e Execução de Workfows Cientfcos. In: Salgados Ana Carolina; Lóscios Bernadete Farias; Alchieris Eduardo; Barretos Priscila Solís. (Org.). Atualizações em Informátca. 1ed.Porto Alegre: SBCs 2014s v. s p.1-40. [2] WATANABEs E. N. et al . Algoritmos para economia de energia no escalonamento de workfows em nuvens computacionais. Em: Anais do 32º Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos SBRCs 2014. Porto Alegre: Sociedade Brasileira de Computaçãos 2014. p. 31-44