Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Execução de Workflows Científicos em Nuvens Computacionais

583e920a7e9238a1c21e923025f8f641?s=47 Elaine Naomi
October 16, 2014
14

Execução de Workflows Científicos em Nuvens Computacionais

Apresentação no Napsol 2014

583e920a7e9238a1c21e923025f8f641?s=128

Elaine Naomi

October 16, 2014
Tweet

Transcript

  1. EXECUÇÃO DE WORKFLOWS CIENTÍFICOS EM NUVENS COMPUTACIONAIS Elaine Naomi Watanabe

    Insttuto de Matemátca e Estatstca elainew@ime.usp.br Workshop do Núcleo de Apoio à Pesquisa em Softare Livre São Carlos, 16 a 17 de Outubro de 2014.
  2. Workfows cientfcos Um torkfot científco é a automação de experimentos

    ou processos cientfcoss expressa em termos das atvidades a serem executadas e das dependências dos dados manipulados.
  3. Workfows cientfcos • Conjunto de tarefas interligadas – Aquisição –

    Processamento – Análise – Visualização – etc • Grafo direcionado acíclico (DAG) • Grandes quantdades de dados
  4. Workfows cientfcos

  5. Workfows cientfcos Modelo do workfow cientfco Montage. Fonte: Ewa Deelman.

    Grids and Clouds: Making workfows applicatons work in heterogeneous distributed environmentss 2010.
  6. Aplicações • Astronomias medicinas bioinformátcas visão computacionals geofsicas neurociências etc.

    • Por exemplo... – A fase piloto do projeto 1000 genomess comparando o genoma de 629 indivíduoss gerou: 7s3 terabytes = 7s3 x 1012 bytes
  7. Sistema Gerenciador de Workfots Científcos (SGWfC): É um sistema que

    permite a descrição de um experimento cientfco como um conjunto de tarefas a serem executadas de forma automátcas utlizandos para issos a infraestrutura computacional disponível.
  8. Exemplos de SGWfC Kepler htp://kepler-project.org/ Taverna htp://www.taverna.org.uk/ Askalon htp://www.askalon.org/ Pegasus

    htp://pegasus.sss.ediu/ SciCumulus htp://su.net/projects/scscuuulus
  9. Exemplos de Simuladores de Workfows Cientfcos para Nuvem • WorkfowSim

    • SimpleWorkfow • DynamicCloudSim • CloudSim-DVFS Fonte: htp://www.cloudbus.org/cloudsim/
  10. Necessidade de um ambiente de alto desempenho...

  11. • A computação em nuvem tem se mostrado uma boa

    alternatva: – Com investmento menor que o tradicional – Com possibilidade de alocação sob demanda
  12. Escalonamento: seleção do recurso e do momento de execução das

    atvidadess otmizando objetvos como o tempo total de execução.
  13. Motvação • Escalonamento para execução em nuvem: – considerar informações

    como restrições de tempo e orçamento. • Sistemas Gerenciadores de Workfots Científcos atuais: – não exploram completamente as nuvens computacionais – linguagens de modelagem possuem pouca informação de apoio ao escalonamento. • Informações de apoio ao escalonamento: – podem ser inseridas no modelo de workfow
  14. Trabalhos em andamento • Modelagem e escalonamento de workfows cientfcos

    em plataformas de computação em nuvem • Provisionamento dinâmico de recursos para execução de workfows cientfcos em nuvens • Gerenciamento de dados de workfows cientfcos em nuvens computacionais
  15. Trabalho concluído Economia de energia na execução de torkfots científcos

    em nuvens computacionais: • Novos escalonadores de tarefas • Simulador CloudSim-DVFS (licença LGPL) • Conseguiu economia de energia na maioria dos casoss chegando até 22s7% [2].
  16. Esse trabalho foi fruto da colaboração de pesquisadores da comunidade

    cientfca nacional e internacional
  17. Sofware livre e a colaboração da comunidade cientfca • Entre

    a comunidade do IME-USP – Pedro Campos (graduação) – Elaine Watanabe (mestrado) – Prof. Dr. Daniel Batsta • Professor e Pesquisador da área de Redes – Profª Drª Kelly Bragheto • Professora e Pesquisadora da área de Banco de dados – Dr. Daniel Cordeiro • Pesquisador da área de Computação de Alto Desempenho e Teoria de Escalonamento
  18. Sofware livre e a colaboração da comunidade cientfca • Entre

    a comunidade internacional – University of Melbourne (Austrália) • Rodrigo Calheiros (CloudSim-DVFS) – Université de Toulouse(França) • Tom Guérout (CloudSim-DVFS) – University of Southern California (EUA) • Weiwei Chen (WorkfowSim)
  19. Grupos de pesquisam sobre workfows cientfcos...

  20. Alguns grupos que pesquisam sobre Workfows Cientfcos • No Brasil

    – Universidade Federal do Rio de Janeiro (PESC- COPPE-UFRJ)s em parceria com o Laboratório Nacional de Computação Cientfca (LNCC) • Criadores das ferramentas Chiron e SciCumulus – Universidade Estadual de Campinas (IC-UNICAMP) – Universidade de São Paulo (DCC-IME-USP)
  21. Alguns grupos que pesquisam sobre Workfows Cientfcos • Fora do

    Brasil – University of Southern California (Informaton Sciences Insttute) • Profa. Ewa Deelman – Criadores do Pegasus – University of Manchester (School of Computer Science) • Profa. Carole Goble – Criadores do Tavernas myGrids myExperiment – University of Chicago (Computaton Insttute) • Prof. Ian Foster – Criadores do conceito de grade e do projeto Globus – University of Innsbruck (Insttute of Computer Science) • Prof. Thomas Fahringer – Criadores do ASKALON
  22. Resumo • Sistemas gerenciadores de workfows cientfcos são importantes para

    o desenvolvimento da ciência. • Existe uma carência de escalonadores de workfows em nuvens computacionais em tais gerenciadores que explorem melhor os recursos e ambiente disponível. • Sofware livre permite maior cooperação entre comunidades cientfcass além de permitr reprodutbilidades validação e novos experimentos.
  23. MUITO OBRIGADA! Elaine Watanabe (elainew@ime.usp.br) Ricardo Oda (odaric@ime.usp.br) Eduardo Cotrin

    (cotrin@ime.usp.br) Orientadora: Profª Drª Kelly R. Bragheto (kellyrb@ime.usp.br)
  24. Referências [1] BRAGHETTOs K. R. ; CORDEIROs D. . Introdução

    à Modelagem e Execução de Workfows Cientfcos. In: Salgados Ana Carolina; Lóscios Bernadete Farias; Alchieris Eduardo; Barretos Priscila Solís. (Org.). Atualizações em Informátca. 1ed.Porto Alegre: SBCs 2014s v. s p.1-40. [2] WATANABEs E. N. et al . Algoritmos para economia de energia no escalonamento de workfows em nuvens computacionais. Em: Anais do 32º Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos SBRCs 2014. Porto Alegre: Sociedade Brasileira de Computaçãos 2014. p. 31-44