Slide 1

Slide 1 text

EXECUÇÃO DE WORKFLOWS CIENTÍFICOS EM NUVENS COMPUTACIONAIS Elaine Naomi Watanabe Insttuto de Matemátca e Estatstca [email protected] Workshop do Núcleo de Apoio à Pesquisa em Softare Livre São Carlos, 16 a 17 de Outubro de 2014.

Slide 2

Slide 2 text

Workfows cientfcos Um torkfot científco é a automação de experimentos ou processos cientfcoss expressa em termos das atvidades a serem executadas e das dependências dos dados manipulados.

Slide 3

Slide 3 text

Workfows cientfcos • Conjunto de tarefas interligadas – Aquisição – Processamento – Análise – Visualização – etc • Grafo direcionado acíclico (DAG) • Grandes quantdades de dados

Slide 4

Slide 4 text

Workfows cientfcos

Slide 5

Slide 5 text

Workfows cientfcos Modelo do workfow cientfco Montage. Fonte: Ewa Deelman. Grids and Clouds: Making workfows applicatons work in heterogeneous distributed environmentss 2010.

Slide 6

Slide 6 text

Aplicações • Astronomias medicinas bioinformátcas visão computacionals geofsicas neurociências etc. • Por exemplo... – A fase piloto do projeto 1000 genomess comparando o genoma de 629 indivíduoss gerou: 7s3 terabytes = 7s3 x 1012 bytes

Slide 7

Slide 7 text

Sistema Gerenciador de Workfots Científcos (SGWfC): É um sistema que permite a descrição de um experimento cientfco como um conjunto de tarefas a serem executadas de forma automátcas utlizandos para issos a infraestrutura computacional disponível.

Slide 8

Slide 8 text

Exemplos de SGWfC Kepler htp://kepler-project.org/ Taverna htp://www.taverna.org.uk/ Askalon htp://www.askalon.org/ Pegasus htp://pegasus.sss.ediu/ SciCumulus htp://su.net/projects/scscuuulus

Slide 9

Slide 9 text

Exemplos de Simuladores de Workfows Cientfcos para Nuvem • WorkfowSim • SimpleWorkfow • DynamicCloudSim • CloudSim-DVFS Fonte: htp://www.cloudbus.org/cloudsim/

Slide 10

Slide 10 text

Necessidade de um ambiente de alto desempenho...

Slide 11

Slide 11 text

• A computação em nuvem tem se mostrado uma boa alternatva: – Com investmento menor que o tradicional – Com possibilidade de alocação sob demanda

Slide 12

Slide 12 text

Escalonamento: seleção do recurso e do momento de execução das atvidadess otmizando objetvos como o tempo total de execução.

Slide 13

Slide 13 text

Motvação • Escalonamento para execução em nuvem: – considerar informações como restrições de tempo e orçamento. • Sistemas Gerenciadores de Workfots Científcos atuais: – não exploram completamente as nuvens computacionais – linguagens de modelagem possuem pouca informação de apoio ao escalonamento. • Informações de apoio ao escalonamento: – podem ser inseridas no modelo de workfow

Slide 14

Slide 14 text

Trabalhos em andamento • Modelagem e escalonamento de workfows cientfcos em plataformas de computação em nuvem • Provisionamento dinâmico de recursos para execução de workfows cientfcos em nuvens • Gerenciamento de dados de workfows cientfcos em nuvens computacionais

Slide 15

Slide 15 text

Trabalho concluído Economia de energia na execução de torkfots científcos em nuvens computacionais: ● Novos escalonadores de tarefas ● Simulador CloudSim-DVFS (licença LGPL) ● Conseguiu economia de energia na maioria dos casoss chegando até 22s7% [2].

Slide 16

Slide 16 text

Esse trabalho foi fruto da colaboração de pesquisadores da comunidade cientfca nacional e internacional

Slide 17

Slide 17 text

Sofware livre e a colaboração da comunidade cientfca ● Entre a comunidade do IME-USP – Pedro Campos (graduação) – Elaine Watanabe (mestrado) – Prof. Dr. Daniel Batsta • Professor e Pesquisador da área de Redes – Profª Drª Kelly Bragheto • Professora e Pesquisadora da área de Banco de dados – Dr. Daniel Cordeiro • Pesquisador da área de Computação de Alto Desempenho e Teoria de Escalonamento

Slide 18

Slide 18 text

Sofware livre e a colaboração da comunidade cientfca ● Entre a comunidade internacional – University of Melbourne (Austrália) • Rodrigo Calheiros (CloudSim-DVFS) – Université de Toulouse(França) • Tom Guérout (CloudSim-DVFS) – University of Southern California (EUA) • Weiwei Chen (WorkfowSim)

Slide 19

Slide 19 text

Grupos de pesquisam sobre workfows cientfcos...

Slide 20

Slide 20 text

Alguns grupos que pesquisam sobre Workfows Cientfcos • No Brasil – Universidade Federal do Rio de Janeiro (PESC- COPPE-UFRJ)s em parceria com o Laboratório Nacional de Computação Cientfca (LNCC) • Criadores das ferramentas Chiron e SciCumulus – Universidade Estadual de Campinas (IC-UNICAMP) – Universidade de São Paulo (DCC-IME-USP)

Slide 21

Slide 21 text

Alguns grupos que pesquisam sobre Workfows Cientfcos • Fora do Brasil – University of Southern California (Informaton Sciences Insttute) • Profa. Ewa Deelman – Criadores do Pegasus – University of Manchester (School of Computer Science) • Profa. Carole Goble – Criadores do Tavernas myGrids myExperiment – University of Chicago (Computaton Insttute) • Prof. Ian Foster – Criadores do conceito de grade e do projeto Globus – University of Innsbruck (Insttute of Computer Science) • Prof. Thomas Fahringer – Criadores do ASKALON

Slide 22

Slide 22 text

Resumo ● Sistemas gerenciadores de workfows cientfcos são importantes para o desenvolvimento da ciência. ● Existe uma carência de escalonadores de workfows em nuvens computacionais em tais gerenciadores que explorem melhor os recursos e ambiente disponível. ● Sofware livre permite maior cooperação entre comunidades cientfcass além de permitr reprodutbilidades validação e novos experimentos.

Slide 23

Slide 23 text

MUITO OBRIGADA! Elaine Watanabe ([email protected]) Ricardo Oda ([email protected]) Eduardo Cotrin ([email protected]) Orientadora: Profª Drª Kelly R. Bragheto ([email protected])

Slide 24

Slide 24 text

Referências [1] BRAGHETTOs K. R. ; CORDEIROs D. . Introdução à Modelagem e Execução de Workfows Cientfcos. In: Salgados Ana Carolina; Lóscios Bernadete Farias; Alchieris Eduardo; Barretos Priscila Solís. (Org.). Atualizações em Informátca. 1ed.Porto Alegre: SBCs 2014s v. s p.1-40. [2] WATANABEs E. N. et al . Algoritmos para economia de energia no escalonamento de workfows em nuvens computacionais. Em: Anais do 32º Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos SBRCs 2014. Porto Alegre: Sociedade Brasileira de Computaçãos 2014. p. 31-44