Foi uma apresentação especifica que eu fiz para a Escola Regional de Alto Desempenho, no qual apresentei o cluster da GradeBR/UFAL e seus vários aspectos de alto desempenho e seu contexto.
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Implementa¸ c˜ ao de um supercomputador: Cluster GradeBR/UFAL Baltazar Tavares Vanderlei Leonardo Viana Pereira Joilnen Leite Natalia Souza Laborat´ orio de Computa¸ c˜ ao Cient´ ıfica e Visualiza¸ c˜ ao - LCCV/UFAL 23 de Setembro de 2011
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Sum´ ario 1 Cluster da GradeBR 2 O que um n´ o da GradeBR precisa? 3 Poder de processamento e mem´ oria 4 Rede de interconex˜ ao de alto desempenho 5 Armazenamento de alto desempenho 6 Caracter´ ısticas do Sistema 7 Conclus˜ ao Benchmarks Estado atual
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Sum´ ario 1 Cluster da GradeBR 2 O que um n´ o da GradeBR precisa? 3 Poder de processamento e mem´ oria 4 Rede de interconex˜ ao de alto desempenho 5 Armazenamento de alto desempenho 6 Caracter´ ısticas do Sistema 7 Conclus˜ ao Benchmarks Estado atual
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao O que ´ e a GradeBR? Quem participa da GradeBR?
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao O que ´ e a GradeBR? Quem participa da GradeBR? UFRJ, USP, PUC-Rio, ITA
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao O que ´ e a GradeBR? Quem participa da GradeBR? UFRJ, USP, PUC-Rio, ITA O LCCV entrou como membro para ser um n´ o da GradeBR
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao O que ´ e o LCCV?
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Desafios como membro da GradeBR Desafio Usar tecnologia de ponta para planejar e implementar um grid de processamento de alto desempenho, que pudesse processar problemas de escala peta(da escala de 1015) de forma cooperativa entre os v´ arios n´ os.
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Sum´ ario 1 Cluster da GradeBR 2 O que um n´ o da GradeBR precisa? 3 Poder de processamento e mem´ oria 4 Rede de interconex˜ ao de alto desempenho 5 Armazenamento de alto desempenho 6 Caracter´ ısticas do Sistema 7 Conclus˜ ao Benchmarks Estado atual
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Necessario: Grande poder de processamento e mem´ oria Grande espa¸ co e velocidade de armazenamento Uma rede de interconex˜ ao extremamente mais r´ apida que a convencional Um sistema tolerante a falhas, robusto e funcional(tanto em hardware como em software)
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Sum´ ario 1 Cluster da GradeBR 2 O que um n´ o da GradeBR precisa? 3 Poder de processamento e mem´ oria 4 Rede de interconex˜ ao de alto desempenho 5 Armazenamento de alto desempenho 6 Caracter´ ısticas do Sistema 7 Conclus˜ ao Benchmarks Estado atual
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao O cluster do LCCV possui: 8 placas de v´ ıdeo totalizando 30Tflops 218 n´ os de processamento, com processadores i7 Cada maquina com 2 processadores, cada processador 4 n´ ucleos Cada maquina com 24GB de mem´ oria NUMA Totalizando mais de 5TB de mem´ oria NUMA e 1744 n´ ucleos S´ o de n´ os de processamento, temos 20 Tflops
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Blades:
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Blades:
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Blades:
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Blades:
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Sum´ ario 1 Cluster da GradeBR 2 O que um n´ o da GradeBR precisa? 3 Poder de processamento e mem´ oria 4 Rede de interconex˜ ao de alto desempenho 5 Armazenamento de alto desempenho 6 Caracter´ ısticas do Sistema 7 Conclus˜ ao Benchmarks Estado atual
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Porque foi escolhida essa topologia e interconex˜ ao Para a rede de alto desempenho, foi escolhido o InfiniBand(IB)
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Porque foi escolhida essa topologia e interconex˜ ao Para a rede de alto desempenho, foi escolhido o InfiniBand(IB) O IB ´ e um meio com baixa latˆ encia
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Porque foi escolhida essa topologia e interconex˜ ao Para a rede de alto desempenho, foi escolhido o InfiniBand(IB) O IB ´ e um meio com baixa latˆ encia Tem uma alta taxa de transferˆ encia
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Porque foi escolhida essa topologia e interconex˜ ao Para a rede de alto desempenho, foi escolhido o InfiniBand(IB) O IB ´ e um meio com baixa latˆ encia Tem uma alta taxa de transferˆ encia ´ E usado para conex˜ ao entre maquinas(compat´ ıvel com MPI)
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Porque foi escolhida essa topologia e interconex˜ ao Para a rede de alto desempenho, foi escolhido o InfiniBand(IB) O IB ´ e um meio com baixa latˆ encia Tem uma alta taxa de transferˆ encia ´ E usado para conex˜ ao entre maquinas(compat´ ıvel com MPI) ´ E usado por dispositivos de armazenamento(compat´ ıvel com o lustre)
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Porque foi escolhida essa topologia e interconex˜ ao Para a rede de alto desempenho, foi escolhido o InfiniBand(IB) O IB ´ e um meio com baixa latˆ encia Tem uma alta taxa de transferˆ encia ´ E usado para conex˜ ao entre maquinas(compat´ ıvel com MPI) ´ E usado por dispositivos de armazenamento(compat´ ıvel com o lustre) Pode ser usada uma camada de compatibilidade com o IP(chamada de “IPoIB”)
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Porque foi escolhida essa topologia e interconex˜ ao Para a rede de alto desempenho, foi escolhido o InfiniBand(IB) O IB ´ e um meio com baixa latˆ encia Tem uma alta taxa de transferˆ encia ´ E usado para conex˜ ao entre maquinas(compat´ ıvel com MPI) ´ E usado por dispositivos de armazenamento(compat´ ıvel com o lustre) Pode ser usada uma camada de compatibilidade com o IP(chamada de “IPoIB”) Com IB, foi conseguido uma taxa de transferˆ encia m´ axima de 40Gbit/s
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Topologia adotada: Figura: hipercubo 4D
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Sum´ ario 1 Cluster da GradeBR 2 O que um n´ o da GradeBR precisa? 3 Poder de processamento e mem´ oria 4 Rede de interconex˜ ao de alto desempenho 5 Armazenamento de alto desempenho 6 Caracter´ ısticas do Sistema 7 Conclus˜ ao Benchmarks Estado atual
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Para armazenamento de alto desempenho, era nescess´ ario: Um sistema de arquivo que funcionasse via rede
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Para armazenamento de alto desempenho, era nescess´ ario: Um sistema de arquivo que funcionasse via rede Um sistema de arquivo paralelo
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Para armazenamento de alto desempenho, era nescess´ ario: Um sistema de arquivo que funcionasse via rede Um sistema de arquivo paralelo Escal´ avel para um grande numero de clientes
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Para armazenamento de alto desempenho, era nescess´ ario: Um sistema de arquivo que funcionasse via rede Um sistema de arquivo paralelo Escal´ avel para um grande numero de clientes Compat´ ıvel com o hardware usado
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Porque foi escolhido o lustrefs: Sistema de arquivos via rede e paralelo
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Porque foi escolhido o lustrefs: Sistema de arquivos via rede e paralelo Poss´ ıvel usar raid e garantir seguran¸ ca e acesso r´ apido a dados
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Porque foi escolhido o lustrefs: Sistema de arquivos via rede e paralelo Poss´ ıvel usar raid e garantir seguran¸ ca e acesso r´ apido a dados Escal´ avel ate dezenas de milhares de clientes
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Porque foi escolhido o lustrefs: Sistema de arquivos via rede e paralelo Poss´ ıvel usar raid e garantir seguran¸ ca e acesso r´ apido a dados Escal´ avel ate dezenas de milhares de clientes Suporte a IB, usando rdma para se comunicar diretamente
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Porque foi escolhido o lustrefs: Sistema de arquivos via rede e paralelo Poss´ ıvel usar raid e garantir seguran¸ ca e acesso r´ apido a dados Escal´ avel ate dezenas de milhares de clientes Suporte a IB, usando rdma para se comunicar diretamente Tolerˆ ancia a falhas e Alta disponibilidade(sem balan¸ co de carga)
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Sum´ ario 1 Cluster da GradeBR 2 O que um n´ o da GradeBR precisa? 3 Poder de processamento e mem´ oria 4 Rede de interconex˜ ao de alto desempenho 5 Armazenamento de alto desempenho 6 Caracter´ ısticas do Sistema 7 Conclus˜ ao Benchmarks Estado atual
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao O que aumenta a dificuldade com o sistema: Um sistema com muitos clientes
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao O que aumenta a dificuldade com o sistema: Um sistema com muitos clientes Alta disponibilidade e balan¸ co de carga em servi¸ cos
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao O que aumenta a dificuldade com o sistema: Um sistema com muitos clientes Alta disponibilidade e balan¸ co de carga em servi¸ cos Lidar com o sistema de varias maquinas ao mesmo tempo
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao O que aumenta a dificuldade com o sistema: Um sistema com muitos clientes Alta disponibilidade e balan¸ co de carga em servi¸ cos Lidar com o sistema de varias maquinas ao mesmo tempo Lidar com programas escalonadores
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao O que aumenta a dificuldade com o sistema: Um sistema com muitos clientes Alta disponibilidade e balan¸ co de carga em servi¸ cos Lidar com o sistema de varias maquinas ao mesmo tempo Lidar com programas escalonadores V´ arios problemas por lidar com tecnologia de ponta
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao O que aumenta a dificuldade com o sistema: Um sistema com muitos clientes Alta disponibilidade e balan¸ co de carga em servi¸ cos Lidar com o sistema de varias maquinas ao mesmo tempo Lidar com programas escalonadores V´ arios problemas por lidar com tecnologia de ponta Sistema muito grande e complexo
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Benchmarks Estado atual Sum´ ario 1 Cluster da GradeBR 2 O que um n´ o da GradeBR precisa? 3 Poder de processamento e mem´ oria 4 Rede de interconex˜ ao de alto desempenho 5 Armazenamento de alto desempenho 6 Caracter´ ısticas do Sistema 7 Conclus˜ ao Benchmarks Estado atual
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Benchmarks Estado atual Sum´ ario 1 Cluster da GradeBR 2 O que um n´ o da GradeBR precisa? 3 Poder de processamento e mem´ oria 4 Rede de interconex˜ ao de alto desempenho 5 Armazenamento de alto desempenho 6 Caracter´ ısticas do Sistema 7 Conclus˜ ao Benchmarks Estado atual
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Benchmarks Estado atual HPL: O que ´ e o HPL? HPL ´ e um teste amplamente usado que mede a eficiˆ encia de um cluster em flops. O Cluster teve um resultado de 17TFlops. Resultados parciais com eficiˆ encia superior a 85%(Rmax /Rpeak ).
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Benchmarks Estado atual IOR: O que ´ e o IOR? IOR ´ e um teste usado que mede a escrita e leitura de um cluster em um sistema de arquivos usando posix e mpi-io. Tabela: Resultados do IOR POSIX [GB/s] MPI-IO [GB/s] Leitura — Escrita Leitura 6,8 — 2,7 6
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Benchmarks Estado atual Sum´ ario 1 Cluster da GradeBR 2 O que um n´ o da GradeBR precisa? 3 Poder de processamento e mem´ oria 4 Rede de interconex˜ ao de alto desempenho 5 Armazenamento de alto desempenho 6 Caracter´ ısticas do Sistema 7 Conclus˜ ao Benchmarks Estado atual
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Benchmarks Estado atual Estado atual Um dos maiores supercomputadores em atividade na Am´ erica Latina
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Benchmarks Estado atual Estado atual Um dos maiores supercomputadores em atividade na Am´ erica Latina Foram executadas mais de 500 mil horas de processamento em projetos do LCCV/Petrobras
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Benchmarks Estado atual Estado atual Um dos maiores supercomputadores em atividade na Am´ erica Latina Foram executadas mais de 500 mil horas de processamento em projetos do LCCV/Petrobras Implementamos com sucesso um cluster de alto desempenho
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Benchmarks Estado atual Estado atual Um dos maiores supercomputadores em atividade na Am´ erica Latina Foram executadas mais de 500 mil horas de processamento em projetos do LCCV/Petrobras Implementamos com sucesso um cluster de alto desempenho Preparando a infraestrutura para o grid continental de alto desempenho GradeBR
precisa? Poder de processamento e mem´ oria Rede de interconex˜ ao de alto desempenho Armazenamento de alto desempenho Caracter´ ısticas do Sistema Conclus˜ ao Benchmarks Estado atual Agradecimentos Agradecemos a ANP, a Petrobras e ao Laborat´ orio de Computa¸ c˜ ao Cient´ ıfica e Visualiza¸ c˜ ao da Universidade Federal de Alagoas por garantir acesso aos recursos computacionais do cluster GradeBR/UFAL da Rede Galileu.
psychomantys
oracle4engineer
oniak3ibm
mii3king
axelmizu
naoki_0531
wisemuji
risatube
kutsushitaneko
mixplace
hakuturu583
shintaro_fukatsu
shunsukeono_am
morganepeng
maggiecrowley
tammyeverts
eileencodes
bryan
dougneiner
pauljervisheath
bluesmoon
mongodb
csswizardry
ammeep
bkeepers
