e Desvantagens • Ecossistema Hadoop • Componentes • Configuração do Ambiente • Exemplo SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 3
toda informação que não pode ser processada e/ou analisada utilizando processos e ferramentas convencionais. • Representa um desafio tecnológico, pois demanda atenção à infraestrutura e tecnologias analíticas. SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 4
informação? • Uma solução: armazenamento e processamento distribuído • Cluster • Cloud Computing SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 7
de manipulação de dados não trabalham bem neste cenário • Necessário uma nova abordagem SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 8
práticos, evolução e novas possibilidades 9 • Dados relacionais • Hardware caro • Dados estruturados • Escalabilidade limitada • Big Data • Hardware comum • Dados não estruturados • Mais escalável
para processamento e armazenamento de dados em larga escala • Implementado em Java • Open source SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 10
imagens • Facebook • Identificação de spams • Análise de logs • Análise de perfil de usuários • Last.FM • Recomendação de músicas SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 13
grandes corporações • Maiores correções de erros • Constante evolução do arcabouço • Econômico • Software livre • Uso de máquinas e redes convencionais • Aluguel de serviços disponíveis na nuvem • Exemplo: Amazon Elastic MapReduce SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 16
• Escalável • Permite facilmente adicionar máquinas ao cluster • Adição não implica na alteração do código-fonte • Foco na regra de negócio • Hadoop realiza o "trabalho duro” • Desenvolvedores podem focar apenas na abstração do problema SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 17
• Pode impedir o escalonamento • Dificuldade das aplicações paralelas • Problemas não paralelizáveis • Processamento de arquivos pequenos • Muito processamento em poucos dados SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 18
– Monitoramento de SD • Hbase – BD distribuído e escalável • Hive – Infraestrutura de datawarehouse • Pig – Linguagem de fluxo de dados • ZooKeeper – Coordenação de serviços SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 21
Armazenamento de grandes volumes de dados • Recuperação de dados transparente ao usuário • WORM - Write Once, Read Many! SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 24
de um arquivo • Principalmente em soluções BigData •HDFS divide os arquivos em blocos de mesmo tamanho • 64 MB por padrão SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 25
em um diferente nó • 2 em um mesmo armário (rack) e 1 em um armário diferente •Re-Replicação • Em casos de corromper uma das réplicas SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 26
• Realiza computação sobre os dados • Utiliza os blocos armazenados no HDFS, logo não necessita divisão dos dados SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 29
conjunto de entrada com chaves e valores, produzindo uma lista de chaves e valores • A função Reduce atua sobre os valores intermediários produzidos pelo Map para, normalmente, agrupar os valores e produzir a saída SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 31
• FSImage e EditLog • Controla a localização das réplicas • Encaminha os blocos aos nós escravos • Mantém as informações em memória SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 34
de tarefas MapReduce • Designa as tarefas aos nós escravos • Monitora a execução das tarefas, para agir no caso de falhas SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 35
Realiza pontos de checagem em intervalos pré-definidos • Permite manter o nível de desempenho do NameNode SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 36
• Permite armazenar diversos blocos • Deve se comunicar com o NameNode SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 37
• IDE de Desenvolvimento • Ambiente Linux (preferencialmente) • Última versão do Hadoop (preferencialmente) SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 42
no arquivo /conf/hadoop-env.sh • Configurar os arquivos: conf/core-site.xml conf/mapred-site.xml conf/hdfs-site.xml • Formatar o HDFS • Armazenar dados no HDFS • Iniciar os componentes SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 44
da frequência das palavras em um conjunto de arquivos. • Conjunto de arquivos: terabytes! 2012, 4 Hadoop, 2 Minicurso, 1 Paraná, 1 SCANP, 1 Sistemas, 2 UTFPR, 1 SCANP UTFPR 2012 Hadoop 2012 Sistemas Minicurso Hadoop 2012 Paraná 2012 Sistemas Word Count SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 45
frequência das palavras • Entrada: arquivos texto • Saída: arquivo texto • Cada linha: palavra, separador (tab), quantidade • Map: gera pares de (palavra, quantidade) • Reduce: para cada palavra, soma as quantidades SCANP 2012 Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades 46
schroneko
katiecoart
codingconduct
chriscoyier
thoeni
emna__ayadi
akademiya2063
marketingsoph
honzajavorek
nikkihalliwell
samlambert
akihiro_kokubo
