Big Data

Palestra sobre Big Data apresentada por Thiago Gonzaga no meetup Java Noroeste realizado na FATEC

Transcript

1. BIG DATA Seus problemas estão apenas começando Thiago Gonzaga Engenheiro de Software - Aurea Software
2. Agenda • No principio era o verbo • O que é Big Data? • Estatísticas sobre Big Data • Soluções para Big Data • Oportunidades na Area de Big Data
3. Quién soy jo? • Bacharel em ciência da computação pela UNESP • Desenvolvedor desde 2004, em Java desde 2007 • Evangelista Java, palestrante e entusiasta de tecnologias livres e Open Source. • Coordenador de Eventos do Grupo de Usuários Java. • Engenheiro de Software na Aurea
4. No princípio era o verbo…
6. Dados • “Informação” não processada • Fatos • Números • Afirmações • Sem significado • Pode ser texto, video, imagem
7. Informação • Conteúdo útil • Relevante • Possui significado • Processo, estudo, ensaio a partir de dados
9. Falemos sobre Big Data
10. Você já deve ter ouvido falar: “Big Data é a solução do seu problema…”
12. O MAIOR PROBLEMA DE TI DA ATUALIDADE
14. Vamos a lógica
15. Dados, dados, muitos dados • Com o aumento de quantidade de dados • aumenta custos de processamento, logo mais gastos em infraestrutura • armazenamento de dados não é infinito, logo mais gastos com armazenamento e backup • Grande volume de dados aumenta consumo de banda de entrada e saída, ou seja, mais gastos… • tornar a informação disponível requer mais gastos • Orçamento não é infinito e geralmente é bem curto
16. Gastos,
17. gastos…
18. … e mais gastos
19. Resumindo…
20. O que é big data? • Do inglês dado grande (literalmente) • Quando você muitos dados • uma porrada de dados • uma caralhada de dados • ou seja… • DADOS PRA CA!@#$%ˆ&*
22. Thiago não pode escrever isso no slide… Então escreve ai:
23. “Big Data é um termo para descrever um problema onde o fluxo de entrada de dados é maior que a capacidade de processa-los”
25. Vamos ver algumas estatísticas
26. Boeing 787 produz meio terabyte de dados por vôo Fonte: http://www.computerworlduk.com/news/data/boeing-787s- create-half-terabyte-of-data-per-flight-says-virgin-atlantic-3433595/
28. Se há problema e demanda precisa de uma solução
29. Solução para BigData • Armazenamento • Processamento • Análise
30. Solução para BigData • Armazenamento: • HDFS (Hadoop Distributed File System) • Banco de dados não estruturado (não relacional) • MongoDB • Cassandra • Neo4j
31. Solução para BigData • Processamento: • Hadoop MapReduce • Apache Lucene • Solr • Elasticsearch (especialmente pra texto)
32. Solução para BigData • Análise de dados: • Pentaho • Kibana • Graylog
33. Curiosidade: Hadoop, Lucene, Solr, elasticsearch entre outras soluções Big Data
36. Pra onde eu vou • Engenheiro/Arquiteto de Informação • Cientista de dados • Analista de dados • Designer de BI • Analista de BI • Arquiteto de Cloud • Segurança da Informação
39. Leituras interessantes • Uma visão universal sobre dados: 
 http://www.emc.com/leadership/digital-universe • Apache Hadoop: http://hadoop.apache.org/ • Apache Lucene: http://lucene.apache.org • Apache Solr: http://lucene.apache.org/solr/ • elasticsearch: https://www.elastic.co/products/elasticsearch • Kibana: https://www.elastic.co/products/kibana • Graylog: https://www.graylog.org/ • Pentaho: http://www.pentaho.com/ • Panorama de Big Data no Brasil: https://www.ibm.com/developerworks/community/blogs/bigdata/ entry/entrevista_com_cezar_taurion_o_estagio_atual_do_big_data_no_brasil • Você realmente sabe o que é Big Data: https://www.ibm.com/developerworks/community/blogs/ ctaurion/entry/voce_realmente_sabe_o_que_e_big_data
40. Projetos do Java Noroeste • Encontros regulares • Incentivo a contribuição da comunidade (Programa de treinamento para futuros palestrantes) (call 4 papers: http://bit.ly/javanoroeste-call-for-papers) • Slack (convite: javanoroeste-slack.herokuapp.com.br) • Novo Logo (votação: bit.ly/pesquisa-logo-javanoroeste) • Novo Site • Banco de currículos • Sistema de gerador de certificado • Entre outros
42. Obrigado!!! Thiago Gonzaga Engenheiro de Software - Aurea Software @thiguetta