BIG DATA Seus problemas estão apenas começando Thiago Gonzaga Engenheiro de Software - Aurea Software 

Agenda • No principio era o verbo • O que é Big Data? • Estatísticas sobre Big Data • Soluções para Big Data • Oportunidades na Area de Big Data 

Quién soy jo? • Bacharel em ciência da computação pela UNESP • Desenvolvedor desde 2004, em Java desde 2007 • Evangelista Java, palestrante e entusiasta de tecnologias livres e Open Source. • Coordenador de Eventos do Grupo de Usuários Java. • Engenheiro de Software na Aurea 

No princípio era o verbo… 

No content

Dados • “Informação” não processada • Fatos • Números • Afirmações • Sem significado • Pode ser texto, video, imagem 

Informação • Conteúdo útil • Relevante • Possui significado • Processo, estudo, ensaio a partir de dados 

No content

Falemos sobre Big Data 

Você já deve ter ouvido falar: “Big Data é a solução do seu problema…” 

No content

O MAIOR PROBLEMA DE TI DA ATUALIDADE 

No content

Vamos a lógica 

Dados, dados, muitos dados • Com o aumento de quantidade de dados • aumenta custos de processamento, logo mais gastos em infraestrutura • armazenamento de dados não é infinito, logo mais gastos com armazenamento e backup • Grande volume de dados aumenta consumo de banda de entrada e saída, ou seja, mais gastos… • tornar a informação disponível requer mais gastos • Orçamento não é infinito e geralmente é bem curto 

Gastos, 

gastos… 

… e mais gastos 

Resumindo… 

O que é big data? • Do inglês dado grande (literalmente) • Quando você muitos dados • uma porrada de dados • uma caralhada de dados • ou seja… • DADOS PRA CA!@#$%ˆ&* 

No content

Thiago não pode escrever isso no slide… Então escreve ai: 

“Big Data é um termo para descrever um problema onde o fluxo de entrada de dados é maior que a capacidade de processa-los” 

No content

Vamos ver algumas estatísticas 

Boeing 787 produz meio terabyte de dados por vôo Fonte: http://www.computerworlduk.com/news/data/boeing-787s- create-half-terabyte-of-data-per-flight-says-virgin-atlantic-3433595/ 

No content

Se há problema e demanda precisa de uma solução 

Solução para BigData • Armazenamento • Processamento • Análise 

Solução para BigData • Armazenamento: • HDFS (Hadoop Distributed File System) • Banco de dados não estruturado (não relacional) • MongoDB • Cassandra • Neo4j 

Solução para BigData • Processamento: • Hadoop MapReduce • Apache Lucene • Solr • Elasticsearch (especialmente pra texto) 

Solução para BigData • Análise de dados: • Pentaho • Kibana • Graylog 

Curiosidade: Hadoop, Lucene, Solr, elasticsearch entre outras soluções Big Data 

No content

No content

Pra onde eu vou • Engenheiro/Arquiteto de Informação • Cientista de dados • Analista de dados • Designer de BI • Analista de BI • Arquiteto de Cloud • Segurança da Informação 

No content

No content

Leituras interessantes • Uma visão universal sobre dados: 
 http://www.emc.com/leadership/digital-universe • Apache Hadoop: http://hadoop.apache.org/ • Apache Lucene: http://lucene.apache.org • Apache Solr: http://lucene.apache.org/solr/ • elasticsearch: https://www.elastic.co/products/elasticsearch • Kibana: https://www.elastic.co/products/kibana • Graylog: https://www.graylog.org/ • Pentaho: http://www.pentaho.com/ • Panorama de Big Data no Brasil: https://www.ibm.com/developerworks/community/blogs/bigdata/ entry/entrevista_com_cezar_taurion_o_estagio_atual_do_big_data_no_brasil • Você realmente sabe o que é Big Data: https://www.ibm.com/developerworks/community/blogs/ ctaurion/entry/voce_realmente_sabe_o_que_e_big_data 

Projetos do Java Noroeste • Encontros regulares • Incentivo a contribuição da comunidade (Programa de treinamento para futuros palestrantes) (call 4 papers: http://bit.ly/javanoroeste-call-for-papers) • Slack (convite: javanoroeste-slack.herokuapp.com.br) • Novo Logo (votação: bit.ly/pesquisa-logo-javanoroeste) • Novo Site • Banco de currículos • Sistema de gerador de certificado • Entre outros 

No content

Obrigado!!! Thiago Gonzaga Engenheiro de Software - Aurea Software @thiguetta