Big Data: Conceitos e Desafios

Transcript

1. Universidade Federal do Ceará Departamento de Engenharia de Teleinformática Big Data: Conceitos e Desafios Flávio R. C. Sousa flaviosousa@ufc.br @flaviosousa www.lia.ufc.br/~flavio 2015
3. Introdução 90% dos dados no mundo hoje foram produzidos nos últimos dois anos 64 Bilhões de mensagens em 24 horas 100 GB para análise 3 seg/decisão 3 Fonte: IBM/Whatsapp Os dados armazenados vão crescer 50 vezes mais até 2020
4. Introdução  Facebook • 1.2B de usuários • 1,13 Trilhões de "likes" • 240B de fotos e 140.3B de relacionamentos • Crescimento de 7PB por mês  Youtube • 100 horas de vídeos adicionado a cada minuto  Bolsa de valores de Nova Iorque • + 1 TB de dados a cada sessão do pregão  Boeing • 640 TB gerados em um voo transatlântico  Wal-Mart • 2,5 PB e 1 milhão de transações/hora 4
5. 5 Introdução  LHC CERN • 15 Petabytes por ano  Sloan Digital Sky Survey • 10 Petabytes gerados a cada varredura  Google • 24 Petabytes processados por dia 640K ought to be enough for anybody.
6. 6 Introdução Up to 10,000 Times larger Up to 10,000 times faster Traditional Data Warehouse and Business Intelligence Data Scale yr mo wk day hr min sec … ms s Exa Peta Tera Giga Mega Kilo Decision Frequency Occasional Frequent Real-time Data in Motion Data at Rest Telco Promotions 100,000 records/sec, 6B/day 10 ms/decision 270TB for Deep Analytics Homeland Security 600,000 records/sec, 50B/day 1-2 ms/decision 320TB for Deep Analytics Fonte: IBM
7. Introdução 7 2.7 ZB = 85 B x 32 GB
8. Os dados são “Grandes” 8 Fonte: Amplab UC Berkeley
9. Dados gerados por IoT 9
10. Os dados são “Sujos” 10 Fonte: Amplab UC Berkeley  Diversas fontes de dados  Sem esquema  Sintaxe e semântica inconsistente
11. Questões “Complexas” 11 Fonte: Amplab UC Berkeley  Perguntas difíceis • Qual é o impacto no trânsito e no preços das casas com construção de uma nova ponte?  Perguntas em tempo real • Existe um ataque cibernético acontecendo?  Perguntas em abertas • Quantos supernovas aconteceram no ano passado?
12. Big Data 12
13. 13 Big Data Fonte: R. Jiménez-Peris
14. 14 “Big Data é como sexo no colegial: “Ninguém faz, mas todo mundo diz que faz. Então todos pensam que alguém está fazendo e dizem que fazem também” Big Data Fonte: Jay Kidd, CTO da NetApp
15. Big Data  Big Data são dados que excedem o armazenamento, o processamento e a capacidade dos sistemas convencionais • Volume de dados muito grande • Dados são gerados rapidamente • Dados não se encaixam nas estruturas de arquiteturas de sistemas atuais  Além disso, para obter valor a partir desses dados, é preciso mudar a forma de analisá-los 15 Fonte: Jordi Torres
16. 6 V's do Big Data Valor Veracidade Volatilidade Velocidade Variedade Volume Não-estruturado Semi-estruturado Estruturado Terabytes … Exabytes Batch Tempo Real Janela de tempo onde podemos usar os dados Estado verdadeiro da realidade Análise Estratégica de Dados
17. 17 Business decisions Analytics Master data management Data access Data governance Data security Data quality Data integration Data semantics Fonte: Accenture Big Data
18. Tecnologias para Big Data 18 Fonte: Jordi Torres
21. 21 Fonte: IBM
22. Tecnologias para Big Data 22 Fonte: Jordi Torres
23. 23 Tecnologias para Big Data
24. 24 “O desafio fundamental para as aplicações de Big Data é explorar os grandes volumes de dados e extrair informações úteis ou conhecimento para futuras ações” Fonte: Rajaraman and Ullman 2012 Análise para Big Data
25. Homeland Security Finance Smarter Healthcare Multi-channel sales Telecom Manufacturing Traffic Control Trading Analytics Fraud and Risk Log Analysis Search Quality Retail: Churn, NBO Análise para Big Data: Gera Valor Fonte: Alberto Laender
26. Big Data: Desafios
28. Cientista de Dados
29. Cientista de Dados: Visão Clássica 29 Fonte: W Meira Jr.
30. Cientista de Dados: Visão NSA 30 Fonte: W Meira Jr.
31. 31 Fonte: Hilary Mason
32. Cientista de Dados 32
33. Novos Sistemas para Big Data 33 Fonte: Jordi Torres
34. Novos Sistemas para Big Data  Armazenamento • SSD  Processamento • MapReduce  Gerenciamento • NoSQL, NewSQL  Análise • Aprendizagem de máquina • Computação autonômica 34
35. Novos Sistemas para Big Data 35 Fonte: Walmart
36. Novos Sistemas para Big Data  Lidem com 6 V’s do Big Data • Heterogeneidade • Análise de padrões temporais • Processamento em tempo real • Alta dimensionalidade dos dados • Incerteza, subjetividade e ambiguidade  Novas tecnologias • Big Data + Cloud  Segurança dos dados • Privacidade
37. Big Data para Computação Cognitiva 37 Fonte: Jordi Torres
38. Big Data para Computação Cognitiva 38 Fonte: Jordi Torres
39. Obrigado! Flávio R. C. Sousa flaviosousa@ufc.br @flaviosousa www.lia.ufc.br/~flavio