O que é BIG DATA e como pode influenciar nossas vidas

Transcript

1. O que é BIG DATA e como pode influenciar nossas vidas VIRADA CIENTÍFICA 2015 – IME/USP
2. Elaine Naomi Watanabe Mestranda em Ciência da Computação no Instituto de Matemática e Estatística da Universidade de São Paulo (IME-USP) Orientadora: Profa. Dra. Kelly Rosa Braghetto Tema de Pesquisa: Gerenciamento de grandes volumes de dados em workflows científicos executados em nuvens computacionais http://www.ime.usp.br/~elainew/
3. BIG DATA
4. ARMAZENAMENTO DE DADOS
5. Vocês já contaram quantas fotos tiravam antigamente e quantas tiram hoje em dia?
6. DADOS ESTATÍSTICOS DO NOSSO DIA A DIA GOOGLE 40 mil buscas por segundo 3,5 bilhões de buscas por dia YOUTUBE + de 1 bilhão de usuários + de 100 milhões de horas de vídeo assistidas por dia
7. DADOS ESTATÍSTICOS DO NOSSO DIA A DIA FACEBOOK 968 milhões usuários ativos por dia (844 milhões via dispositivos móveis por dia) 1,49 bilhões usuários ativos por mês INSTAGRAM + de 40 bilhões de fotos compartilhadas 3,5 bilhões de likes por dia 80 milhões de fotos por dia 400 milhões de usuários ativos por mês
8. DADOS ESTATÍSTICOS DO NOSSO DIA A DIA WHATSAPP 300 bilhões de mensagens por dia 700 milhões de usuários por mês Um usuário envia, em média, 43 mensagens por dia TWITTER + de 500 milhões de tweets por dia + de 316 milhões de usuários ativos por mês
9. DADOS ESTATÍSTICOS DO NOSSO DIA A DIA NÚMERO DE SITES NO MUNDO: + de 942,1 milhões de sites NÚMERO DE CELULARES NO MUNDO: + de 7,5 bilhões de celulares NÚMERO DE USUÁRIOS DA INTERNET: + de 3,2 bilhões de usuários NÚMERO DE PESSOAS NO MUNDO: + de 7,2 bilhões de pessoas
10. 2,5 EXABYTES de dados por dia... e esse número dobra a cada 40 meses BIG DATA: The management revolution. A. McAfee e E. Brynjolfsson
11. 2,5 EXABYTES = 2,5 * 1024 PETABYTES = 2,5 * 1024 * 1024 TB = 2,5 * 1024 * 1024 * 1024 GB = 2,5 * 1024 * 1024 * 1024 * 1024 MB Vamos analisar?
12. ≈2,7 milhões de HDs de 1TB ≈600 bilhões de DVDs de 4,7GB ≈2 trilhões de disquetes de 1,44MB POR DIA! são
13. CRIAMOS MAIS DADOS POR SEGUNDO NA INTERNET DO QUE ARMAZENAMOS EM TODA INTERNET NOS ÚLTIMOS 20 ANOS! BIG DATA: The management revolution. A. McAfee e E. Brynjolfsson
14. uma avalanche de dados
15. uma ENORME avalanche de dados
16. uma IMENSA avalanche de dados
17. mas isso é BIG DATA?
18. conjuntos de dados difíceis de se capturar, armazenar, analisar e visualizar com as tecnologias atuais BIG DATA Data-intensive applications, challenges, techniques and technologies: A survey on Big Data. C.L. Philip Chen, Chun-Yang Zhang
19. 3V’s 3D Data Management: Controlling Data Volume, Velocity, and Variety. Doug Laney (Gartner) VOLUME + VARIEDADE + VELOCIDADE
20. 4V’s Understanding Big Data. Paul Zikopoulos (IBM) VOLUME + VARIEDADE + VELOCIDADE + VALOR ou VARIABILIDADE ou VIRTUAL
21. 5V’s Why only one of the 5 Vs of big data really matters. Bernard Marr (IBM) VOLUME + VARIEDADE + VELOCIDADE + VERACIDADE + VALOR
22. não existe uma definição exata pois ela depende do domínio da aplicação BIG DATA: The management revolution. A. McAfee e E. Brynjolfsson
23. envolve captura, armazenamento, processamento, análise e visualização de imensos volumes de dados BIG DATA
24. EXPLORANDO O BIG DATA
25. DETECTAR MUDANÇAS ÚNICAS NA VIDA DAS PESSOAS como a GRAVIDEZ Mas como? How Companies Learn Your Secrets http://www.nytimes.com/2012/02/19/magazine/shopping- habits.html?_r=0
26. suplementos : primeiras 20 semanas loções sem perfume: segundo trimestre sabão sem perfume e muito, muito algodão: Vai nascer logo! padrão de comportamento...
27. RECOMENDAÇÃO DE FILMES Responsável por 75% das atividades de visualizações The Science Behind the Netflix Algorithms That Decide What You’ll Watch Next http://www.wired.com/2013/08/qq_netflix-algorithm/ Big Data Lessons From Netflix http://www.wired.com/insights/2014/03/big-data-lessons-netflix/
28. criado graças à análise de BIG DATA Giving Viewers What They Want http://www.nytimes.com/2013/02/25/busi ness/media/for-house-of-cards-using-big- data-to-guarantee-its-popularity.html?_r=0
29. ENCONTRAR O PAR PERFEITO Questionário “diferente”... responsável por 4% dos novos casamentos nos EUA http://eharmony.com/
30. Data science of love http://www.infoq.com/presentations/eharmony-hadoop
31. PESQUISA COM DESENVOLVEDORES JAVA UM CLICK e descobriam sobre a vida de cada um Veja mais em: Data Science – a vida real - http://www.tailtarget.com/palestras-e-apresentacoes/
32. SUA VIDA ONLINE...
33. pode dizer se você é um bom candidato para uma vaga O big data antecipa a morte do currículo http://exame.abril.com.br/revista-exame/edicoes/1044/noticias/a-morte-do-curriculo
34. pode dizer se você se divorciou Driven by Data: Your Bank Can Predict Your Divorce http://www.forbes.com/sites/techonomy/2011/11/15/driven-by-data-your-bank-can-predict-your-divorce/
35. se você está desempregado Tracking employment shocks using mobile phone data Jameson L. Toole, Yu-Ru Lin, Erich Muehlegger, Daniel Shoag, Marta C. González, David Lazer
36. se seu namoro vai acabar Algoritmo prevê, no Facebook, quando um namoro vai acabar http://exame.abril.com.br/tecnologia/noticias/algoritmo-preve-no-facebook-quando-um- namoro-vai-acabar
37. se a inflação vai subir nos próximos meses O que buscas no Google podem revelar sobre a inflação http://exame.abril.com.br/economia/noticias/o-que-buscas-no-google-podem-revelar-sobre-a-inflacao
38. se cabelo enrolado vai ser a tendência para o próximo ano Data Science – A Vida Real http://www.tailtarget.com/palestras-e-apresentacoes/
39. E O LADO RUIM?
40. NSA Agência de Segurança Nacional dos Estados Unidos ESPIONAGEM YOTTABYTES de dados capturados 1024 ZettaBytes = 1024 * 1024 ExaBytes = + de 1 trilhão de HDs de 1 TB ALVO = o mundo inteiro Fonte: http://www.forbes.com/sites/metabrown/2015/08/27/nsa- mass-surveillance-biggest-big-data-story/
41. E O LADO BOM? E O LADO RUIM?
42. Diagnóstico de doenças  DETECTAR DEPRESSÃO PÓS-PARTO VIA FACEBOOK OU TWITTER Predicting Postpartum Changes in Emotion and Behavior via Social Media: http://dl.acm.org/citation.cfm?id=2466447 Characterizing and Predicting Postpartum Depression from Shared Facebook Data: http://dl.acm.org/citation.cfm?id=2531675  CONTER EPIDEMIAS HealthMap + ebola: http://www.healthmap.org/ebola/#timeline Veja mais em : http://exame.abril.com.br/tecnologia/noticias/conheca-o- brasileiro-que-ajudou-a-conter-o-avanco-do-ebola
43. Novas formas de ensinar e aprender • CRIAR CURSOS ONLINE PERSONALIZADOS Veja mais em: https://www.ucl.ac.uk/public-policy/public-policy- briefings/big_data_briefing_final.pdf • ACOMPANHAR MUDANÇAS NA VIDA DOS ESTUDANTES UNIVERSITÁRIOS Veja mais em: http://vejasp.abril.com.br/materia/big-data-educacao/
44. E A NOSSA PRIVACIDADE?
45. CONSEGUIREMOS FUGIR DO MUNDO DIGITAL?
46. QUEREMOS CONSEGUIREMOS FUGIR DO MUNDO DIGITAL?
47. QUER SABER MAIS?
48. cursos online  Coursera: https://www.coursera.org/courses?query=big%20data Big Data em Saúde no Brasil (USP) https://www.coursera.org/course/bigdatabrasil  EDX: https://www.edx.org/course?search_query=big+data  Big Data University: https://bigdatauniversity.com/  Udacity: https://www.udacity.com/courses/data-science  Standford online: http://online.stanford.edu/search/node/big%20data
49. seus dados no google  Assuntos mais procurados no Google: https://www.google.com/trends  Histórico de lugares visitados: https://www.google.com.br/maps/timeline  Histórico de vídeos do Youtube: https://www.youtube.com/feed/history  Seus assuntos preferidos: https://www.google.com/settings/u/0/ads/aut henticated  Histórico de buscas no Google: https://history.google.com/history/
50. tendências na computação  Gerenciamento híbrido de dados: Modelos convencionais (como SQL) e não-convencionais (como NoSQL)  Computação Móvel  Internet das Coisas (IoT)  Computação em Nuvem  DATA SCIENCE Big Data + Inteligência Artificial + Estatística + Computação + ...
51. MUITO OBRIGADA! =D
52. REFERÊNCIAS
53. ESTATÍSTICAS DO YOUTUBE: http://www.youtube.com/yt/press/statistics.html ESTATÍSTICAS DO WHATSAPP: http://www.bbc.co.uk/newsbeat/article/30706412/whatsapp-record- number-of-messages-sent-each-day ESTATÍSTICAS DO GOOGLE: http://www.internetlivestats.com/google-search-statistics/ ESTATÍSTICAS DO INSTAGRAM: https://instagram.com/press/ ESTATÍSTICAS DO TWITTER: https://about.twitter.com/company ESTATÍSTICAS DO FACEBOOK: http://newsroom.fb.com/company-info/
54. NÚMERO DE CELULARES NO MUNDO: https://gsmaintelligence.com/ NÚMERO DE PESSOAS NO MUNDO: http://www.census.gov/popclock/ NÚMERO DE USUÁRIOS DA INTERNET: http://www.internetlivestats.com/internet-users/ NÚMERO DE WEBSITES: http://www.internetlivestats.com/total-number-of-websites/
55. BIG DATA: ISSUES AND CHALLENGES MOVING FORWARD S. Kaisler, F. Armour, J.A. Espinosa, W. Money 3D DATA MANAGEMENT: CONTROLLING DATA VOLUME, VELOCITY, AND VARIETY Doug Laney DATA-INTENSIVE APPLICATIONS, CHALLENGES, TECHNIQUES AND TECHNOLOGIES: A SURVEY ON BIG DATA C.L. Philip Chen, Chun-yang Zhang BIG DATA: THE NEXT FRONTIER FOR INNOVATION, COMPETITION, AND PRODUCTIVITY James Manyika, Michael Chui, Brad Brown, Jacques Bughin, Richard Dobbs, Charles Roxburgh, Angela Hung Byers BIG DATA: THE MANAGEMENT REVOLUTION. A. Mcafee E E. Brynjolfsson