O que é BIG DATA e como pode influenciar nossas vidas

Slide 1

Slide 1 text

O que é BIG DATA e como pode influenciar nossas vidas VIRADA CIENTÍFICA 2015 – IME/USP

Slide 2

Slide 2 text

Elaine Naomi Watanabe Mestranda em Ciência da Computação no Instituto de Matemática e Estatística da Universidade de São Paulo (IME-USP) Orientadora: Profa. Dra. Kelly Rosa Braghetto Tema de Pesquisa: Gerenciamento de grandes volumes de dados em workflows científicos executados em nuvens computacionais http://www.ime.usp.br/~elainew/

Slide 3

Slide 3 text

BIG DATA

Slide 4

Slide 4 text

ARMAZENAMENTO DE DADOS

Slide 5

Slide 5 text

Vocês já contaram quantas fotos tiravam antigamente e quantas tiram hoje em dia?

Slide 6

Slide 6 text

DADOS ESTATÍSTICOS DO NOSSO DIA A DIA GOOGLE 40 mil buscas por segundo 3,5 bilhões de buscas por dia YOUTUBE + de 1 bilhão de usuários + de 100 milhões de horas de vídeo assistidas por dia

Slide 7

Slide 7 text

DADOS ESTATÍSTICOS DO NOSSO DIA A DIA FACEBOOK 968 milhões usuários ativos por dia (844 milhões via dispositivos móveis por dia) 1,49 bilhões usuários ativos por mês INSTAGRAM + de 40 bilhões de fotos compartilhadas 3,5 bilhões de likes por dia 80 milhões de fotos por dia 400 milhões de usuários ativos por mês

Slide 8

Slide 8 text

DADOS ESTATÍSTICOS DO NOSSO DIA A DIA WHATSAPP 300 bilhões de mensagens por dia 700 milhões de usuários por mês Um usuário envia, em média, 43 mensagens por dia TWITTER + de 500 milhões de tweets por dia + de 316 milhões de usuários ativos por mês

Slide 9

Slide 9 text

DADOS ESTATÍSTICOS DO NOSSO DIA A DIA NÚMERO DE SITES NO MUNDO: + de 942,1 milhões de sites NÚMERO DE CELULARES NO MUNDO: + de 7,5 bilhões de celulares NÚMERO DE USUÁRIOS DA INTERNET: + de 3,2 bilhões de usuários NÚMERO DE PESSOAS NO MUNDO: + de 7,2 bilhões de pessoas

Slide 10

Slide 10 text

2,5 EXABYTES de dados por dia... e esse número dobra a cada 40 meses BIG DATA: The management revolution. A. McAfee e E. Brynjolfsson

Slide 11

Slide 11 text

2,5 EXABYTES = 2,5 * 1024 PETABYTES = 2,5 * 1024 * 1024 TB = 2,5 * 1024 * 1024 * 1024 GB = 2,5 * 1024 * 1024 * 1024 * 1024 MB Vamos analisar?

Slide 12

Slide 12 text

≈2,7 milhões de HDs de 1TB ≈600 bilhões de DVDs de 4,7GB ≈2 trilhões de disquetes de 1,44MB POR DIA! são

Slide 13

Slide 13 text

CRIAMOS MAIS DADOS POR SEGUNDO NA INTERNET DO QUE ARMAZENAMOS EM TODA INTERNET NOS ÚLTIMOS 20 ANOS! BIG DATA: The management revolution. A. McAfee e E. Brynjolfsson

Slide 14

Slide 14 text

uma avalanche de dados

Slide 15

Slide 15 text

uma ENORME avalanche de dados

Slide 16

Slide 16 text

uma IMENSA avalanche de dados

Slide 17

Slide 17 text

mas isso é BIG DATA?

Slide 18

Slide 18 text

conjuntos de dados difíceis de se capturar, armazenar, analisar e visualizar com as tecnologias atuais BIG DATA Data-intensive applications, challenges, techniques and technologies: A survey on Big Data. C.L. Philip Chen, Chun-Yang Zhang

Slide 19

Slide 19 text

3V’s 3D Data Management: Controlling Data Volume, Velocity, and Variety. Doug Laney (Gartner) VOLUME + VARIEDADE + VELOCIDADE

Slide 20

Slide 20 text

4V’s Understanding Big Data. Paul Zikopoulos (IBM) VOLUME + VARIEDADE + VELOCIDADE + VALOR ou VARIABILIDADE ou VIRTUAL

Slide 21

Slide 21 text

5V’s Why only one of the 5 Vs of big data really matters. Bernard Marr (IBM) VOLUME + VARIEDADE + VELOCIDADE + VERACIDADE + VALOR

Slide 22

Slide 22 text

não existe uma definição exata pois ela depende do domínio da aplicação BIG DATA: The management revolution. A. McAfee e E. Brynjolfsson

Slide 23

Slide 23 text

envolve captura, armazenamento, processamento, análise e visualização de imensos volumes de dados BIG DATA

Slide 24

Slide 24 text

EXPLORANDO O BIG DATA

Slide 25

Slide 25 text

DETECTAR MUDANÇAS ÚNICAS NA VIDA DAS PESSOAS como a GRAVIDEZ Mas como? How Companies Learn Your Secrets http://www.nytimes.com/2012/02/19/magazine/shopping- habits.html?_r=0

Slide 26

Slide 26 text

suplementos : primeiras 20 semanas loções sem perfume: segundo trimestre sabão sem perfume e muito, muito algodão: Vai nascer logo! padrão de comportamento...

Slide 27

Slide 27 text

RECOMENDAÇÃO DE FILMES Responsável por 75% das atividades de visualizações The Science Behind the Netflix Algorithms That Decide What You’ll Watch Next http://www.wired.com/2013/08/qq_netflix-algorithm/ Big Data Lessons From Netflix http://www.wired.com/insights/2014/03/big-data-lessons-netflix/

Slide 28

Slide 28 text

criado graças à análise de BIG DATA Giving Viewers What They Want http://www.nytimes.com/2013/02/25/busi ness/media/for-house-of-cards-using-big- data-to-guarantee-its-popularity.html?_r=0

Slide 29

Slide 29 text

ENCONTRAR O PAR PERFEITO Questionário “diferente”... responsável por 4% dos novos casamentos nos EUA http://eharmony.com/

Slide 30

Slide 30 text

Data science of love http://www.infoq.com/presentations/eharmony-hadoop

Slide 31

Slide 31 text

PESQUISA COM DESENVOLVEDORES JAVA UM CLICK e descobriam sobre a vida de cada um Veja mais em: Data Science – a vida real - http://www.tailtarget.com/palestras-e-apresentacoes/

Slide 32

Slide 32 text

SUA VIDA ONLINE...

Slide 33

Slide 33 text

pode dizer se você é um bom candidato para uma vaga O big data antecipa a morte do currículo http://exame.abril.com.br/revista-exame/edicoes/1044/noticias/a-morte-do-curriculo

Slide 34

Slide 34 text

pode dizer se você se divorciou Driven by Data: Your Bank Can Predict Your Divorce http://www.forbes.com/sites/techonomy/2011/11/15/driven-by-data-your-bank-can-predict-your-divorce/

Slide 35

Slide 35 text

se você está desempregado Tracking employment shocks using mobile phone data Jameson L. Toole, Yu-Ru Lin, Erich Muehlegger, Daniel Shoag, Marta C. González, David Lazer

Slide 36

Slide 36 text

se seu namoro vai acabar Algoritmo prevê, no Facebook, quando um namoro vai acabar http://exame.abril.com.br/tecnologia/noticias/algoritmo-preve-no-facebook-quando-um- namoro-vai-acabar

Slide 37

Slide 37 text

se a inflação vai subir nos próximos meses O que buscas no Google podem revelar sobre a inflação http://exame.abril.com.br/economia/noticias/o-que-buscas-no-google-podem-revelar-sobre-a-inflacao

Slide 38

Slide 38 text

se cabelo enrolado vai ser a tendência para o próximo ano Data Science – A Vida Real http://www.tailtarget.com/palestras-e-apresentacoes/

Slide 39

Slide 39 text

E O LADO RUIM?

Slide 40

Slide 40 text

NSA Agência de Segurança Nacional dos Estados Unidos ESPIONAGEM YOTTABYTES de dados capturados 1024 ZettaBytes = 1024 * 1024 ExaBytes = + de 1 trilhão de HDs de 1 TB ALVO = o mundo inteiro Fonte: http://www.forbes.com/sites/metabrown/2015/08/27/nsa- mass-surveillance-biggest-big-data-story/

Slide 41

Slide 41 text

E O LADO BOM? E O LADO RUIM?

Slide 42

Slide 42 text

Diagnóstico de doenças  DETECTAR DEPRESSÃO PÓS-PARTO VIA FACEBOOK OU TWITTER Predicting Postpartum Changes in Emotion and Behavior via Social Media: http://dl.acm.org/citation.cfm?id=2466447 Characterizing and Predicting Postpartum Depression from Shared Facebook Data: http://dl.acm.org/citation.cfm?id=2531675  CONTER EPIDEMIAS HealthMap + ebola: http://www.healthmap.org/ebola/#timeline Veja mais em : http://exame.abril.com.br/tecnologia/noticias/conheca-o- brasileiro-que-ajudou-a-conter-o-avanco-do-ebola

Slide 43

Slide 43 text

Novas formas de ensinar e aprender • CRIAR CURSOS ONLINE PERSONALIZADOS Veja mais em: https://www.ucl.ac.uk/public-policy/public-policy- briefings/big_data_briefing_final.pdf • ACOMPANHAR MUDANÇAS NA VIDA DOS ESTUDANTES UNIVERSITÁRIOS Veja mais em: http://vejasp.abril.com.br/materia/big-data-educacao/

Slide 44

Slide 44 text

E A NOSSA PRIVACIDADE?

Slide 45

Slide 45 text

CONSEGUIREMOS FUGIR DO MUNDO DIGITAL?

Slide 46

Slide 46 text

QUEREMOS CONSEGUIREMOS FUGIR DO MUNDO DIGITAL?

Slide 47

Slide 47 text

QUER SABER MAIS?

Slide 48

Slide 48 text

cursos online  Coursera: https://www.coursera.org/courses?query=big%20data Big Data em Saúde no Brasil (USP) https://www.coursera.org/course/bigdatabrasil  EDX: https://www.edx.org/course?search_query=big+data  Big Data University: https://bigdatauniversity.com/  Udacity: https://www.udacity.com/courses/data-science  Standford online: http://online.stanford.edu/search/node/big%20data

Slide 49

Slide 49 text

seus dados no google  Assuntos mais procurados no Google: https://www.google.com/trends  Histórico de lugares visitados: https://www.google.com.br/maps/timeline  Histórico de vídeos do Youtube: https://www.youtube.com/feed/history  Seus assuntos preferidos: https://www.google.com/settings/u/0/ads/aut henticated  Histórico de buscas no Google: https://history.google.com/history/

Slide 50

Slide 50 text

tendências na computação  Gerenciamento híbrido de dados: Modelos convencionais (como SQL) e não-convencionais (como NoSQL)  Computação Móvel  Internet das Coisas (IoT)  Computação em Nuvem  DATA SCIENCE Big Data + Inteligência Artificial + Estatística + Computação + ...

Slide 51

Slide 51 text

MUITO OBRIGADA! =D

Slide 52

Slide 52 text

REFERÊNCIAS

Slide 53

Slide 53 text

ESTATÍSTICAS DO YOUTUBE: http://www.youtube.com/yt/press/statistics.html ESTATÍSTICAS DO WHATSAPP: http://www.bbc.co.uk/newsbeat/article/30706412/whatsapp-record- number-of-messages-sent-each-day ESTATÍSTICAS DO GOOGLE: http://www.internetlivestats.com/google-search-statistics/ ESTATÍSTICAS DO INSTAGRAM: https://instagram.com/press/ ESTATÍSTICAS DO TWITTER: https://about.twitter.com/company ESTATÍSTICAS DO FACEBOOK: http://newsroom.fb.com/company-info/

Slide 54

Slide 54 text

NÚMERO DE CELULARES NO MUNDO: https://gsmaintelligence.com/ NÚMERO DE PESSOAS NO MUNDO: http://www.census.gov/popclock/ NÚMERO DE USUÁRIOS DA INTERNET: http://www.internetlivestats.com/internet-users/ NÚMERO DE WEBSITES: http://www.internetlivestats.com/total-number-of-websites/

Slide 55

Slide 55 text

BIG DATA: ISSUES AND CHALLENGES MOVING FORWARD S. Kaisler, F. Armour, J.A. Espinosa, W. Money 3D DATA MANAGEMENT: CONTROLLING DATA VOLUME, VELOCITY, AND VARIETY Doug Laney DATA-INTENSIVE APPLICATIONS, CHALLENGES, TECHNIQUES AND TECHNOLOGIES: A SURVEY ON BIG DATA C.L. Philip Chen, Chun-yang Zhang BIG DATA: THE NEXT FRONTIER FOR INNOVATION, COMPETITION, AND PRODUCTIVITY James Manyika, Michael Chui, Brad Brown, Jacques Bughin, Richard Dobbs, Charles Roxburgh, Angela Hung Byers BIG DATA: THE MANAGEMENT REVOLUTION. A. Mcafee E E. Brynjolfsson