Big Data – hierarquia de necessidades em organizações data-driven e maturidade por segmento de indústria

Apresentação realizada por Rubia Coimbra no Big Data Week São Paulo 2019 [http://sao-paulo.bigdataweek.com].

Visão da Cloudera sobre a adoção global de Big Data, e as curvas de maturidade dos principais segmentos de indústria: os casos de uso mais comuns, os estratégicos, e os que representam tendências de inovação.

Transcript

1. 1 © Cloudera, Inc. All rights reserved. Rubia Coimbra VICE PRESIDENTE AMÉRICA LATINA NA CLOUDERA Mais de 30 anos de experiência no mercado de tecnologia, ocupou posições de liderança nas multinacionais IBM, EMC, SAP, Nokia, Dell e Quest. Antes da Cloudera, Rubia atuou na Dell como Diretora de Software para a América Latina, tendo liderado a fusão de empresas adquiridas do setor, e seu posterior spin-off. Liderou a reabertura da start-up Quest Software na América Latina. Formada em Administração de Empresas pela PUC de Brasília, com MBA pelo Instituto Brasileiro de Mercado de Capitais (IBMEC), com double degree na Universidade de Illinois, Estados Unidos. https://www.linkedin.com/in/rubia-coimbra-51562ab/
2. HIERARQUIA DE NECESSIDADES EM ORGANIZAÇÕES DATA DRIVEN Visão da Cloudera sobre a adoção global de big data nos principais segmentos de indústria, e respectivos casos de uso.
3. 3 © Cloudera, Inc. All rights reserved. AGENDA 1. CLOUDERA – VISÃO E PROPÓSITO 2. HADOOP – PASSADO E FUTURO 3. CULTURA DATA DRIVEN 4. JORNADA – CASOS DE USO REAIS 5. CONCLUSÃO
4. 4 © Cloudera, Inc. All rights reserved. 8/10 TOP GLOBAL 10/10 TOP GLOBAL 9/10 TOP GLOBAL 40+ GOVERNO FINANÇAS TELCO FARMA SETOR PÚBLICO 8/10 TOP GLOBAL TECNOLOGIA 10/10 TOP GLOBAL AUTOMOTIVO CLOUDERA –PRESENÇA DE MERCADO 85 Países Clientes 3,000+ Colaboradores 2,000+
5. 5 © Cloudera, Inc. All rights reserved. VISÃO E PROPÓSITO
6. 6 © Cloudera, Inc. All rights reserved. CURVA DE MATURIDADE DO MERCADO DE DADOS BIG DATA TECH 2008 2012 DATA PLATFORM CIO & Data Admins 2016 ML, ANALYTICS & CLOUD LOB & Data Scientists IT early adopters & Developers 2020 ENTERPRISE DATA CLOUD Experiência do usuário final C-suite & Boards Produtização de ML
7. 7 © Cloudera, Inc. All rights reserved. COMBUSTÍVEL DOS MODELOS DE NEGÓCIOS EM TODAS AS INDÚSTRIAS Telco Manufatura Varejo Governo Finanças HealthCare VISÃO DA ESTRATÉGIA DE DADOS
8. 8 © Cloudera, Inc. All rights reserved. VISÃO TECNOLÓGICA COMBUSTÍVEL DA ESTRATÉGIA DE DADOS Inteligência Artificial Internet das Coisas Nuvem Streaming de Dados Internet Industrial Dispositivos do consumidor Negócios conectados Dispositivos inteligentes Sistemas autonômos Análise prescriptiva Aplicações SaaS/PaaS Eficiência operacional Colaboração Aplicações em tempo real Personalização de ofertas Aplicações industriais
9. 9 © Cloudera, Inc. All rights reserved. Nós acreditamos que a tecnologia de dados pode fazer o que é impossível hoje, possível amanhã Nós empoderamos pessoas a transformar dados complexos em claros insights Nós entregamos uma plataforma aberta, que comporta qualquer tipo de dado, em qualquer infra- estrutura, “from the Edge to AI” ENTERPRISE DATA CLOUD
10. 10 © Cloudera, Inc. All rights reserved. Edge | Private | Public | Multi | Hybrid Data Engineering Data Warehouse IoT, Ingest & Streaming AI, ML & Data Science Operational Database PLATAFORMA DE DADOS -ENTERPRISE DATA CLOUD
11. 11 © Cloudera, Inc. All rights reserved. HADOOP – PASSADO E FUTURO
12. 12 © Cloudera, Inc. All rights reserved. O HADOOP MORREU ?
13. 13 © Cloudera, Inc. All rights reserved. HADOOP & OPEN SOURCE Multi Cloud Machine Learning Data Science Decoupled Storage and Computing Hadoop 3 Erasure Coding Multiple Standby Name Node HDFS Federation GPU on YARN Spark 2 Hive 3 Kafka 2 Apache Ozone (Object Storage) 2016 -2019 O ECOSSISTEMA QUE CRESCE E EVOLUI
14. 14 © Cloudera, Inc. All rights reserved. “HADOOP IS DEAD. LONG LIVE HADOOP” HADOOP NÃO É TECNOLOGIA, HADOOP É FILOSOFIA: 1. COMPUTAÇÃO DISTRIBUÍDA + ESCALABILIDADE INFINITA. 2. USO DE DADOS NÃO ESTRUTURADOS. (SIM, DADOS ESTRUTURADOS TAMBÉM!). 3. COMODITIZAÇÃO DE INFRA-ESTRUTURA. 4. SOFTWARE LEGO X MONOLÍTICO. 5. OPEN SOURCE X PROPRIETÁRIO. -““If I use Cloudera Platform with Spark running on Kubernetes analyzing data residing in S3, where is Hadoop?” -As long as you use the CDP service… :-)” Arun Murphy –Cloudera CPO.
15. 15 © Cloudera, Inc. All rights reserved. CULTURA DATA DRIVEN
16. 16 © Cloudera, Inc. All rights reserved. DEFINIÇÃO DE ORGANIZAÇÃO DATA DRIVEN 1. Os dados estão no centro do processo de tomada de decisão. 2. As pessoas estão empoderadas a realizar o seu trabalho apoiadas pelos insights encontrados nos dados. 3. Os insigths, previsões e ações advindos dos dados, são escaláveis à toda a organização.
17. 17 © Cloudera, Inc. All rights reserved. AI MACHINE LEARNING DATA SCIENCE ANALYTICS "BIG DATA" HIERARQUIA DE NECESSIDADES EM ORGANIZAÇÕES DATA-DRIVEN JORNADA TECNOLÓGICA
18. 18 © Cloudera, Inc. All rights reserved. AI MACHINE LEARNING DATA SCIENCE ANALYTICS "BIG DATA" • Não se faz ML sem Data Science • Não se faz Data Science sem Analytics • Não se faz Analytics sem Big Data • São fases dependentes uma da outra, e devem operar na mesma Plataforma JORNADA TECNOLÓGICA HIERARQUIA DE NECESSIDADES EM ORGANIZAÇÕES DATA-DRIVEN
19. 19 © Cloudera, Inc. All rights reserved. VISIBILIDADE PRODUTIVIDADE TRANSFORMAÇÃO Preventive Maintenance IoT Hub for Industry 4.0 Advanced Threat Detection Risk Modelling & Analysis Marketing Systems Integration Customer 360 Insights Exploratory Data Science Data Warehouse Applied Machine Learning CRESCIMENTO Vendas & Marketing CONECTIVIDADE Operações & Produto PROTEÇÃO Segurança & Governança MODERNIZAÇÃO IT, Tech, Data Science & Analytics JORNADA CASOS DE USO HIERARQUIA DE NECESSIDADES EM ORGANIZAÇÕES DATA-DRIVEN
20. 20 © Cloudera, Inc. All rights reserved. JORNADA DE CASOS DE USO TRANSFORMACIONAIS Telecom Manufatura Varejo Governo Finanças HealthCare • Análise de sentimento • Novos modelos de negócios • Redução de churn • Recomendações em tempo real • Experiência omni- channel • Gerenciamento de assortment • Automação de serviços ao cidadão • Controle de epidemias • Controle de fraude em benefícios públicos. • Visão 360o do paciente. • Velocidade de diagnósticos • Acompanhamento de sinais vitais em tempo real • IoT: explosão de sensores e novas fontes de dados • Supply Chain em tempo real • Otimização via ML (i.e. manutenção preditiva / controle de qualidade.) • Experiência omni- channel • Reducão de crimes financeiros • Compliance a regulamentações institucionais
21. 21 © Cloudera, Inc. All rights reserved. EXEMPLOS REAIS
22. 22 © Cloudera, Inc. All rights reserved. COMBATE AO SUICIDIO • Análise massiva de dados (SMS, mídias sociais, app mensagens) para identificação de fatores de risco. • Rede de suporte conectada para ações imediatas. REDUÇÃO DE ÓBITOS DE PREMATUROS • Análise de bilhões de eventos de sensores medicos. • Diagnóstico de câncer em menos de 20 minutos. • Redução do stress infantil. COMBATE EXPLORAÇÃO SEXUAL INFANTIL • Arquitetura subjacente em nuvem. • Apoio na aceleração da identificação de vitimas. • Sistema disponível para 3 mil agentes públicos. Thorn: Digital Defenders of Children
23. 23 © Cloudera, Inc. All rights reserved. ‘PARTÍCULA DE DEUS” (Boson de Higgs) Compartilhamento global de dados entre pesquisadores e institutos (1 PB / segundo). VISITA TRIPULADA A MARTE Projeto de análise da visita tripulada a Marte (700 TB / segundo). PROJETO GENOMA Entendimento acelerado do genoma humano, 1 exabyte de dados sequenciados.
24. 24 © Cloudera, Inc. All rights reserved. CLOUDERA IoT CONNECT BUSINESS (IoT) INDIVIDUALIZAÇÃO DE OFERTA DE SERVIÇOS Análise de risco de comportamento do segurado: direção, localização, colisões, elementos contextuais. Adição de 11 bilhões de atributos por dia.
25. 25 © Cloudera, Inc. All rights reserved. CLOUDERA IoT https://www.cloudera.com/about/customers/octo-telematics.html
26. 26 © Cloudera, Inc. All rights reserved. CONCLUSÃO
27. 27 © Cloudera, Inc. All rights reserved. MELHORES PRÁTICAS DA ORGANIZAÇÃO DATA-DRIVEN 1. Pensa grande e começa pequeno. 2. Tem como ponto de partida o problema de negócio (e não a tecnologia a procura de um problema de negócio). 3. Busca reintender a capacidade dos seus talentos (pessoas). 4. Busca construir uma estratégia híbrida. 5. Ética: um exercício de escolha constante. From an article by Seth Earley, IT Pro Magazine May/June 2016 “THERE IS NO AI WITHOUT IA (INFORMATION ARCHITECTURE)”
28. 28 © Cloudera, Inc. All rights reserved. Nós acreditamos que a tecnologia de dados pode fazer o que é impossível hoje, possível amanhã Nós empoderamos pessoas a transformar dados complexos em claros insights Nós entregamos uma plataforma aberta, que comporta qualquer tipo de dado, em qualquer infra- estrutura, “from the Edge to AI” ENTERPRISE DATA CLOUD rubia@cloudera.com