ARQUITETURAS DATA-CENTRIC: A evolução das arquiteturas que disseminam a cultura de dados nas organizações

Apresentação realizada por Guilherme Augusto Lopes no Big Data Week São Paulo 2019 [http://sao-paulo.bigdataweek.com].

Com a evolução das tecnologias para análise de dados, as arquiteturas para Data Lakes evoluíram guardando diversas semelhanças com as de Data Warehouses tradicionais. Nessa palestra serão abordadas as mais recentes arquiteturas Data-Centric e suas contribuições para a cultura de dados nas organizações.

Transcript

2. ARQUITETURAS A EVOLUÇÃO DAS ARQUITETURAS QUE DISSEMINAM A CULTURA DE DADOS NAS ORGANIZAÇÕES DATA CENTRIC
3. GUILHERME LOPES • Head de Big Data e AI no UOL Diveo/Compasso • Professor no MBA de Big Data & Analytics no Mackenzie – SP • Formado em Sistemas de Informação pelo Mackenzie-SP • MBA Executivo pela FGV-RJ • Mestrando em Ciência da Computação pelo ITA-SJC • linkedin.com/in/guigows
4. Se tudo está aparentemente sob controle, você provavelmente não está rápido o suficiente.
5. Aplicações desenvolvidas com foco exclusivo na resolução de problemas transacionais. SEM VISÃO ANALÍTICA FOCO NO PROCESSO DADOS ALTAMENTE GRANULARES PLATAFORMAS MONOLÍTICAS DADOS NORMALIZADOS MODELOS RÍGIDOS DESENVOLVIMENTO APLICAÇÕES
6. EDWs TRADICIONAIS CRM ERP BILLING CATÁLOGOS DE PRODUTOS ARQUIVOS DE DADOS BATCH, D-1, REPORTING…
7. EMERGENTES IOT SENSORES CLICKSTREAM LOGS REDES SOCIAIS LIGAÇÕES TELEFÔNICAS DMPS FAST DATA, FAST DECISION FONTES
8. DATA LAKES TRADICIONAIS DADO PUXADO ESQUERDA PARA DIREITA UNIDIRECIONAL PURAMENTE ANALÍTICO LAMBDA SERVERLESS CLOUD BIG DATA Fonte: DZone
9. MUDANÇAS DE PARADIGMAS EM DATA & ANALYTICS ORQUESTRADOR ABRAÇANDO A PLURALIDADE PROPORCIONANDO AMBIENTE SE TORNANDO SINTETIZADOR ENSINANDO DADOS COMO SEGUNDO IDIOMA AUGMENTED BUSINESS INTELLIGENCE CRIADOR DE CONTEÚDO DETERMINANDO UNIFORMIDADE EM FERRAMENTAS E DADOS COLETANDO REQUISITOS SENDO ANALISTA ENTREGANDO DASHBOARDS BUSINESS INTELLIGENCE DE: PARA: Fonte: Gartner
10. Usuários de negócios atuando em processos analíticos em constante sinergia com áreas de dados. Capacitar e empoderar áreas de negócios é a grande missão dos times de dados nas organizações. DEMOCRATIZAÇÃO ANALÍTICA
11. DATA DATA LAYERS MODEL LAYER ✓ No-SQL ✓ Documentos ✓ Normalized ✓ Otimization SECURITY LAYER ✓ AIM ✓ Criptografia ✓ Roles ANALYTICS LAYER ✓ Reporting ✓ AI ✓ Apps ✓ BI ✓ Statistics AUTHENTICATION LAYER ✓ Dashboard ap ✓ Api ✓ Auth
12. DATA-CENTRIC Solução 100% serverless e data centric Fluxo de dados event-driven Dados sensíveis identificados automaticamente por AI Visões dos dados segmentadas por perfis Cruzamento de dados de redes sociais com dados internos Autonomia para cientista de dados criarem modelos com agilidade Integração de modelos com chatbot e outras aplicações web e mobile ARCHITECTURE Lorem ipsum dolor sit amet, consectetur adipiscing elit. Proin in magna TÍTULO IMAGEM
13. Alinhamento Estratégico Risco, Segurança, Privacidade e Compliance Evolução Arquitetural Fonte de Dados . . . ENGENHARIA DE DADOS (Centralizado) ANALYTICS (Federado) Data 1st Data Driven Business Driven GOVERNANÇA DE DADOS BU FEDERADO BU BU BU Fonte de Dados Fonte de Dados Business Driven Data Driven
14. Nurtured DATA CULTURE ANALYTICAL THINKING BY DESIGN APPLIED INTELLIGENCE FASTER THAN OTHERS AAA DATA DATA LITERACY GOVERNANCE
15. DATA CENTRIC VALORES DESENVOLVIMENTO DE APLICAÇÕES VOLTADA PARA ANALYTICS ANALYTICAL THINKING BY DEFAULT MAIS DADOS PARA SUBSIDIAREM O DESENVOLVIMENTO DE MODELOS ANALÍTICOS AGILIDADE DE DESENVOLVIMENTO E DEPLOY FLEXIBILIDADE DE MODELOS DE DADOS FLUXO CONTÍNUO DE GERAÇÃO DE VALOR PARA O NEGÓCIO