DataOps como nova arma para Empresas Baseadas em Dados

Apresentação de Daniel Lázaro no Big Data Week São Paulo 2017 [http://sao-paulo.bigdataweek.com].

As empresas baseadas em dados estão reconhecendo que, independentemente de como se define “big data”, seja ao longo das dimensões de volume, da variedade ou de velocidade, uma definição simples é clara: dados importantes significam todos os dados. Ou seja, as informações podem estar disponíveis para uma empresa como tabelas numéricas, artigos de texto não estruturados, imagens ou som e vídeo e, portanto, devem estar prontos para operar em enormes volumes de conjuntos de dados diversos e com mudanças rápidas.

Assim como as empresas reconhecem a necessidade de o DevOps garantir a coordenação entre desenvolvedores de software e operações de TI, há uma forte necessidade de suportar o DataOps, uma vez que a coordenação entre engenheiros de dados, cientistas de dados e operações de TI torna-se mais crítica. Grandes investimentos são feitos no desenvolvimento de modelos analíticos avançados, mas as empresas apenas geram seus retornos desses investimentos quando os modelos analíticos são operacionalizados e executados na produção.

Transcript

1. Daniel Lázaro DataOps | Nova Arma nas Empresas Baseadas em Dados BIG DATA WEEK SÃO PAULO 2017
2. O que queremos? 2
3. Vantagem Competitiva Relatórios Padrões O que aconteceu? Preditivo Descritivo Relatórios Ad hoc Quanto? Com que frequência? Onde? Consultas Drilldown Onde exatamente? Alertas Quais ações são necessárias? Análises Estatísticas Por que isto está acontecendo? Forecasting O que acontecerá se isto continuar? Modelagem Preditiva O que acontecerá na sequência? Otimização O que é o melhor que pode acontecer? Prescritivo Inteligência Aumentada Quando o quê tem que ser feito, para quem? O que queremos? 3
4. Mas como fazemos? Waterscrumfall? 4
5. E quando crescemos? 5
6. E quando crescemos? 6
7. E pára em algum momento? 7
8. E pára em algum momento? 8
10. Não nos esqueçamos… 10
11. Ciclo de ciência de [Big] dados 11
12. Isso entrega valor? 12
13. Ciclo de ciência de [Big] dados 13
14. Ciclos rápidos em todo lugar… 14 DEMOCRATIZAÇÃO Profusão de tecnologias simplificadoras e queda drástica de custos (Lei de Moore Revisada) PLATAFORMAS Crescimento acelerado de soluções visando entregar dados como plataforma (e APIs) RECURSOS A academia está acelerando entrega de pesquisas na indústria. A comunidade está aplicando RESULTADOS Novos negócios estão provando que o modelo ágil funciona
15. Ciclos rápidos em todo lugar… 15
17. Sete passos no dataOps 17
18. Sete passos no dataOps 18 Teste entradas, saídas e lógica de negócios. Identifique e trate erros e avisos. Em todas as etapas. INCLUA TESTES DE DADOS E LÓGICA Muitas vezes cópias privadas de dados são necessárias. Evite acesso exclusivo à produção. TRABALHE COM MAIS DE UM AMBIENTE Equipes de cientistas e engenheiros têm dificuldade em reaproveitar códigos. Encapsule e facilite. REUSE E COMPARTIMENTALIZE O processo de análise deve ser desenhado para execução #semHardCode PARAMETRIZE SEU PROCESSAMENTO Permita que cada indivíduo atualize um componente. Delimite riscos e facilite evolução. SEPARE E CONSOLIDE ETAPAS Crie condição de VALOR e INOVAÇÃO não quebrarem a produção, controle. TRABALHE SEM MEDOTM Controle todos os passos que transformam dados em informação. Organize. USE CONTROLE DE VERSÕES
20. Duas linhas de solução… 20
21. Manifesto dataOps 21 SATISFAÇA CONTINUAMENTE SEU CLIENTE VALOR DA ANÁLISE DE TRABALHO ABRAÇAR A MUDANÇA É UM ESPORTE DE EQUIPE INTERAÇÕES DIÁRIAS AUTO ORGANIZAR REDUZA O HEROÍSMO REFLITA ANALYTICS É CÓDIGO dataopsmanifesto.org
22. Manifesto dataOps 22 ORQUESTRAR TORNÁ-LO REPRODUTÍVEL AMBIENTES DESCARTÁVEIS SIMPLICIDADE ANALYTICS É FABRICAÇÃO A QUALIDADE É PRIMORDIAL MONITORAR QUALIDADE E DESEMPENHO REUTILIZAÇÃO MELHORAR OS TEMPOS DE CICLO dataopsmanifesto.org
23. Duas linhas de solução… • E nenhuma bala de prata... 23 BLOCOS Estão emergindo na comunidade INTEGRADAS Buscam seguir o dataOps manifesto “inteiro”
24. Por exemplo… 24
25. Hot topic? 25
26. Daniel Lázaro daniel.lazaro@accenture.com @ dblazaro Líder de Tecnologias de Analytics para LATAM @ Accenture 26