Deploy de modelos em produção: chegou a hora do DataOps?

Esta talk foi apresentada na Python Brasil 14. Seu objetivo é apresentar o conceito de DataOps e o seu papel dentro do desafio de deploy de modelos de machine learning.

Transcript

1. Deploy de Modelos em Produção: Chegou a Hora do DataOps? Daniela Petruzalek Development Consultant @ ThoughtWorks Google Developer Expert daniela.petruzalek@gmail.com
2. O Ministério da Saúde Adverte: Esta talk contém uma alta densidade de buzzwords.
3. Agenda - Desafios do deploy de modelos - DevOps - DataOps - Tecnologias
4. O Desafio de Negócio
5. Maturidade das Organizações em Data
6. Data no Mundo Ideal Academia P&D Ciência de Dados Engenharia de Dados Negócio Tecnologia Modelo
7. Mas na Prática...
9. O Caminho para o ML: Vida Real Academia P&D Ciência de Dados Engenharia de Dados Negócio Tecnologia Modelo ?????
14. O Desafio da Tecnologia
15. Fases de Preparação dos Modelos Coleta dos Dados Análise Exploratória Limpeza dos Dados Treinamento Validação do Modelo Deploy Monitoração / Teste AB ESCOLHA DO MODELO MANUTENÇÃO DO MODELO
16. Fatores que Influenciam o Deploy Tipo de Aprendizado Tipo de Predição Modelos: Small Data x Big Data Processamento: Batch x Online (Real Time / Near-Real Time) Target: Container x Cluster (Cloud vs On-premises)
17. Tipos de Deploy https://www.quora.com/How-do-you-take-a-machine-learning-model-to-production
18. Débito Técnico Oculto em Machine Learning https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf
19. DevOps
20. "organizations which design systems ... are constrained to produce designs which are copies of the communication structures of these organizations." - Melvin Conway, 1967
21. Pontos Chave na Cultura DevOps - CALMS: - Culture - Automation - Lean Management - Measurement - Sharing
22. Princípios Básicos - Acabar com silos - Organização de times de operações e desenvolvimento - Divisão de conhecimento entre times, falta de colaboração - Acidentes são normais - Foco na recuperação rápida e não em achar culpados - Os erros são coletivos
23. Princípios Básicos - Mudanças devem ser graduais - Mudanças devem ser pequenas e frequentes - Continuous Integration & Continuous Deployment - Ferramentas e cultura estão interrelacionados - Com ferramentas erradas e a cultura certa ainda é possível sair do outro lado - O oposto não é verdade
24. Implementações de DevOps - SRE (Google) - PE (Facebook)
25. DataOps
27. http://dataopsmanifesto.org/
28. Tecnologias
33. https://www.kubeflow.org/
35. Cloud e “Clusters Efemeros” https://hackernoon.com/why-dataproc-googles-managed-hadoop-and-spark-offering-is-a-game-changer-9f0ed183fda3
36. Cloud e “Clusters Efemeros”
37. http://www.pachyderm.io/
39. daniela.petruzalek@gmail.com https://linkedin.com/in/petruzalek https://twitter.com/danicat83 Questions?