Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Deploy de modelos em produção: chegou a hora do DataOps?

Deploy de modelos em produção: chegou a hora do DataOps?

Esta talk foi apresentada na Python Brasil 14. Seu objetivo é apresentar o conceito de DataOps e o seu papel dentro do desafio de deploy de modelos de machine learning.

4bb860bd1c186becbfb64a5a40d8ee19?s=128

Daniela Petruzalek

October 21, 2018
Tweet

Transcript

  1. Deploy de Modelos em Produção: Chegou a Hora do DataOps?

    Daniela Petruzalek Development Consultant @ ThoughtWorks Google Developer Expert daniela.petruzalek@gmail.com
  2. O Ministério da Saúde Adverte: Esta talk contém uma alta

    densidade de buzzwords.
  3. Agenda - Desafios do deploy de modelos - DevOps -

    DataOps - Tecnologias
  4. O Desafio de Negócio

  5. Maturidade das Organizações em Data

  6. Data no Mundo Ideal Academia P&D Ciência de Dados Engenharia

    de Dados Negócio Tecnologia Modelo
  7. Mas na Prática...

  8. None
  9. O Caminho para o ML: Vida Real Academia P&D Ciência

    de Dados Engenharia de Dados Negócio Tecnologia Modelo ?????
  10. None
  11. None
  12. None
  13. None
  14. O Desafio da Tecnologia

  15. Fases de Preparação dos Modelos Coleta dos Dados Análise Exploratória

    Limpeza dos Dados Treinamento Validação do Modelo Deploy Monitoração / Teste AB ESCOLHA DO MODELO MANUTENÇÃO DO MODELO
  16. Fatores que Influenciam o Deploy Tipo de Aprendizado Tipo de

    Predição Modelos: Small Data x Big Data Processamento: Batch x Online (Real Time / Near-Real Time) Target: Container x Cluster (Cloud vs On-premises)
  17. Tipos de Deploy https://www.quora.com/How-do-you-take-a-machine-learning-model-to-production

  18. Débito Técnico Oculto em Machine Learning https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf

  19. DevOps

  20. "organizations which design systems ... are constrained to produce designs

    which are copies of the communication structures of these organizations." - Melvin Conway, 1967
  21. Pontos Chave na Cultura DevOps - CALMS: - Culture -

    Automation - Lean Management - Measurement - Sharing
  22. Princípios Básicos - Acabar com silos - Organização de times

    de operações e desenvolvimento - Divisão de conhecimento entre times, falta de colaboração - Acidentes são normais - Foco na recuperação rápida e não em achar culpados - Os erros são coletivos
  23. Princípios Básicos - Mudanças devem ser graduais - Mudanças devem

    ser pequenas e frequentes - Continuous Integration & Continuous Deployment - Ferramentas e cultura estão interrelacionados - Com ferramentas erradas e a cultura certa ainda é possível sair do outro lado - O oposto não é verdade
  24. Implementações de DevOps - SRE (Google) - PE (Facebook)

  25. DataOps

  26. None
  27. http://dataopsmanifesto.org/

  28. Tecnologias

  29. None
  30. None
  31. None
  32. None
  33. https://www.kubeflow.org/

  34. None
  35. Cloud e “Clusters Efemeros” https://hackernoon.com/why-dataproc-googles-managed-hadoop-and-spark-offering-is-a-game-changer-9f0ed183fda3

  36. Cloud e “Clusters Efemeros”

  37. http://www.pachyderm.io/

  38. None
  39. daniela.petruzalek@gmail.com https://linkedin.com/in/petruzalek https://twitter.com/danicat83 Questions?

  40. None