Data Driven Company: intro e cases

Essa palestra é uma intro a data driven company e mostro cases de empresas que adotaram esse modelo com sucesso.

Transcript

1. DATA DRIVEN COMPANY
2. Quem sou eu?
3. Programador 10 anos+ Python/Web/Cloud/Big Data/Machine Learning Jusbrasil e Data Bootcamp tarsis.azevedo@databootcamp.com.br databootcamp.com.br Quem sou eu?
4. DATA DRIVEN COMPANY O que é ser data driven?
5. O que aconteceu? DESCRIÇÃO Analytics Por que aconteceu? DIAGNÓSTICO O que vai acontecer? PREDIÇÃO O que devo fazer? PROSPECÇÃO Dados Decisão Ação Human Input Decision Automation Decision Support
6. #HowGoogleWorks – HowGoogleWorks.net
7. OKR Objectives and Key Results
8. OKR Exemplos 0 Successfully launch version 3 of our product KR Get over 100000 new signups KR Archieve sign-up to % trial ratio of over 25% KR Archieve trial do % paid ratio of over 50% 30 % 7838 signups 11 % trial ratio 35 % paid ratio
9. Cases
11. GLOBO.COM • 10 milhões de usuarios únicos por dia • 2 milhões de conexões simultâneas • 100 mil conteudos novos por mês • 4 bilhões de eventos por dia Overview
12. GLOBO.COM Pontos de ação • Recomendação • Personalização • Publicidade segmentada • Análise de consumo e comportamento • Experimentação (A/B) • Data Driven (OKR)
13. GLOBO.COM Recomendação • 100 algoritmos rodando em AB • Supervised, unsupervised e reinforcement • Collaborative Filtering, Content Based, Top • CTR, diversity, coverage, freshness, serendipity • MAB
14. Defina metas Decida o que testar Crie variações Teste Analise os resultados Repita GLOBO.COM A/B Testing
15. Análise exploratória Formulação de hipóteses Implementação Análise do experimento Aprendizado Growth Team
16. Superset Um explorador de dados que não exige domínio de programação. Open Source criado pelo airbnb, integra-se facilmente com diversos bancos de dados. Grande foco em testes a/b. DASHBOARDS
17. https://github.com/apache/incubator-superset
18. Jupyter Principal ferramenta do data scientist. Usado em todas grandes empresas do Foco na junção de documentação e código em um mesmo lugar, deixando análises mais transparentes. DASHBOARDS
19. http://jupyter.org/
20. Jusbrasil
21. Jusbrasil Overview • 42 milhões de usuarios únicos por mês • 1 milhão de documentos por dia • 100% dos diarios oficiais indexados
22. Jusbrasil Pontos de ação • Chatbot • Categorização de Documentos • Análise de consumo e comportamento • Experimentação (A/B) • Data Driven (OKR)
23. Jusbrasil Categorização • 3h por diario • Python (web, api), Java (crawlers), Spark (jobs) • NLP: Pos tagger, NER • LinearSVM • 500k+ blocos por dia
24. Crawler Conversor Big table Xavier Telepathy RabbitMQ Alertas
29. Metabase Projeto open source com alto nível de integração com diversos banco de dados e layout padrão atrativo e intuitivo DASHBOARDS
30. https://www.metabase.com/
32. iFood Pontos de ação • Experimentação (A/B) • Data Driven (OKR) • KPIs cross times • Dezenas de cientistas
33. iFood Overview • 558k pedidos por dia • 66k restaurantes cadastrados • 500 cidades