Big Data na Globo.com

Renan Oliveira
Data Engineer @Globo.com

Transcript

1. Big Data na globo.com Como estamos revolucionando com dados o maior portal do Brasil @renan_oliveira
2. Como aprendemos os interesses dos usuários dado a sua navegação
3. Números • 3 bilhões de eventos diários • 50 milhões de usuários únicos por mês • +100 mil novos conteúdos por mês
5. Páginas personalizadas são mais atrativas para os usuários
6. Social News
7. 0 4 8 12 16 1 2 3 4 5 6 7 8 9 14.72 15.81 10.06 7.55 5.59 4.05 4.28 5.37 13.07 3.04 3.06 3.01 2.93 2.92 3 2.85 3.02 3.13 All Visits Social News Users Métricas
10. Veracidade Variedade Valor Velocidade Volume
12. • Lambda: Streaming + Batch • APIs com tempo de resposta em ms • Ferramentas de analise de dados • Map Reduce está morto :) Arquitetura
14. Frentes de ação • Recomendação • Conhecimento sobre o usuário • Plataforma de dados
17. 13.2% feed editorial Maior diversidade feed recomendado 100% *matérias que foram para o feed
18. *Dados extraídos em novembro de 2015
19. *Dados extraídos em novembro de 2015
20. Algoritmos • Collaborative Filtering • Content-Based • ALS
25. Spreading Activation
26. *Quando usuário leu alguma matéria sobre seu time teste off-line com 3.5M de usuários da base 82% de acerto 95% de acerto nas 3 primeiras posições Qual o seu time?
27. teste com 500M de impressões +48.1% +48.4% com spreading activation de conversão Resultado do teste A/B *Dados extraídos em novembro de 2015
28. Data Culture
29. • Métricas por todo lado • Cálculo de engajamento • Business Intelligence Saindo da fronteira da área
30. • Métricas das Aplicações • Exploration and Visualization • Data Discovery Data…
31. • Métricas das Aplicações • Exploration and Visualization • Data Discovery Data… Grafana
32. • Métricas das Aplicações • Exploration and Visualization • Data Discovery Data… Grafana Jupyter
33. • Métricas das Aplicações • Exploration and Visualization • Data Discovery Data… Grafana Jupyter
35. Obrigado renanoliveira.net