Grafos em escala: Usando Titan, Faunus e Hadoop para recomendação de produtos

Transcript

1. Grafos em escala Usando Titan, Faunus e Hadoop para recomendação de produtos Arthur Grava Engenheiro Líder de Big Data @arthur_grava arthur@luizalabs.com
2. • 786 lojas físicas • 8 centros de distribuição • +18 mil colaboradores • +40 milhões de clientes • 16 milhões de visitantes únicos mês
3. Sistemas de recomendação
4. Sistemas de recomendação • Magazine Luiza • ~40k visitantes únicos por hora • ~120k views em produtos por hora
5. Sistemas de recomendação
6. Sistemas de recomendação
7. Sistemas de recomendação
8. Sistemas de recomendação
9. Sistemas de recomendação
10. Grafos
11. Grafos • Conjunto de vértices
12. Grafos • Conjunto de vértices • Conjunto de arestas entre vértices
13. Porque utilizar Grafos? • Modelagem simplificada • Abstração das relações entre clientes e produtos • Facilidade em iterar nas entidades e seus relacionamentos • Facilidade para o cálculo de comportamentos básicos
14. Schema
15. Como representar dados em grafos?
16. Titan
17. Facilidades lidando com grafos • Titan, assim como outros bancos / frameworks, utilizam o Gremlin (DSL para grafos) • Facilita a escrita do código • Compatibilidade com outras plataformas
18. Facilidades lidando com grafos
19. Facilidades lidando com grafos
20. Facilidades lidando com grafos viu
21. Facilidades em cálculos simples
22. Facilidades em cálculos simples
23. Facilidades em cálculos simples
24. Facilidades em cálculos simples
25. Facilidades em cálculos simples SKU COUNT tv_2 1 tv_3 2 tv_4 3 tv_5 1
26. Facilidades em cálculos simples SKU COUNT tv_4 3 tv_3 2 tv_2 1 tv_5 1
27. Problemas?
28. Problemas...
29. Problemas...
30. Problemas... http://thinkaurelius.github.io/titan/wikidoc/0.4.4/Titan-Data-Model.html
31. Problemas... http://thinkaurelius.github.io/titan/wikidoc/0.4.4/Titan-Data-Model.html
32. Problemas... • Estávamos criando supernodes • Produtos muito populares causando esse problema
33. Problemas... • Estávamos criando supernodes • Produtos muito populares causando esse problema
34. Solução • Remodelagem do grafo • Manter arestas que podem causar impacto por volume como unidirecionais
35. Mais problemas... • Não temos mais a aresta que de produto para sessão!
36. Mais problemas... • Não temos mais a aresta que de produto para sessão!
37. Stewie
38. • ~600 milhões de vértices • ~ 2.5 bilhões de arestas • 1TB+ de dados • Tempo de resposta para uma query simples • 45ms • ~2500 read requests / sec • ~100 write requests / sec O quão grande?
39. Muito obrigado! Arthur Grava Engenheiro Líder de Big Data @arthur_grava arthur@luizalabs.com
40. Perguntas? Arthur Grava Engenheiro Líder de Big Data @arthur_grava arthur@luizalabs.com