Um sistema de recomendação de produtos baseado em grafos

Após trabalhar com diversas plataformas e não encontrar uma solução que atendesse os requisitos da empresa, o departamento de Pesquisa e Desenvolvimento do Magazine Luiza decidiu construir sua própria ferramenta de recomendação, baseada em um grande “interest graph”. Seja pelo e-commerce, através de aplicações mobile, clube de ofertas ou lojas físicas, informações do comportamento do cliente são armazenadas nesse grafo e posteriormente utilizadas nas recomendações.

Nesta apresentação, vamos mostrar os desafios enfrentados e um passo a passo da utilização de tecnologias como Cassandra, Redis, Gremlin, Titan, Faunus e Hadoop na extração de recomendações a partir de grafos.

* Apresentado na QCon14

Transcript

1. Um sistema de recomendação de produtos baseado em grafos Renato Pedigoni! Engenheiro Líder @rpedigoni renato@luizalabs.com André Fatala! Diretor P&D @andrefatala fatala@luizalabs.com
2. 744 lojas físicas 8 centros de distribuição +24 mil colaboradores +22 milhões de clientes 14 milhões de visitantes únicos por mês
3. –Dan Ariely "Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it..."
9. Grafos
10. Grafos Vértices (entidades, objetos) Pessoa Sessão Produto Categoria Depto
11. Grafos Vértices (entidades, objetos) Arestas (relacionamentos, conexões) Pessoa Sessão Produto Categoria Depto
12. Grafos Vértices (entidades, objetos) Arestas (relacionamentos, conexões) pertence Pessoa Sessão Produto Categoria Depto visitou comprou avaliou
13. Grafos Vértices (entidades, objetos) Arestas (relacionamentos, conexões) pertence Pessoa Sessão Produto Categoria Depto visitou comprou avaliou timestamp timestamp quantidade timestamp avaliacao nome email timestamp titulo estoque titulo titulo
14. Modelo: e-commerce
15. Modelo: e-commerce Pessoa
16. Modelo: e-commerce Pessoa iniciou
17. Modelo: e-commerce Pessoa Sessão iniciou
18. Modelo: e-commerce Pessoa Sessão iniciou visitou
19. Modelo: e-commerce Pessoa Sessão Produto iniciou visitou
20. Modelo: e-commerce Pessoa Sessão Produto iniciou visitou pertence
21. Modelo: e-commerce Pessoa Sessão Categoria Produto iniciou visitou pertence
22. Modelo: e-commerce Pessoa Sessão Categoria Produto iniciou visitou pertence pertence
23. Modelo: e-commerce Pessoa Sessão Categoria Depto Produto iniciou visitou pertence pertence
24. Modelo: e-commerce Pessoa Sessão Categoria Depto Produto iniciou visitou crosssell pertence pertence
25. Modelo: e-commerce Pessoa Sessão Categoria Depto Produto Produto iniciou visitou crosssell pertence pertence
26. Modelo: e-commerce Pessoa Sessão Categoria Depto Produto Produto iniciou visitou crosssell pertence pertence upsell
27. Modelo: e-commerce Pessoa Sessão Categoria Depto Produto Produto Produto iniciou visitou crosssell pertence pertence upsell
28. Modelo: e-commerce Pessoa Sessão Categoria Depto Produto Produto Produto iniciou visitou similar crosssell pertence pertence upsell
29. Modelo: e-commerce Pessoa Sessão Produto Categoria Depto Produto Produto Produto iniciou visitou similar crosssell pertence pertence upsell
31. Tinkerpop
32. Tinkerpop
33. Tinkerpop Java Conjunto de ferramentas para trabalhar com grafos Blueprints: análogo ao JDBC, para grafos
34. Grafos persistentes
35. Grafos persistentes Entre as possibilidades:
36. Grafos persistentes Suporta grandes grafos Código aberto, uso gratuito (incl. comercial) Storage configurável: Cassandra, HBase, entre outros Nossa escolha: Entre as possibilidades:
37. Grafos persistentes • Teorema "CAP"
 Consistência - Disponibilidade - Particionamento
38. Grafos persistentes • Teorema "CAP"
 Consistência - Disponibilidade - Particionamento Nossa escolha - Sem ponto único de falha - Consistência eventual
39. Como interagir com o grafo?
40. Como interagir com o grafo? ? ? ?
41. Como interagir com o grafo? Gremlin: Parte do Tinkerpop DSL para grafos Simples Comunidade ativa
42. Exemplo
43. Exemplo > vert1 = g.addVertex(); > vert1.tipo = 'visitante'; Visitante
44. Exemplo > vert1 = g.addVertex(); > vert1.tipo = 'visitante'; > vert2 = g.addVertex(); > vert2.tipo = 'produto'; Visitante Produto
45. Exemplo > vert1 = g.addVertex(); > vert1.tipo = 'visitante'; > vert2 = g.addVertex(); > vert2.tipo = 'produto'; > g.addEdge(vert1, vert2, 'visitou'); > g.commit() Visitante visitou Produto
46. Quem viu, também viu Recomendação
47. Sessão! #21162 Quem viu, também viu TV LED 
 40" Sessão! #826482 Sessão! #4337189 TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" Recomendação
48. Sessão! #21162 Quem viu, também viu TV LED 
 40" Sessão! #826482 Sessão! #4337189 visitou visitou visitou TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" visitou visitou visitou visitou visitou visitou Recomendação
49. Sessão! #21162 Quem viu, também viu TV LED 
 40" Sessão! #826482 Sessão! #4337189 TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" Recomendação
50. Sessão! #21162 Quem viu, também viu TV LED 
 40" Sessão! #826482 Sessão! #4337189 TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" g.V('product_sku', 'tv_led_40') Recomendação
51. Sessão! #21162 Quem viu, também viu TV LED 
 40" Sessão! #826482 Sessão! #4337189 TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" g.V('product_sku', 'tv_led_40') .in('visitou') Recomendação
52. Sessão! #21162 Quem viu, também viu TV LED 
 40" Sessão! #826482 Sessão! #4337189 TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" g.V('product_sku', 'tv_led_40') .in('visitou') Recomendação
53. Sessão! #21162 Quem viu, também viu TV LED 
 40" Sessão! #826482 Sessão! #4337189 TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" g.V('product_sku', 'tv_led_40') .in('visitou') Recomendação .out('visitou')
54. Sessão! #21162 Quem viu, também viu TV LED 
 40" Sessão! #826482 Sessão! #4337189 TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" g.V('product_sku', 'tv_led_40') .in('visitou') Recomendação .out('visitou')
55. Sessão! #21162 Quem viu, também viu TV LED 
 40" Sessão! #826482 Sessão! #4337189 TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" g.V('product_sku', 'tv_led_40') .in('visitou') Recomendação .out('visitou') .groupCount()
56. Sessão! #21162 Quem viu, também viu TV LED 
 40" Sessão! #826482 Sessão! #4337189 TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" g.V('product_sku', 'tv_led_40') .in('visitou') Recomendação .out('visitou') .groupCount() key value TV LCD 40" TV PLASMA 52" TV LED 42” TV LCD 32" 1 2 3 1
57. Sessão! #21162 Quem viu, também viu TV LED 
 40" Sessão! #826482 Sessão! #4337189 TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" g.V('product_sku', 'tv_led_40') .in('visitou') Recomendação .out('visitou') .groupCount() key value TV LCD 40" TV PLASMA 52" TV LED 42” TV LCD 32" 1 2 3 1 .sort{-it.value}
58. Sessão! #21162 Quem viu, também viu TV LED 
 40" Sessão! #826482 Sessão! #4337189 TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" g.V('product_sku', 'tv_led_40') .in('visitou') Recomendação .out('visitou') .groupCount() key value TV LCD 40" TV PLASMA 52" TV LED 42” TV LCD 32" 1 2 3 1 .sort{-it.value}
59. Produto Supernodes • Vértices com número desproporcional de arestas conectadas http://thinkaurelius.com/2012/10/25/a-solution-to-the-supernode-problem/ Benchmark
60. Produto Supernodes • Vértices com número desproporcional de arestas conectadas Produto +1.000.000 http://thinkaurelius.com/2012/10/25/a-solution-to-the-supernode-problem/ Benchmark
61. Produto Supernodes • Vértices com número desproporcional de arestas conectadas Produto Solução (Titan): vertex-centric indices +1.000.000 http://thinkaurelius.com/2012/10/25/a-solution-to-the-supernode-problem/ Benchmark
62. Arestas de atalho TV LED 
 40" TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" Sessão" #21162 Sessão" #826482 Sessão" #4337189 visitou visitou visitou visitou visitou visitou visitou visitou visitou 1
63. Arestas de atalho TV LED 
 40" TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" Sessão" #21162 Sessão" #826482 Sessão" #4337189 visitou visitou visitou visitou visitou visitou visitou visitou visitou 1
64. Arestas de atalho TV LED 
 40" TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" Sessão" #21162 Sessão" #826482 Sessão" #4337189 visitou visitou visitou visitou visitou visitou visitou visitou visitou 1 quem_viu_tb_viu quem_viu_tb_viu
65. Arestas de atalho TV LED 
 40" TV LCD 
 40" TV PLASMA 
 52" TV LED 
 42” TV LCD 
 32" Sessão" #21162 Sessão" #826482 Sessão" #4337189 visitou visitou visitou visitou visitou visitou visitou visitou visitou 1 quem_viu_tb_viu quem_viu_tb_viu g.V('product_sku', ‘tv_led_40’).out(‘quem_viu_tb_viu’)
66. Mas e o Hadoop?
67. Aurelius Graph Stack
68. Aurelius Graph Stack
69. Faunus Roda sobre o Hadoop, armazena os dados no HDFS Ferramenta para operações globais no grafo Diversas utilidades Graph analytics Schema migration Sub grafos Detecção de comunidades
70. Faunus: exemplo In degree distribution g.V.sideEffect('{it.degree=it.inE.count()}').degree.groupCount
71. Faunus: exemplo In degree distribution g.V.sideEffect('{it.degree=it.inE.count()}').degree.groupCount
72. Faunus: exemplo In degree distribution g.V.sideEffect('{it.degree=it.inE.count()}').degree.groupCount
73. Faunus: exemplo In degree distribution g.V.sideEffect('{it.degree=it.inE.count()}').degree.groupCount ==>1 167050! ==>10 2305! ==>100 6! ==>108 3! ==>119 3! ==>122 3! ==>133 1! ==>144 2! ==>155 1! ==>166 2! ==>18 471! ==>188 1! ==>21 306! ==>232 1! ==>254 1! ==>...
74. Rexster • Parte da stack Tinkerpop • Permite acessar qualquer grafo Blueprints através de uma API REST • Além de HTTP, possui protocolo binário (RexPro)
75. Gremlin Demo
76. User type userId Gremlin Demo
77. User type userId Gremlin Demo initialized
78. User type userId Gremlin Demo initialized Session type sessionId timestamp
79. User type userId Gremlin Demo initialized Session type sessionId timestamp viewed
80. User type userId Gremlin Demo initialized Session type sessionId timestamp Product type category name viewed
81. Gremlin Demo initialized User type userId Session type sessionId timestamp Product type category name viewed 50 users 90 products 102 sessions ! 690 edges
82. Analytics
83. Bob • Infra: AWS • +1.2 bilhões de arestas armazenadas • + 300 milhões de vértices • 20 milhões de recomendações por dia
84. Renato Pedigoni" Engenheiro Líder @rpedigoni renato@luizalabs.com André Fatala" Diretor P&D @andrefatala fatala@luizalabs.com Há vagas! luizalabs.com