Recomendação - Algoritmos de Filtragem Colaborativa

Algoritmos de Filtragem Colaborativa - similaridade, fatores latentes e rbms

Transcript

2. Algoritmos de Algoritmos de Recomendação Recomendação
3. Felipe Cruz Felipe Cruz @felipejcruz @felipejcruz github.com/felipecruz github.com/felipecruz
4. Problema Problema Algoritmos Algoritmos CF & RBMs CF & RBMs
5. Motivação? Motivação?
6. relevância relevância eficiência eficiência personalização personalização
7. ? ? Problema Problema
8. ? ? ? ? ? ? ? ?
9. + = ?
10. Quantos Quantos usuários? usuários?
11. Quantos Quantos produtos? produtos?
12. Recomendação não Recomendação não serve apenas para serve apenas para "Big Data", só que.. "Big Data", só que..
13. quanto maior for a quanto maior for a matriz, mais matriz, mais recursos são recursos são necessários necessários
14. Problema Problema Algoritmos Algoritmos CF & RBMs CF & RBMs
15. Sistemas de Sistemas de Recomendação Recomendação
16. Sistemas de Sistemas de Recomendação Recomendação
17. Filtragem Filtragem Colaborativa Colaborativa
18. Similaridade Similaridade (neighborhood based)
19. Procedimento de treino Procedimento de treino Para cada usuário Descobre usuários que compraram produtos em comum
20. Procedimento de treino Procedimento de treino
21. Procedimento de treino Procedimento de treino agora podemos calcular a similaridade
22. f( ) f é a função de similaridade
23. f(a, u, I) = √ (r − ) (r − ) ∑i∈I a,i ra 2 ∑i∈I u,i ru 2 (r − )(r − ) ∑i∈I a,i ra u,i ru Pearson correlation
24. (r − ) ∑ i∈I a,i ra nota dada pelo usuário a ao item i menos média das notas do usuário a I = { , } (r − ) u,i ru
25. (r − ) ∑ i∈I a,i ra (r − ) u,i ru [(4.5 − 4)(4 − 3.5)] + [(3.5 − 4)(3 − 3.5)] [0.5 × 0.5] + [−0.5 × −0.5] = 0.5
26. √ (r − ) (r − ) ∑ i∈I a,i ra 2 ∑ i∈I u,i ru 2 [(4.5 − 4) + (3.5 − 4) ] × [(4 − 3.5) + (3 − 3.5) ] 2 2 2 2 [(0.5) + (−0.5) ] × [(0.5) + (−0.5) ] = = 0.5 2 2 2 2 √0.52
27. = 1 0.5 0.5
30. Predição? Predição?
31. p = + a,i ra w ∑u∈K a,u (r − )×w ∑u∈K u,i ru a,u Predição Predição
32. p = 4 + = 5.5 a,i 1 5−3.5×1 Predição Predição
34. Template method - treino Template method - treino for u in usuarios: similares = mesmos_produtos(R, u) for s in similares: S[(u,s)] = similaridade(u, s)
35. Outras medidas de Outras medidas de similaridade similaridade Jaccard
36. pausa... pausa...
37. Fator Fator latente latente (model based)
38. Capturar informação Capturar informação implícita implícita
39. Capturar Capturar informação informação implícita implícita
40. #comofaz #comofaz
41. ? ? ? ? ? ? ? ?
42. R ∈ ij (u × p) Vamos dar um nome aquela matriz: Vamos dar um nome aquela matriz:
43. Model Model Based? Based?
44. Modelo Modelo ⟨u , p ⟩ ≈ R i j ij
45. Fatorar matrizes Fatorar matrizes = U P R(u×p) (u×k) (k×p)
46. min (r − u p ) ∑ i,j∈L i,j i j 2 U, P T +λ n ∣u ∣ + n ∣∣v ∣∣ (∑ i ui ∣ i∣ 2 ∑ j vj j 2) Formalização Formalização do Problema do Problema ⟨u , p ⟩ i j
47. min (r − u p ) ∑ i,j∈L i,j i j 2 U, P T +λ n ∣u ∣ + n ∣∣v ∣∣ (∑ i ui ∣ i∣ 2 ∑ j vj j 2) Formalização Formalização do Problema do Problema Regularização contra overfit
48. min (r − u p ) ∑ i,j∈L i,j i j 2 U, P T E = − ( 2 3 4 6 ) ( ⟨u , p ⟩ 1 1 ⟨u , p ⟩ 2 1 ⟨u , p ⟩ 1 2 ⟨u , p ⟩ 2 2 ) Minimizar o erro Minimizar o erro Rij Rij
49. Algoritmo ALS Algoritmo ALS 1. Inicializa U com valores randômicos 2. Fixa U, e para cada linha de P resolvemos um problema de regressão linear para achar valores ótimos para P 3. Fixa P, e para cada linha de P resolvemos um problema de regressão linear para achar valores ótimos para U
50. ALS ALS ​Ajusta traseira Ajusta frente Ajusta traseira Ajusta frente
51. Problema Problema Algoritmos Algoritmos CF & RBMs CF & RBMs
52. RBM RBM Modelo generativo Reconhece e completa padrões Algoritmo de aprendizado eficiente
57. RBMs & CF RBMs & CF
58. Modelo Modelo Cada destino é uma unidade visível 1 se comprou 0 se não comprou Também é possível usar atributos do usuário no modelo. Ex: tem filhos? Só compra pacotes de luxo?
59. Predição - input Predição - input profile = [0, 0, 0, 1, 0, 0, 0, 1] profile = [0, 0, 0, 1, 0, 0, 0, 1] (buzios e ilha grande)
60. Predição - output Predição - output pred = [0, 1, 0, 1, 0, 0, 1, 1] pred = [0, 1, 0, 1, 0, 0, 1, 1] (buzios, ilha grande, angra, balneário camboriú)
61. RBM ALS
62. Na prática Na prática Funciona* bem com amostras do dataset Perfis vazios voltam com destinos mais populares Predição não determinística Pode ser usada antes de um modelo de Rating pra diminuir a quantidade de predições necessárias Ensemble!!! http://www.slideshare.net/akyrola/largescale- recommendation-systems-on-just-a-pc
63. Perguntas? Perguntas? @felipejcruz @felipejcruz github.com/felipecruz