Sistemas de Recomendação - Aplicando fatoração de matrizes em SRs

Transcript

1. Sistemas de Recomenda¸ c˜ ao Aplicando fatora¸ c˜ ao de matrizes em SRs [Pydata] 23 de agosto de 2018 (Pydata) 23 de agosto de 2018 1 / 49
2. 1 Introdu¸ c˜ ao / Motiva¸ c˜ ao 2 Conceito / Objetivo 3 Abordagens 4 SVD - Decomposi¸ c˜ ao em Valores Singulares 5 Aplicando SVD em SRs 6 Amazon, Netflix, Spotify, Google, Youtube, etc (Pydata) 23 de agosto de 2018 2 / 49
3. Introdu¸ c˜ ao / Motiva¸ c˜ ao Sum´ ario 1 Introdu¸ c˜ ao / Motiva¸ c˜ ao 2 Conceito / Objetivo 3 Abordagens 4 SVD - Decomposi¸ c˜ ao em Valores Singulares 5 Aplicando SVD em SRs 6 Amazon, Netflix, Spotify, Google, Youtube, etc (Pydata) 23 de agosto de 2018 3 / 49
4. Introdu¸ c˜ ao / Motiva¸ c˜ ao Introdu¸ c˜ ao Para fazer uma escolha frente ` a tantas alternativas apresentadas, geralmente, confiamos nas opini˜ oes passadas diretamente por outras pessoas, opini˜ oes de revisores de filmes ou de livros, jornais impressos, m´ ıdia em geral, dentre outros. Shardanand and Maes [1995] (Pydata) 23 de agosto de 2018 4 / 49
5. Introdu¸ c˜ ao / Motiva¸ c˜ ao Paradoxo da escolha ”` A medida que aumenta o n´ umero de op¸ c˜ oes, o esfor¸ co exigido para tomar uma decis˜ ao acertada tamb´ em aumenta; esse ´ e um dos motivos pelos quais a escolha pode deixar de ser uma vantagem para se transformar em um ˆ onus”(pag 68) Schwartz [2004] - The Paradox of Choice: Why More is Less. Ecco, 1 edition. (Pydata) 23 de agosto de 2018 5 / 49
6. Introdu¸ c˜ ao / Motiva¸ c˜ ao Paradoxo da escolha Schwartz [2004] - The Paradox of Choice: Why More is Less. Ecco, 1 edition. (Pydata) 23 de agosto de 2018 6 / 49
7. Introdu¸ c˜ ao / Motiva¸ c˜ ao Cauda longa O espantoso tamanho da Cauda Longa cria um mercado de produtos n˜ ao-populares que rivaliza com o mercado dos populares. Do mercado de massa para o mercado de nicho. Anderson [2006] - The long tail. Random House Business. (Pydata) 23 de agosto de 2018 7 / 49
8. Introdu¸ c˜ ao / Motiva¸ c˜ ao Cauda longa 25% das vendas da Amazon se situa fora dos 100 mil livros mais procurados. 21% das vendas do Netflix se concentram em filmes n˜ ao populares. Anderson [2006] - The long tail. Random House Business. (Pydata) 23 de agosto de 2018 8 / 49
9. Introdu¸ c˜ ao / Motiva¸ c˜ ao Quem investe? Os sistemas de recomenda¸ c˜ ao s˜ ao utilizados nas redes de com´ ercio, como por exemplo, Amazon.com, eBay e Levis para estimular a compra de itens. Schafer et al [1999] - Recommender systems in e-commerce. In EC’99. Proceedings of the 1st ACM conference on Eletronic commerce. (Pydata) 23 de agosto de 2018 9 / 49
10. Introdu¸ c˜ ao / Motiva¸ c˜ ao Quem investe? Netflix Prize (busca de qualidade das recomenda¸ c˜ oes) $1million para quem melhorar em 10% o sistema de recomenda¸ c˜ ao (Pydata) 23 de agosto de 2018 10 / 49
11. Conceito / Objetivo Sum´ ario 1 Introdu¸ c˜ ao / Motiva¸ c˜ ao 2 Conceito / Objetivo 3 Abordagens 4 SVD - Decomposi¸ c˜ ao em Valores Singulares 5 Aplicando SVD em SRs 6 Amazon, Netflix, Spotify, Google, Youtube, etc (Pydata) 23 de agosto de 2018 11 / 49
12. Conceito / Objetivo Sistemas de recomenda¸ c˜ ao ”S˜ ao quaisquer sistemas que tenham por objetivo produzir como sa´ ıda recomenda¸ c˜ oes individualizadas, ou produzir o efeito de orientar o usu´ ario de forma personalizada diante de uma grande variedade de op¸ c˜ oes.” Burke [2002] - Hybrid recommender systems: Survey and experiments. User modeling and User-Adapted Interaction. (Pydata) 23 de agosto de 2018 12 / 49
13. Conceito / Objetivo Objetivo Auxiliar no processo natural e social de tomada de decis˜ oes, via automatiza¸ c˜ ao desse processo de indica¸ c˜ ao j´ a h´ a muito praticado nas rela¸ c˜ oes humanas. Ou seja, proporcionar ao usu´ ario uma forma de identifica¸ c˜ ao personalizada baseada nas suas preferˆ encias, aproximando-o do potencial conte´ udo de interesse. (Pydata) 23 de agosto de 2018 13 / 49
14. Abordagens Sum´ ario 1 Introdu¸ c˜ ao / Motiva¸ c˜ ao 2 Conceito / Objetivo 3 Abordagens 4 SVD - Decomposi¸ c˜ ao em Valores Singulares 5 Aplicando SVD em SRs 6 Amazon, Netflix, Spotify, Google, Youtube, etc (Pydata) 23 de agosto de 2018 14 / 49
15. Abordagens Sistemas de recomenda¸ c˜ ao Os sistemas de recomenda¸ c˜ ao lidam com dois tipos de entidade: itens e usu´ arios - e s˜ ao geralmente classificados em trˆ es categorias: Abordagem baseada em conte´ udo, abordagem ou filtragem colaborativa e abordagem h´ ıbrida. Member Adomavicius and Member-Tuzhilin [2005] - Toward the next generation of recommender systems: A survey of the state-of-the-art and possible extensions. (Pydata) 23 de agosto de 2018 15 / 49
16. Abordagens Abordagem baseada em conte´ udo Abordagem onde s˜ ao recomendados itens similares aqueles em que o usu´ ario mostrou preferˆ encia no passado. (Pydata) 23 de agosto de 2018 16 / 49
17. Abordagens Abordagem baseada em filtragem colaborativa Nos sistemas colaborativos a essˆ encia est´ a na troca de experiˆ encias entre as pessoas que possuem interesses comuns. (Pydata) 23 de agosto de 2018 17 / 49
18. Abordagens Abordagem h´ ıbrida (Pydata) 23 de agosto de 2018 18 / 49
19. Abordagens Estrat´ egia n˜ ao personalizada - Top K Geralmente, sugerem itens mais vendidos. Problema: Cold Start = itens novos nunca foram avaliados por nenhum usu´ ario ou usu´ arios novos nunca avaliaram nenhum item. Falta de passado! (Pydata) 23 de agosto de 2018 19 / 49
20. SVD - Decomposi¸ c˜ ao em Valores Singulares Sum´ ario 1 Introdu¸ c˜ ao / Motiva¸ c˜ ao 2 Conceito / Objetivo 3 Abordagens 4 SVD - Decomposi¸ c˜ ao em Valores Singulares 5 Aplicando SVD em SRs 6 Amazon, Netflix, Spotify, Google, Youtube, etc (Pydata) 23 de agosto de 2018 20 / 49
21. SVD - Decomposi¸ c˜ ao em Valores Singulares Exemplo: Decomposi¸ c˜ ao em Valores Singulares (Pydata) 23 de agosto de 2018 21 / 49
22. SVD - Decomposi¸ c˜ ao em Valores Singulares Exemplo: Decomposi¸ c˜ ao em Valores Singulares (Pydata) 23 de agosto de 2018 22 / 49
23. SVD - Decomposi¸ c˜ ao em Valores Singulares Exemplo: Decomposi¸ c˜ ao em Valores Singulares (Pydata) 23 de agosto de 2018 23 / 49
24. SVD - Decomposi¸ c˜ ao em Valores Singulares Exemplo: Decomposi¸ c˜ ao em Valores Singulares (Pydata) 23 de agosto de 2018 24 / 49
25. SVD - Decomposi¸ c˜ ao em Valores Singulares Compress˜ ao de Imagem: n´ umero de valores singulares (Pydata) 23 de agosto de 2018 25 / 49
26. SVD - Decomposi¸ c˜ ao em Valores Singulares Escolha do n´ umero de valores singulares (Pydata) 23 de agosto de 2018 26 / 49
27. Aplicando SVD em SRs Sum´ ario 1 Introdu¸ c˜ ao / Motiva¸ c˜ ao 2 Conceito / Objetivo 3 Abordagens 4 SVD - Decomposi¸ c˜ ao em Valores Singulares 5 Aplicando SVD em SRs 6 Amazon, Netflix, Spotify, Google, Youtube, etc (Pydata) 23 de agosto de 2018 27 / 49
28. Aplicando SVD em SRs Modelagem = matriz de ratings (Pydata) 23 de agosto de 2018 28 / 49
29. Aplicando SVD em SRs Aplicando SVD (Pydata) 23 de agosto de 2018 29 / 49
30. Aplicando SVD em SRs Aplicando SVD (Pydata) 23 de agosto de 2018 30 / 49
31. Aplicando SVD em SRs Valida¸ c˜ ao offline = Exemplo: MAE e RSME online = Teste A/B (Pydata) 23 de agosto de 2018 31 / 49
32. Aplicando SVD em SRs Recomenda¸ c˜ ao como Data Mining (Pydata) 23 de agosto de 2018 32 / 49
33. Amazon, Netflix, Spotify, Google, Youtube, etc Sum´ ario 1 Introdu¸ c˜ ao / Motiva¸ c˜ ao 2 Conceito / Objetivo 3 Abordagens 4 SVD - Decomposi¸ c˜ ao em Valores Singulares 5 Aplicando SVD em SRs 6 Amazon, Netflix, Spotify, Google, Youtube, etc (Pydata) 23 de agosto de 2018 33 / 49
34. Amazon, Netflix, Spotify, Google, Youtube, etc Amazon.com 35% das vendas da Amazon vem de recomenda¸ c˜ oes!!! (Pydata) 23 de agosto de 2018 34 / 49
35. Amazon, Netflix, Spotify, Google, Youtube, etc Amazon.com (Pydata) 23 de agosto de 2018 35 / 49
36. Amazon, Netflix, Spotify, Google, Youtube, etc REC 1 - Itens relacionados a esse item (Pydata) 23 de agosto de 2018 36 / 49
37. Amazon, Netflix, Spotify, Google, Youtube, etc REC 2 - Quem comprou esse item tamb´ em comprou (Pydata) 23 de agosto de 2018 37 / 49
38. Amazon, Netflix, Spotify, Google, Youtube, etc REC 3 - Quem viu esse item tamb´ em viu (Pydata) 23 de agosto de 2018 38 / 49
39. Amazon, Netflix, Spotify, Google, Youtube, etc Netflix 2/3 dos filmes vistos na Netflix vem de recomenda¸ c˜ oes !!! (Pydata) 23 de agosto de 2018 39 / 49
40. Amazon, Netflix, Spotify, Google, Youtube, etc Exemplo de recomenda¸ c˜ ao no Netflix (Pydata) 23 de agosto de 2018 40 / 49
41. Amazon, Netflix, Spotify, Google, Youtube, etc Exemplo de recomenda¸ c˜ ao no Netflix (Pydata) 23 de agosto de 2018 41 / 49
42. Amazon, Netflix, Spotify, Google, Youtube, etc Exemplo de recomenda¸ c˜ ao no Spotify (Pydata) 23 de agosto de 2018 42 / 49
43. Amazon, Netflix, Spotify, Google, Youtube, etc Exemplo de recomenda¸ c˜ ao no Spotify (Pydata) 23 de agosto de 2018 43 / 49
44. Amazon, Netflix, Spotify, Google, Youtube, etc Exemplo de recomenda¸ c˜ ao na Google 38% das not´ ıcias clicadas no Google News vem de recomenda¸ c˜ oes!!! (Pydata) 23 de agosto de 2018 44 / 49
45. Amazon, Netflix, Spotify, Google, Youtube, etc Exemplo de recomenda¸ c˜ ao na Google (Pydata) 23 de agosto de 2018 45 / 49
46. Amazon, Netflix, Spotify, Google, Youtube, etc Exemplo de recomenda¸ c˜ ao no Youtube (Pydata) 23 de agosto de 2018 46 / 49
47. Amazon, Netflix, Spotify, Google, Youtube, etc Resultado? 2/3 dos filmes vistos na Netflix vem de recomenda¸ c˜ oes; 38% das not´ ıcias clicadas no Google News vem de recomenda¸ c˜ oes; 35% das vendas da Amazon vem de recomenda¸ c˜ oes. Music Recommendation Tutorial [2007]: Celma & Lamere ISMIR (Pydata) 23 de agosto de 2018 47 / 49
48. Amazon, Netflix, Spotify, Google, Youtube, etc Matrix factorization (Pydata) 23 de agosto de 2018 48 / 49
49. Amazon, Netflix, Spotify, Google, Youtube, etc Perguntas? (Pydata) 23 de agosto de 2018 49 / 49