Share
Embed
Transcript
49 slides
-
Sistemas de Recomenda¸ c˜ ao Aplicando fatora¸ c˜ ao de
matrizes em SRs [Pydata] 23 de agosto de 2018 (Pydata) 23 de agosto de 2018 1 / 49 -
1 Introdu¸ c˜ ao / Motiva¸ c˜ ao 2 Conceito
/ Objetivo 3 Abordagens 4 SVD - Decomposi¸ c˜ ao em Valores Singulares 5 Aplicando SVD em SRs 6 Amazon, Netflix, Spotify, Google, Youtube, etc (Pydata) 23 de agosto de 2018 2 / 49 -
Introdu¸ c˜ ao / Motiva¸ c˜ ao Sum´ ario 1
Introdu¸ c˜ ao / Motiva¸ c˜ ao 2 Conceito / Objetivo 3 Abordagens 4 SVD - Decomposi¸ c˜ ao em Valores Singulares 5 Aplicando SVD em SRs 6 Amazon, Netflix, Spotify, Google, Youtube, etc (Pydata) 23 de agosto de 2018 3 / 49 -
Introdu¸ c˜ ao / Motiva¸ c˜ ao Introdu¸ c˜ ao
Para fazer uma escolha frente ` a tantas alternativas apresentadas, geralmente, confiamos nas opini˜ oes passadas diretamente por outras pessoas, opini˜ oes de revisores de filmes ou de livros, jornais impressos, m´ ıdia em geral, dentre outros. Shardanand and Maes [1995] (Pydata) 23 de agosto de 2018 4 / 49 -
Introdu¸ c˜ ao / Motiva¸ c˜ ao Paradoxo da escolha
”` A medida que aumenta o n´ umero de op¸ c˜ oes, o esfor¸ co exigido para tomar uma decis˜ ao acertada tamb´ em aumenta; esse ´ e um dos motivos pelos quais a escolha pode deixar de ser uma vantagem para se transformar em um ˆ onus”(pag 68) Schwartz [2004] - The Paradox of Choice: Why More is Less. Ecco, 1 edition. (Pydata) 23 de agosto de 2018 5 / 49 -
Introdu¸ c˜ ao / Motiva¸ c˜ ao Paradoxo da escolha
Schwartz [2004] - The Paradox of Choice: Why More is Less. Ecco, 1 edition. (Pydata) 23 de agosto de 2018 6 / 49 -
Introdu¸ c˜ ao / Motiva¸ c˜ ao Cauda longa O
espantoso tamanho da Cauda Longa cria um mercado de produtos n˜ ao-populares que rivaliza com o mercado dos populares. Do mercado de massa para o mercado de nicho. Anderson [2006] - The long tail. Random House Business. (Pydata) 23 de agosto de 2018 7 / 49 -
Introdu¸ c˜ ao / Motiva¸ c˜ ao Cauda longa 25%
das vendas da Amazon se situa fora dos 100 mil livros mais procurados. 21% das vendas do Netflix se concentram em filmes n˜ ao populares. Anderson [2006] - The long tail. Random House Business. (Pydata) 23 de agosto de 2018 8 / 49 -
Introdu¸ c˜ ao / Motiva¸ c˜ ao Quem investe? Os
sistemas de recomenda¸ c˜ ao s˜ ao utilizados nas redes de com´ ercio, como por exemplo, Amazon.com, eBay e Levis para estimular a compra de itens. Schafer et al [1999] - Recommender systems in e-commerce. In EC’99. Proceedings of the 1st ACM conference on Eletronic commerce. (Pydata) 23 de agosto de 2018 9 / 49 -
Introdu¸ c˜ ao / Motiva¸ c˜ ao Quem investe? Netflix
Prize (busca de qualidade das recomenda¸ c˜ oes) $1million para quem melhorar em 10% o sistema de recomenda¸ c˜ ao (Pydata) 23 de agosto de 2018 10 / 49 -
Conceito / Objetivo Sum´ ario 1 Introdu¸ c˜ ao /
Motiva¸ c˜ ao 2 Conceito / Objetivo 3 Abordagens 4 SVD - Decomposi¸ c˜ ao em Valores Singulares 5 Aplicando SVD em SRs 6 Amazon, Netflix, Spotify, Google, Youtube, etc (Pydata) 23 de agosto de 2018 11 / 49 -
Conceito / Objetivo Sistemas de recomenda¸ c˜ ao ”S˜ ao
quaisquer sistemas que tenham por objetivo produzir como sa´ ıda recomenda¸ c˜ oes individualizadas, ou produzir o efeito de orientar o usu´ ario de forma personalizada diante de uma grande variedade de op¸ c˜ oes.” Burke [2002] - Hybrid recommender systems: Survey and experiments. User modeling and User-Adapted Interaction. (Pydata) 23 de agosto de 2018 12 / 49 -
Conceito / Objetivo Objetivo Auxiliar no processo natural e social
de tomada de decis˜ oes, via automatiza¸ c˜ ao desse processo de indica¸ c˜ ao j´ a h´ a muito praticado nas rela¸ c˜ oes humanas. Ou seja, proporcionar ao usu´ ario uma forma de identifica¸ c˜ ao personalizada baseada nas suas preferˆ encias, aproximando-o do potencial conte´ udo de interesse. (Pydata) 23 de agosto de 2018 13 / 49 -
Abordagens Sum´ ario 1 Introdu¸ c˜ ao / Motiva¸ c˜
ao 2 Conceito / Objetivo 3 Abordagens 4 SVD - Decomposi¸ c˜ ao em Valores Singulares 5 Aplicando SVD em SRs 6 Amazon, Netflix, Spotify, Google, Youtube, etc (Pydata) 23 de agosto de 2018 14 / 49 -
Abordagens Sistemas de recomenda¸ c˜ ao Os sistemas de recomenda¸
c˜ ao lidam com dois tipos de entidade: itens e usu´ arios - e s˜ ao geralmente classificados em trˆ es categorias: Abordagem baseada em conte´ udo, abordagem ou filtragem colaborativa e abordagem h´ ıbrida. Member Adomavicius and Member-Tuzhilin [2005] - Toward the next generation of recommender systems: A survey of the state-of-the-art and possible extensions. (Pydata) 23 de agosto de 2018 15 / 49 -
Abordagens Abordagem baseada em conte´ udo Abordagem onde s˜ ao
recomendados itens similares aqueles em que o usu´ ario mostrou preferˆ encia no passado. (Pydata) 23 de agosto de 2018 16 / 49 -
Abordagens Abordagem baseada em filtragem colaborativa Nos sistemas colaborativos a
essˆ encia est´ a na troca de experiˆ encias entre as pessoas que possuem interesses comuns. (Pydata) 23 de agosto de 2018 17 / 49 -
Abordagens Estrat´ egia n˜ ao personalizada - Top K Geralmente,
sugerem itens mais vendidos. Problema: Cold Start = itens novos nunca foram avaliados por nenhum usu´ ario ou usu´ arios novos nunca avaliaram nenhum item. Falta de passado! (Pydata) 23 de agosto de 2018 19 / 49 -
SVD - Decomposi¸ c˜ ao em Valores Singulares Sum´ ario
1 Introdu¸ c˜ ao / Motiva¸ c˜ ao 2 Conceito / Objetivo 3 Abordagens 4 SVD - Decomposi¸ c˜ ao em Valores Singulares 5 Aplicando SVD em SRs 6 Amazon, Netflix, Spotify, Google, Youtube, etc (Pydata) 23 de agosto de 2018 20 / 49 -
SVD - Decomposi¸ c˜ ao em Valores Singulares Exemplo: Decomposi¸
c˜ ao em Valores Singulares (Pydata) 23 de agosto de 2018 21 / 49 -
SVD - Decomposi¸ c˜ ao em Valores Singulares Exemplo: Decomposi¸
c˜ ao em Valores Singulares (Pydata) 23 de agosto de 2018 22 / 49 -
SVD - Decomposi¸ c˜ ao em Valores Singulares Exemplo: Decomposi¸
c˜ ao em Valores Singulares (Pydata) 23 de agosto de 2018 23 / 49 -
SVD - Decomposi¸ c˜ ao em Valores Singulares Exemplo: Decomposi¸
c˜ ao em Valores Singulares (Pydata) 23 de agosto de 2018 24 / 49 -
SVD - Decomposi¸ c˜ ao em Valores Singulares Compress˜ ao
de Imagem: n´ umero de valores singulares (Pydata) 23 de agosto de 2018 25 / 49 -
SVD - Decomposi¸ c˜ ao em Valores Singulares Escolha do
n´ umero de valores singulares (Pydata) 23 de agosto de 2018 26 / 49 -
Aplicando SVD em SRs Sum´ ario 1 Introdu¸ c˜ ao
/ Motiva¸ c˜ ao 2 Conceito / Objetivo 3 Abordagens 4 SVD - Decomposi¸ c˜ ao em Valores Singulares 5 Aplicando SVD em SRs 6 Amazon, Netflix, Spotify, Google, Youtube, etc (Pydata) 23 de agosto de 2018 27 / 49 -
Aplicando SVD em SRs Modelagem = matriz de ratings (Pydata)
23 de agosto de 2018 28 / 49 -
Aplicando SVD em SRs Aplicando SVD (Pydata) 23 de agosto
de 2018 29 / 49 -
Aplicando SVD em SRs Aplicando SVD (Pydata) 23 de agosto
de 2018 30 / 49 -
Aplicando SVD em SRs Valida¸ c˜ ao offline = Exemplo:
MAE e RSME online = Teste A/B (Pydata) 23 de agosto de 2018 31 / 49 -
Aplicando SVD em SRs Recomenda¸ c˜ ao como Data Mining
(Pydata) 23 de agosto de 2018 32 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc Sum´ ario 1 Introdu¸
c˜ ao / Motiva¸ c˜ ao 2 Conceito / Objetivo 3 Abordagens 4 SVD - Decomposi¸ c˜ ao em Valores Singulares 5 Aplicando SVD em SRs 6 Amazon, Netflix, Spotify, Google, Youtube, etc (Pydata) 23 de agosto de 2018 33 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc Amazon.com 35% das vendas
da Amazon vem de recomenda¸ c˜ oes!!! (Pydata) 23 de agosto de 2018 34 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc Amazon.com (Pydata) 23 de
agosto de 2018 35 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc REC 1 - Itens
relacionados a esse item (Pydata) 23 de agosto de 2018 36 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc REC 2 - Quem
comprou esse item tamb´ em comprou (Pydata) 23 de agosto de 2018 37 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc REC 3 - Quem
viu esse item tamb´ em viu (Pydata) 23 de agosto de 2018 38 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc Netflix 2/3 dos filmes
vistos na Netflix vem de recomenda¸ c˜ oes !!! (Pydata) 23 de agosto de 2018 39 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc Exemplo de recomenda¸ c˜
ao no Netflix (Pydata) 23 de agosto de 2018 40 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc Exemplo de recomenda¸ c˜
ao no Netflix (Pydata) 23 de agosto de 2018 41 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc Exemplo de recomenda¸ c˜
ao no Spotify (Pydata) 23 de agosto de 2018 42 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc Exemplo de recomenda¸ c˜
ao no Spotify (Pydata) 23 de agosto de 2018 43 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc Exemplo de recomenda¸ c˜
ao na Google 38% das not´ ıcias clicadas no Google News vem de recomenda¸ c˜ oes!!! (Pydata) 23 de agosto de 2018 44 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc Exemplo de recomenda¸ c˜
ao na Google (Pydata) 23 de agosto de 2018 45 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc Exemplo de recomenda¸ c˜
ao no Youtube (Pydata) 23 de agosto de 2018 46 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc Resultado? 2/3 dos filmes
vistos na Netflix vem de recomenda¸ c˜ oes; 38% das not´ ıcias clicadas no Google News vem de recomenda¸ c˜ oes; 35% das vendas da Amazon vem de recomenda¸ c˜ oes. Music Recommendation Tutorial [2007]: Celma & Lamere ISMIR (Pydata) 23 de agosto de 2018 47 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc Matrix factorization (Pydata) 23
de agosto de 2018 48 / 49 -
Amazon, Netflix, Spotify, Google, Youtube, etc Perguntas? (Pydata) 23 de
agosto de 2018 49 / 49