Sistemas de Recomendação

Transcript

1. Sistemas de Recomendação Celso Crivelaro
2. Software Engineering @ Manager Professor IA e @ Big DaTa Celso Crivelaro T: @celsocrivelaro E: celsocrivelaro@gmail.com
3. O que é um Sistema de Recomendação?
4. Trazer os tops itens para os Usuários Sistemas de Recomendação Recomendação <> Busca Diferença: Recomendação é personalizada ao usuário. Busca é para uso geral
5. https://teses.usp.br/teses/disponiveis/3/3141/tde-26072013-121007/pt-br.php
11. Recomendação é um problema de Ranking
12. Muito provável clicar Menos provável
13. Muito provável clicar Estou em pânico Menos provável
14. Técnicas
15. Filtragem Baseada em Conteúdo
16. Usa-se os atributos dos itens para comparação Filtragem Baseada em Conteúdo A recomendação se dá pela proximidade de um item aos itens consumidos pelo usuário Os itens com melhor ranking, aparecem no topo
17. Preciso definir quais atributos dos itens são relevantes Filtragem Baseada em Conteúdo Definir pesos e utilidades de cada atributo e instância Os itens com melhor ranking, aparecem no topo
18. Gênero Atributos Ano de Publicação Palavras-chave
19. Algoritmo Clássico: IDF - TF
20. Mesmo usado pela busca (Lucene, engine do ELK, Solr) TF - IDF Term Frequency - Inverse of Document Frequency Prioriza itens (documentos) com os atributos mais raros
21. Quando o uso é interessante
22. Em uma página, mostrar itens similares Usos Em uma base nova, com poucas interações dos usuários Quando os itens têm atributos mapeáveis
23. Pontos Fracos
24. Forte tendência a indicar itens muito parecidos
25. Filtragem Colaborativa
26. Princípio: Pessoas parecidas têm gostos próximos Filtragem Colaborativa A recomendação se dá pela proximidade de um item aos itens consumidos pelo usuário Parecido com o mundo real: Pessoas recomendam no boca-a-boca
27. Algoritmo Clássico: kNN
28. Primeiro: Mede-se quanto um usuário é igual aos outros
29. Segundo: Ao recomendar um item, tira-se a média ponderada pela similaridade + fator de avaliação (nota)
30. Quando o uso é interessante
31. Quando a interação do usuário é fácil de buscar Usos Aspecto social forte Repetição de padrões de comportamento de usuários
32. Pontos Fracos
33. Problema do novo Usuário: Como o usuário não tem itens, qual recomendar? Pontos Fracos Idem para problema do novo Item Computação cara, precisa de várias heurísticas
34. Híbridos
35. Podemos usar as 2 abordagens aos mesmo tempo Sistemas Híbridos Um pode ser filtro do outro ou dar boost no ranking Podemos usar Regras Conhecidas para filtrar resultados
36. Decaimento
37. Problema do Harry Potter
38. Itens com altíssimo ranking são recomendados sempre Problema do Harry Potter
39. O que pode ser decaimento: Tempo, Distância, Volume Usar funções de Decaimento Decaimento Exponencial
40. Como se avalia um RecSys?
41. Top N recomendações. Ideal: N = 5 Avaliação Precisão Recall
42. Precisão@N Recall@N
43. Como achamos que Recomendação pode ajudar?
44. Obrigado!