Credibilidade do Usuário e Machine learning - Como melhorar a busca de imagens

As informações de credibilidade fornecem um indicativo de quais usuários têm maior probabilidade de compartilhar imagens relevantes em feeds de redes sociais e, consequentemente, podem ajudar a estimar a relevância de uma imagem para fins de recuperação. Considerar múltiplas evidências de credibilidade tem se mostrado um método efetivo para o ranking de imagens. Com o objetivo de selecionar e combinar múltiplos descritores de credibilidade, propus um modelo automático de ajuste de pesos adaptativo ao contexto baseado em algoritmos genéticos.

Categoria: Data Science, Machine Learning, Algoritmos genéticos

Transcript

1. Credibilidade do Usuário & Machine learning: Como melhorar a busca de imagens Wanderson Bezerra da Silva wbsilva@ecomp.uefs.br Dr. Rodrigo Tripodi Calumby rtcalumby@uefs.br
2. About ❖ Wanderson Silva ❖ Estudante de Eng. de Computação (UEFS) ❖ 4 anos de iniciação científica na área de Recuperação da informação e fusão de dados ❖ Adaptação do WebMedia 2018 2
3. 1. Introdução 3
4. Introdução 4
5. Introdução ❖ Informações textuais ➢ Metadados ➢ Palavras-chaves ❖ Informações visuais ➢ Cor ➢ Forma ➢ textura 5
6. Introdução ❖ Reputação das fontes de dados ➢ Credibilidade do usuário ➢ Relação tag-imagem ➢ Considera itens fornecidos por usuários com boa credibilidade 6 “Carro novo” “Carro novo”
7. Introdução ❖ Descritores de credibilidade ➢ Descrição textual da imagem ➢ Quantidade de visualizações ➢ Proporção de imagens com faces humanas ➢ Similaridade das tags de localização ➢ Entre outros 7
8. Introdução ❖ Fusão dos descritores de credibilidade ➢ Um único descritor pode não ser o suficiente ➢ A melhor combinação deve ser encontrada ➢ Não é uma tarefa fácil ➢ Uso de um Algoritmo Genético para buscar a melhor combinação 8
9. 2. Descritores de credibilidade 9
10. Descritores de Credibilidade ❖ visualScore ❖ faceProportion ❖ photoCount ❖ tagSpecificity ❖ locationSimilarity ❖ uniqueTags ❖ uploadFrequency 10 ❖ bulkProportion ❖ meanPhotoViews ❖ meanTitleWordCounts ❖ meanTagsPerPhoto ❖ meanTagRank ❖ meanImageTagClarity
11. visualScore 11 Carro Veículos Veículos terrestres Veículo aéreos Carro … … ImageNet
12. 2. Credibilidade do usuário 12
13. 13 Cristo redentor sem turistas Pesquisar Gugol Imagens
14. 14 Usuário A Usuário B Usuário C Usuário B
15. 15 Imagens do usuário A Total de imagens Imagens com face FaceProportion 4 3 0.75
16. 16 Imagens do usuário B Total de imagens Imagens com face FaceProportion 4 1 0.25
17. 17 Imagens do usuário C Total de imagens Imagens com face FaceProportion 3 3 1
18. 18 Usuário faceProportion A 0.75 B 0.25 C 1 Usuário B Usuário B Usuário A Usuário C Usuário A Usuário B Usuário C Usuário B
19. 4. Método proposto 19
20. Método Proposto ❖ Re-ranqueamento baseado em credibilidade ❖ Combinar múltiplos descritores de credibilidade ❖ Fusão linear 20
21. Método Proposto ❖ Algoritmo Genético (AG) ➢ Técnica utilizada para achar soluções aproximadas em problemas de otimização e busca ➢ Inspirado na biologia evolutiva ▪ Hereditariedade ▪ Seleção natural ▪ Mutação ▪ Recombinação (crossover) ➢ Fitness ▪ Atributo que define a qualidade de um indivíduo 21
22. Algoritmo Genético ❖ População / cromossomo / gene 22 G 1 G 2 G 1 G 2 G 3 G 4 G 5 ... G n G 1 G 2 G 1 G 2 G 3 G 4 G 5 ... G n G 1 G 2 G 1 G 2 G 3 G 4 G 5 ... G n G 1 G 2 G 1 G 2 G 3 G 4 G 5 ... G n Ind 1 Ind 2 Ind 3 . . . Ind n
23. Algoritmo Genético ❖ Operador 1: Seleção 23
24. Algoritmo Genético ❖ Operador 2: Crossover 24
25. Algoritmo Genético ❖ Operador 3: Multação 25
27. Método Proposto ❖ Algoritmo Genético (AG) ➢ Cada gene corresponde ao peso de um descritor ➢ A solução final deve ser um conjunto de pesos ideais 27 p 1 p 2 p 3 p 4 p 5 ... p n
28. 4. Metodologia experimental 28
29. Metodologia Experimental ❖ Configuração do algoritmo genético ➢ Parâmetros ➢ Operadores 29 Cruzamento Mutação População Sobreviventes Avaliações 90% 7% 200 10 5000 Seleção Cruzamento Mutação Torneio binário BLX Alpha Creep
30. Métodologia Experimental ❖ Base de dados ➢ Fotos de pontos turísticos ➢ Dados coletados do Flickr e Wikipedia ➢ 222 consultas ➢ Imagens por consulta: ~300 imagens ➢ Credibilidade: + 3000 usuários 30
31. Metodologia Experimental ❖ Funções de Fitness ➢ Precision (P@N) ▪ P@10, P@20, P@50 ➢ MAP 31 ❖ Funções de avaliação ➢ Curvas de P@N ➢ MAP
32. Métodologia Experimental ❖ Validação cruzada ➢ K-fold cross validation ➢ 178 consultas para a busca dos pesos ➢ 44 consultas para avaliação da melhor solução 32 Iteração Busca Avaliação
33. 3. Baselines 33
34. Baselines ❖ Ranking original do Flickr ❖ Calumby et al. [1] ➢ Fusão dos descritores com combinação linear ➢ Pesos definidos de forma empírica ❖ Chen et al. [2] ➢ Apenas um re-ranqueamento utilizando o descritor visualScore 34
35. 4. Resultados 35
36. Comparativo dos resultados obtidos com o AG 36
37. Comparativo resultado do AG(P@20) com baselines 37 Calumby et al. Chen et al.
38. Avaliação comparativa dos resultados utilizando a medida MAP. 38 Calumby et al. Chen et al.
39. 4. Conclusão 39
40. Conclusão ❖ Qualidade dos resultados preliminares ❖ Otimizar o AG pode gerar resultados melhores ❖ Impacto da função de aptidão ❖ O método proposto pode ser usado em outros cenários de aprimoramento de resultados 40
41. 41 Referências [1] R. T. Calumby, I. C. Araujo, V. P. Santana, J. V. Muñoz, O. B. Penatti, L. T. Li, J. Almeida, G. Chiachia, M. A. Gonçalves, and R. da S. Torres. 2015. Recod @ MediaEval 2015: Diverse Social Images Retrieval. In Working Notes Proceedings of the MediaEval Workshop. [2] X. Chen, H. Liu, Z. Deng, and Y. Yang. 2015. Retrieving Relevant and Diverse Image from Social Media Images. In Working Notes Proceedings of the MediaEval Workshop.
42. 42 Obrigado! Wanderson Bezerra da Silva wbsilva@ecomp.uefs.br Dr. Rodrigo Tripodi Calumby rtcalumby@uefs.br