Mineração em Imagens @ UFF

Transcript

1. MINERAÇÃO EM IMAGENS João Pedro Portela
2. O que é? RECONHECIMENTO MILITAR PREDIÇÃO DO TEMPO GERENCIAMENTO DE RECURSOS AMBIENTAIS INCÊNDIOS FLORESTAIS INVESTIGAÇÕES CRIMINAIS MEDICINA
3. Técnicas ▪ Reconhecimento de objetos – reconhecimento de objetos reais a partir de uma imagem. ▪ Indexação de imagens – suporte eficiente para recuperação da informação. ▪ Recuperação de imagens – extração feita a partir de um nível de complexidade de especificações do requerimento. ▪ Classificação e Clusterização de imagens – classificação de imagens em grupos. ▪ Mineração de regras de associação – utilizada para encontrar padrões. ▪ Redes neurais – processamento de unidades com a capacidade de armazenar e disponibilizar conhecimento.
4. Reconhecimento de objetos ▪ Visão Computacional ▪ Algoritmos – Viola-Jones – Kanade–Lucas–Tomasi (KLT) ▪ Componentes – model database – feature detector – hypothesizer – hypothesizer verifier É o processo de identificação de objetos em uma imagem ou vídeo. Os algoritmos desta técnica se utilizam de busca de padrões, aprendizado ou combinação, utilizando-se de técnicas baseadas em aparência ou features.
5. Reconhecimento de objetos CORRÊA, Felipe Aguiar. Uma proposta de rastreamento de pedestres baseada em características utilizando Viola-Jones e comparação de histogramas por distância de Bhattacharyya. 2014. 65 f. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Centro de Desenvolvimento Tecnológico, Universidade Federal de Pelotas, Pelotas, 2014. ▪ Reconhecimento de indivíduos; ▪ rastreamento de alvos; ▪ identidade. Viola-Jones o Algoritmo em cascata; o haar features; o AdaBoost (machine learning);
6. Indexação de imagens Prover acesso a imagens baseado em algumas características da mesma. Esta indexação pode ser content-based ou description-based. Dificuldades Imagens são vistas diferentemente dependendo da pessoa, situação, etc. Estátua de Lowenkampfer do Museu Altes em Berlin Historiadores querendo uma visão do tempo. Arquitetos com o intuito de verificar uma fachada. Urbanistas verificando padrões de terreno ou sombras. Estudantes de fotografia observando a escultura e como esta se integra ao ambiente.
7. Indexação de imagens Níveis Panofsky de significado Nível de significado Exemplo Termo Primeiro Fatual: homem, árvore. Expressivo: tristeza, felicidade. Pre-iconografia (descrição). Segundo Homem sentado na posição de lótus demonstra a compaixão de Buddha. Iconografia (análise). Terceiro Uma imagem de um muro cinza de cimento é sobre o socialismo. Iconologia (interpretação). Content-based Description-based ▪ extração de propriedades. ▪ indexação humana a partir de captions ou palavras-chave.
8. Indexação de imagens Trabalhos na Área General Motrs Media Archive (GMMA). http://www.gmmediaarchive.com ▪ 3 milhões de fotografias; ▪ indexação por camadas; – objeto – estilo – implicação. Algoritmos o K-D-B, R, R*, R+, SR, TV, X trees. o iMinMax.
9. Recuperação de imagens Processo de recuperação de imagens em algum banco de acordo com características desejadas em uma consulta. Especificação de Requerimentos ▪ Nível 1: features primitivas. ▪ Nível 2: features derivadas ou lógicas. ▪ Nível 3: atributos abstratos. Esquemas de Consulta 1 ▪ Consulta baseada em associação de atributos; ▪ Consulta por descrição. ▪ Consulta por conteúdo da imagem. 1 R. Kazman and J. Kominek. Information organization in multimedia resources. Proceedings of the 11th annual international conference on Systems documentation, pages 149-162, 1993.
10. Recuperação de imagens Consulta baseada em associação de atributos ▪ As imagens são anexadas no banco como um campo extra. ▪ Recuperação é feita baseada em outros atributos da tabela. Consulta por descrição ▪ Recuperação feita através da descrição da imagem. ▪ Descrição manual. ▪ keywords, labels, tags, etc. ▪ Pouco escalável e problemas de idioma. Consulta por conteúdo da imagem ▪ …
11. Recuperação de imagens Trabalhos na Área IBM QBIC (Query by Image Content). http://www.research.ibm.com/topics/popups/deep/manage/html/qbic.html ▪ Busca por combinações. ▪ Cor, textura, formato ou palavra chave. Algoritmos o R*-tree (indexação).
12. Classificação e clusterização de imagens ▪ Extração de características ▪ Algoritmos – KNN – SVM – C4.5 ▪ Trabalhos de detecção de cópia não autorizada de imagens na web. A classificação de imagens se refere à tarefa de extração de informação de uma imagem. O resultado desta classificação pode ser usado para criação de características de informações de uma classe. A. K. Jain, M. N. Murty and P. J. Flynn. Data clustering: a review. ACM computing survey, Vol. 31, No. 3, September 1999.
13. Classificação e clusterização de imagens Trabalhos na Área Classificação de folhas de acordo com características extraídas no pré-processamento. Foi utilizada a ferramenta Weka com 1907 instâncias. PORTELA, J P; NASCIMENTO, E; FREITAS, I. Trabalho de Inteligência Artificial e Aprendizado de Máquina Aplicada à Folhas. 2013. 10 f. Trabalho de Inteligência Artificial (Bacharelado em Ciência da Computação) – Centro Técnico Científico, Pontifícia Universidade Católica do Rio de Janeiro, Rio de Janeiro, 2013. Atributos: largura, altura, perímetro, área, intervalo de movimento, proporção de tela, isoperímetro, transformada de Hough. Algoritmos o KNN – 76.35%; o SVM – 54.74%; o C4.5 – 77.55%; o Multilayer Perceptron – 74.67%.
14. Mineração de regras de associação STEP 1 Encontrar items que tenham o suporte mínimo. STEP 2 Gerar regras baseadas nos items que tiverem a confiança mínima. Abordagens § Mineirar a partir de grandes coleções de imagens. § Mineirar a partir de combinações de coleçõs de imagens e dados alfanuméricos. Trabalhos na Área § Protótipo realizado na Universidade Simon Fraser chamado Multimedia Miner onde um dos principais módulos se chama MM-Associator. § Vasileios M. utiliza mineração de regras de associação para descobrir associações entre estruturas e funções do cérebro.
15. Redes neurais Processamento distribuído paralelo com unidades de processamento individuais com o objetivo de produzir conhecimento para armazenamento e uso. ▪ Aprendizado. ▪ Relativamente novo na área de mineração de imagens. ▪ ANN (Artificial Neural Network) que provê uma abordagem completamente automatizada para análise de imagens.
16. Desafios ▪ Um dos obstáculos para o progresso da mineração de imagens é a falta de entendimento dos problemas envolvidos na área. ▪ Enorme evolução na parte de coleta de dados, gerando milhares de gigabytes por minuto. ▪ Alto desenvolvimento em resolução de imagem, 4K tornando-se cada vez mais comum. Mineração em Imagens x Mineração de Dados Mineração em imagens não é a aplicação de algoritmos de mineração de dados em imagens. Há importantes diferenças entre bases relacionais e bases de imagens, como… ▪ Valores absolutos x valores relativos. ▪ Informação espacial. ▪ Interpretações múltiplas x únicas. ▪ Como selecionar os atributos mais relevantes? ▪ Como apresentar os padrões minerados? ▪ Como manter a representação do esquema mantendo o contexto da informação, informação espacial e as características da imagem?
17. Conclusão É uma área promissora para pesquisa. Ainda é algo novo e em constante evolução, com alguns problemas ainda em aberto. Alguns pontos que ainda precisam ser mais estudados são: ▪ Novos esquemas de representação para padrões visuais, capazes de contextualizar a informação, para que possa ser extraído um significado das características visualizadas. ▪ Sistemas eficientes de indexação e recuperação da informação, já que os repositórios de imagens estão cada vez maiores, além da qualidade de imagem estar em constante evolução com tecnologias HD, FullHD, 4K, etc. ▪ Novas linguagens de consultas com foco em semântica. ▪ Explorar técnicas que levem em conta características únicas de imagens. ▪ Novas técnicas de visualização para padrões.
18. Referências CORRÊA, Felipe Aguiar. Uma proposta de rastreamento de pedestres baseada em características utilizando Viola-Jones e comparação de histogramas por distância de Bhattacharyya. 2014. 65 f. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Centro de Desenvolvimento Tecnológico, Universidade Federal de Pelotas, Pelotas, 2014. PORTELA, J P; NASCIMENTO, E; FREITAS, I. Trabalho de Inteligência Artificial e Aprendizado de Máquina Aplicada à Folhas. 2013. 10 f. Trabalho de Inteligência Artificial (Bacharelado em Ciência da Computação) – Centro Técnico Científico, Pontifícia Universidade Católica do Rio de Janeiro, Rio de Janeiro, 2013. IBM QBIC. Disponível em: http://www.research.ibm.com/topics/popups/deep/manage/html/qbic.html. Acesso em: 20 de novembro de 2016. GM Media Archive. Disponível em: http://www.gmmediaarchive.com. Acesso em: 20 de novembro de 2016. NEUGEBAUER, T. Image indexing. The Indexer, Vol. 28, No. 3, 98, 2010. ZHANG, J; HSU, W; LEE, M L. Image Mining: Issues, Frameworks and Techniques. 7 f. Department of Computer Science, School of Computing, National University of Singapore, Singapore. 2003. RUI, Y; HUANG, T; CHANG, S. Image Retrieval: Current Techniques, Promising Directions and Open Issues. 17 f. Dept. of ECE & Beckman Institute. University of Illinois at Urbana-Champaign, Urbana. Dept. of EE & New Media Technology Center. Columbia Universit, New York. SUDHIR, R. A Survey on Image Mining Techniques: Theory and Applications. Computer Engineering and Intelligent Systems (IISTE), Vol. 2, No. 6, 44, 2011. A. K. Jain, M. N. Murty and P. J. Flynn. Data clustering: a review. ACM computing survey, Vol. 31, No. 3, September 1999. R. Kazman and J. Kominek. Information organization in multimedia resources. Proceedings of the 11th annual international conference on Systems documentation, pages 149-162, 1993.