Algoritmos de pesquisa

Soundex, Metaphone e BuscaBR

Transcript

1. Soundex, Metaphone e BuscaBR Algoritmos de pesquisa Gabriel Sobrinho
2. GABRIEL SOBRINHO gabrielsobrinho.com github.com/sobrinho twitter.com/sobrinho speakerdeck.com/sobrinho
3. hite.com.br
5. • Similaridade em nomes • Pronúncia errada • Escrita errada Fonética
6. • Batista vs Baptista • Felipe vs Philipe • Wagner vs Vagner Similaridade
7. • Aspas vs Aspras • Bobagem vs Bobage • Cérebro vs Célebro Pronúncia
8. • Ameixa vs Ameicha • Chuchu vs Xuxu • Habilitação vs Abilitação Escrita
10. Algoritmos fonéticos • soundex - Robert C. Russell & Margaret King (1918) • metaphone - Lawrence Philips (1990) • buscabr - Fred Jorge Tavares de Lucena (2007)
12. Soundex American Soundex, Reverse Soundex, NYSIIS, D-M Soundex
13. Soundex 1. Mantém a primeira letra do nome e remove todas as outras ocorrências de a, e, i, o, u, y, h, w; 2. Substitui as consoantes com a seguinte tabela (depois da primeira letra): b, f, p, v 1 c, g, j, k, q, s, x, z 2 d, t 3 l 4 m, n 5 r 6
14. Soundex 3. Se duas ou mais letras com o mesmo número são adjacentes no nome original, ou separadas por ‘h' ou ‘w', reter apenas a primeira letra; 4. Se o nome for muito pequena, preencher com zeros a direita até atingir 3 dígitos; 5. Se o nome for muito grande, manter apenas os 3 primeiros dígitos;
15. Soundex Robert R163 Rupert R163 Rubin R150 Ashcraft A261 Ashcroft A261 Tymczak T522 Pfister P236
16. Soundex • Reverse Soundex é o mesmo algoritmo mas usa a última letra ao invés da primeira como prefixo; • NYSIIS aumenta a precisão com n-grams e mantendo algumas vogais; • D-M Soundex aumenta a precisão de sobrenomes alemães e eslavos;
18. Metaphone Metaphone, Double Metaphone e Metaphone 3
19. Metaphone 1. Algoritmo original envolve muitos passos e não é possível implementar por diversos erros na proposta; 2. Metaphone foi substituído pelo Double Metaphone em 2000 com uma proposta que retorna dois códigos para conseguir detectar algumas ambiguidades (Smith e Schmidt); 3. Double Metaphone foi substituído pelo Metaphone 3 em 2009 como um produto comercial e o autor alega possuir uma precisão de 98% contra 89% do Double Metaphone;
20. Metaphone 4. Todas as versões lidam com qualquer palavra e não apenas com nomes próprios; 5. Existem variações para Português, Espanhol, Alemão, Russo, Bengali (Bangladesh), Amárica (Etiópia) e provavelmente outros idiomas;
22. BuscaBR
23. BuscaBR • “Busca Fonética em Portugês do Brasil” - Fred Jorge Tavares de Lucena - Unibratec (2007) • “Implementos em Mecanismo de Busca por Semelhança Sonora” - Marcos Rodrigues Caso - UNICID (2010) • Fonetica - Gabriel Sobrinho (2011)
24. BuscaBR Ç S CA, CO, CU, CK, Q K TR, TL T BL, BR B N M CT, RT, ST, PT T PH F AO, AUM, GM, MD, OM, ON M \bU, \bW V GL, GR, MG, NG, RG G PR P RM SM Y I L R M\b, R\b, S\b GE, GI, RJ, MJ J CE, CI, CH, CS, RS, TS, X, Z S A, E, I, O, U, H 1. Converter para maiúscula; 2. Remover acentuação, hífen e apóstrofo; 3. Substituir as letras com a seguinte tabela:
 
 
 
 
 
 4. Remover letras duplicadas (squeeze);
25. BuscaBR Hieróglifo Hierogrifo RJF Kubitscheck Kubixeque KBSK Óptico Ótico TK Philipe Felipe FRP Walter Valter VT Wilson Uilson V Já acabou, Jéssica? J KB JSK
26. https://github.com/sobrinho/fonetica https://github.com/vyper/fonetica-sql https://github.com/michelboaventura/scala-buscabr BuscaBR
28. Dicas • Use um algoritmo focado no seu idioma e no seu problema de pesquisa; • Procure variações do algoritmo, nem sempre o original é bem documentado ou preciso; • Estude outros algoritmos de pesquisa como full text search, n-gram, fuzzy match e etc;
29. Obrigado!
30. Dúvidas?
31. hite.com.br
32. Referências https://en.wikipedia.org/wiki/Soundex https://en.wikipedia.org/wiki/Metaphone https://en.wikipedia.org/wiki/New_York_State_Identification_and_Intelligence_System