Typo Killer

Português: Como eu contribuí no Elixir, Phoenix, Ecto e outros
English: How I contributed to Elixir, Phoenix, Ecto and others

Transcript

1. Typo Killer Como eu contribuí no Elixir, Phoenix, Ecto e outros qu'est que ce fa fa fa fa fa fa fa fa fa
2. Quem sou eu? - Samuel Pordeus - Engenheiro de Computação pela Universidade Federal da Paraíba - Desenvolvedor de Software na Plataformatec
4. plataformatec.com
5. plataformatec.com
6. Open Source
9. "cannot live_redirect/link_link to #{inspect(uri)} because " <> "cannot live_redirect/live_link to #{inspect(uri)} because " <>
11. TKaaS: Typo Killing as a Service Companies that want to grow can't allow typos. Subscribe to our premium Typo Killing service and make sure that you will build better digital products.
12. Como eu vou fazer isso?
13. 1. Ler arquivos de uma pasta 2. Transformar esses arquivos em palavras 3. Criar um dicionário auxiliar pra futuramente comparar com essas palavras 4. Procurar os typos comparando essas palavras com todas as palavras do dicionário 5. Printar os possíveis typos
14. 1. Ler arquivos de uma pasta 2. Transformar esses arquivos em palavras 3. Criar um dicionário auxiliar pra futuramente comparar com essas palavras 4. Procurar os typos comparando essas palavras com todas as palavras do dicionário 5. Printar os possíveis typos
15. path |> FileParser.find_files_on_folder() |> WordsParser.files_to_words() |> Dictionary.create() |> Finder.find_typos() |> print_typo_candidates()
16. path |> FileParser.find_files_on_folder()
17. "/Users/samuelpordeus/projects/phoenix/test" Input: path de uma pasta
18. [“arquivo1.ex”, “arquivo2.ex”, “arquivo3.ex”, “arquivo4.ex”, ...] Output: Lista de arquivos
19. path |> FileParser.find_files_on_folder() |> WordsParser.files_to_words()
20. path |> FileParser.find_files_on_folder() |> WordsParser.files_to_words() Input: Lista de arquivos
21. ["oi", "options", opitiosn", "test"] Output: Lista de palavras
22. ["oi", opitiosn"] Output: Lista de palavras
23. path |> FileParser.find_files_on_folder() |> WordsParser.files_to_words() |> Dictionary.create() ["oi", “opitiosn"] Input: Lista de palavras
24. ["the,"of","and","to","a","in","for" … "oi", “opitiosn"] Como o dicionário é montado? Palavras que serão analisadas somadas com as 10.000 palavras mais utilizadas na língua inglesa
25. %{ words: ["oi", "opitiosn"], dictionary: ["oi", opitiosn","the,"of","and","to","a","in","for", "..."] } Output: Dicionário
26. path |> FileParser.find_files_on_folder() |> WordsParser.files_to_words() |> Dictionary.create() |> Finder.find_typos()
27. A busca pelos typos
28. A busca pelos typos
29. String.jaro_distance/2 A busca pelos typos Computa a similaridade entre duas strings. Funciona num intervalo entre 0 e 1, sendo 0 o mais distante possível e 1 duas strings iguais.
30. A busca pelos typos
31. A busca pelos typos ** (UndefinedFunctionError) function String.baro_distance/2 is undefined or private. Did you mean one of: * bag_distance/2 * jaro_distance/2
32. String.bag_distance/2 A busca pelos typos Computa a similaridade entre duas strings. Funciona num intervalo entre 0 e 1, sendo 0 o mais distante possível e 1 duas strings iguais.
33. Bag distance: 0.75 <= x < 1 Jaro distance: 0.95 <= x < 1 A busca pelos typos
34. Bag distance: 0.75 <= x < 1 Jaro distance: 0.95 <= x < 1 String.bag_distance("opitiosn", "options") -> 0.875 String.jaro_distance("opitiosn", "options") -> 0.863 A busca pelos typos
35. Bag distance: 0.75 <= x < 1 Jaro distance: 0.95 <= x < 1 String.bag_distance("opitiosn", "options") -> 0.875 String.jaro_distance("opitiosn", "options") -> 0.863 String.bag_distance("optionsn", "options") -> 0.875 String.jaro_distance("optionsn", "options") -> 0.958 A busca pelos typos
36. path |> FileParser.find_files_on_folder() |> WordsParser.files_to_words() |> Dictionary.create() |> Finder.find_typos() |> print_typo_candidates()
37. [“optionsn”] Possíveis typos
38. [“compile”, “compiles”, “defm”, “throw” “optionsn”, “moves” “throws”, ...] Possíveis typos
39. Mas tá bom o suficiente?
41. ➔ outputh ➔ identifes ➔ modoule ➔ browers ➔ reseting ➔ pasword ➔ deault ➔ successfull ➔ droped
42. PROBLEMAS Name average find_typos 105.89 s
43. Leonardo Tegon, Plataformatec Taca um task async aí
44. Não corrigir typos Encontrar e corrigir typos manualmente Criar um programa pra encontrar typos Criar um programa pra encontrar typos em paralelo
45. Antes SOLUÇÃO? Name average find_typos 60.32s Name average find_typos 105.89 s Depois
46. https://github.com/samuelpordeus/typo_killer Repositório
47. https://github.com/samuelpordeus/typo_killer/issues Issues
48. RailsConf 2019 - Maintaining a big open source project: lessons learned by Leonardo Tegon https://www.youtube.com/watch?v=rnOcDH_sgxg Open Source
49. Contato • https://www.linkedin.com/in/samuelpordeus/ • https://github.com/samuelpordeus • https://twitter.com/porbeus (só falo bobagem aqui) • Telegram: @samuelpordeus
50. FIM