PyBR12

Transcript

1. Search Engines utilizando Python e Elasticsearch
2. Apresentação https://spekerdeck.com/pattyvader/pybr12
3. Projeto Athena https://github.com/pattyvader/athena
4. Roadmap 1. Busca de documentos 2. Indexação 3. Percorrendo a web
5. Busca de documentos
6. Busca de documentos Resultado armazenado no Elasticsearch Termo de busca
7. Busca de documentos Servidor de aplicação com Django GET Browser (HTML)
8. Servidor de aplicação com Django Busca de documentos GET Browser (HTML)
9. Busca de documentos . Servidor de aplicação com Django
10. Busca de documentos views.py Acessar o método “search” Servidor de aplicação com Django
11. Busca de documentos views.py Acessar o método “search” Acessar o método “search_term” Servidor de aplicação com Django
12. Indexação https://www.elastic.co/downloads/elasticsearch Relevancy score Protocolo Restful Mensagens Json
13. Indexação Relevance score
14. Indexação Restful/Json PUT GET
15. Indexação https://www.elastic.co/use-cases
16. Indexação O processo de indexação utiliza a lib Elasticsearch-py para conectar o Python com o Elasticsearch. indexer.py https://pypi.python.org/pypi/elasticsearch https://elasticsearch-py.readthedocs.io/en/master/ https://github.com/elastic/elasticsearch-py Cria um índice Adiciona uma nova página ao índice
17. Indexação scraper.py O scraper extrai os dados, do arquivo html, utilizando a lib BeautifulSoup. https://www.crummy.com/software/BeautifulSoup/
18. scraper.py Indexação Metatags do html
19. Percorrendo a web - Web crawler crawler.py
20. Percorrendo a web - Web crawler 1 3 2 4 5 Acessa arquivo robot.txt Download do html Extraí novos links Extraí os dados Insere dados no elasticsearch indexer.py scraper.py crawler.py
21. Percorrendo a web - Web crawler Antes de “crawlear” uma página sempre verifique o arquivo “robot.txt”. É uma boa prática. crawler.py
22. Percorrendo a web - Web crawler A “urllib2” retorna o html da página. crawler.py
23. Percorrendo a web- Web crawler crawler.py A extração de novos links é realizada somente no domínio da url seed.
24. Percorrendo a web- Web crawler Método que realiza a extração dos dados presentes no html. scraper.py crawler.py
25. Percorrendo a web- Web crawler Método que realiza a indexação das páginas no Elasticsearch. indexer.py crawler.py
26. Finalizando... Browser (HTML) GET Servidor de aplicação com Django scraper.py crawler.py indexer.py GET internet
27. https://github.com/pattyvader https://br.linkedin.com/in/patricia-regina-18790040 Contato *Designed by Freepik from www.flaticon.com* pattyvaderbr@gmail.com