Python Weekend - 2015 - Raspando a web com Scrapy

Apresentado durante o Python Weekend 2015 realizado em Feira de Santana - Ba.

Transcript

1. Raspando a web com Scrapy “Para fazer raspagem de dados não precisa de lixa e nem espátula”
2. Diego de Jesus Leite Estudante de Engenharia de Computação - UEFS
4. Sobre o Scrapy Lançamento: 26 de junho de 2008 Última versão estável: 0.24.4 Linguagem: Python Sistemas Operacionais: Mac/Windows/Linux Licença: BSD Site: scrapy.org
5. Conceitos importantes
6. O que é o DOM?
7. O que é o XPath? //body
8. XPath table nodename Selects all nodes with the name "nodename" / Selects from the root node // Selects nodes in the document from the current node that match the selection no matter where they are . Selects the current node .. Selects the parent of the current node @ Selects attributes
9. O que é um crawler? “É um programa que navega na estrutura de arquivos do site em busca de dados” - Eu
10. Como fazer um crawler? 1 - Entender a lógica do site alvo 2 - Localizar os dados de interesse 3 - Escolher uma ferramenta de Scraping, ou não 4 - Desenvolvimento do algoritmo planejamento execução --------------------------------------------------------------------------------------------------------------------------------------------
11. O Básico sobre o Scrapy
12. $ scrapy startproject buzu
13. Estrutura de diretórios
14. scrapy.item.Item ❏ Objeto Python ❏ Herda da classe scrapy.item.Item ❏ É dict-like
15. scrapy.http.Request ❏ Classe que abstrai a requisição ❏ Request (url, callback=func)
16. Spider ❏ Herda de scrapy.spider.Spider ❏ Atributos chaves: ❏ name ❏ allowed_domains ❏ start_urls ❏ Método chave: ❏ parse (self, response)
17. Selectors ❏ response.xpath (query) ❏ Métodos chaves: ❏ extract ( ) ❏ re (regex)
18. Talk is cheap. Show me the code.
19. if questions == True: print ‘Perguntas?’ else: print ‘Obrigado!’
20. id = ‘di3goleite’ if contato == ‘facebook’: print ‘fb.com/’ + id elif contato == ‘twitter’: print ‘twitter.com/’ + id else: print ‘github.com/’ + id
21. # Referências from bernardo_fontes import github. com/berinhard/scrapy-pybr8 from scrapy_org import doc.scrapy.org/en/0.24/