Web Crawling e Scraping - TDC

Scrapy é um framework escrito em Python voltado para web crawling e web scraping. Esta ferramenta facilita a construção de spiders capazes de automatizar a indexação de páginas da web e realizar a extração de conteúdo através da raspagem de dados. Scrapy Cloud é uma plataforma criada e mantida pela Scrapinghub voltada para a execução de web crawlers em nuvem. Ao subir o projeto para o scrapy cloud, é possível agendar, acompanhar e gerenciar a execução das spiders. No Love Mondays, utilizamos estas tecnologias para reunir vagas de emprego de diversas fontes. Então, ao buscar uma vaga, nosso usuário tem acesso a um volumoso banco de informações sem a necessidade de visitar diferentes sites.

Links úteis:
Exemplo Trilhas TDC: https://github.com/anacls/scrapy-study/blob/master/tdc_examples/scrapy_study/spiders/trilhas_tdc.py

ScrapingHub API Demo: https://github.com/lidimayra/scrapinghub-api-demo

Todos os exemplos utilizados na palestra: https://github.com/anacls/scrapy-study/tree/master/tdc_examples

Para saber mais (Scrapy):
Site oficial - https://scrapy.org
Github - https://github.com/scrapy/scrapy
Documentação - https://doc.scrapy.org/en/latest/intro/tutorial.html

Para saber mais (ScrapingHub):
Site oficial - https://scrapinghub.com/
Github - https://github.com/scrapinghub/
Blog - https://blog.scrapinghub.com

Transcript

1. pen4education Trilha Python – Web crawling e scraping com Scrapy e Scrapy Cloud Ana Carolina Lopes de Souza Back-end Developer Love Mondays Lidiane Mayra Taquehara Back-end Developer Love Mondays
2. pen4education Ana Carolina • Estudante de Análise e Desenvolvimento de Sistemas – FATEC Jundiaí. • Back-end Developer na Love Mondays. • Contato: https://about.me/anacls
3. pen4education Lidiane Taquehara • Tecnóloga em Análise e Desenvolvimento de Sistemas pela FATEC Jundiaí. • Back-end Developer na Love Mondays. • Contato: about.me/lidimayra
4. pen4education VAMOS LÁ!
5. pen4education Entendendo conceitos • Crawlers "Robôs" (bots ou spiders) usados para encontrar e indexar páginas de um site. Ex: Googlebot
6. pen4education Entendendo conceitos • Scraping Técnica de extração de dados usada para coletar dados de sites.
7. pen4education Scrapy • Framework escrito em Python voltado para web scraping e web crawling. • Usado para acessar sites e extrair dados estruturados das páginas.
8. pen4education Scrapy • Para iniciar um projeto scrapy: scrapy startproject <nome_do_projeto> • Escrever spider • Executar spider: scrapy crawl <nome_da_spider>
9. pen4education DISSECANDO UMA SPIDER
10. pen4education
11. pen4education Dissecando uma Spider Importa o Scrapy Cria uma classe usando Spider default como padrão
12. pen4education Dissecando uma Spider Define um nome para a spider Define a(s) URL de início Método parse, onde extraímos
13. pen4education Trilhas TDC • O que vamos extrair? • Dia • Título da trilha • Subtítulo da trilha • Descrição da trilha • Link da trilha http://www.thedevelopersconference.com.br/tdc/2018/saopaulo/trilhas Disponível no GitHub:
14. pen4education GERENCIAMENTO DOS DADOS NA NUVEM
15. pen4education Scrapinghub • Criação e manutenção do Scrapy. • Data on Demand • Scrapy Cloud
16. pen4education Scrapy Cloud • Execução de web crawling em nuvem • Os dados são armazenados em um banco de dados em alta disponibilidade
17. pen4education Tecnologias
18. pen4education Deploy • Pode ser feito com uma única linha de comando (ou o clique de um botão, no caso do Portia) • Sem preocupação com servidores!!
19. pen4education Dashboard
20. pen4education Utilização dos dados • Possibilidades: • Download (CSV, JSON, JSON Lines, XML) • Publicação como um dataset público no Scrapinghub • Consumo dos dados através da Scrapy Cloud API
21. pen4education Scrapy Cloud API • Permite interagir com as spiders e os dados coletados. • Endpoints: • app.scrapinghub.com • storage.scrapinghub.com
22. pen4education python-scrapinghub • Client Python: python-scrapinghub • Exemplo simples: https://github.com/lidimayra/scra pinghub-api-demo
23. pen4education Para saber mais (Scrapy) • Site oficial - https://scrapy.org • Github - https://github.com/scrapy/scrapy • Documentação -https://doc.scrapy.org/en/latest/intro/tutorial.html
24. pen4education Para saber mais (Scrapinghub) • Site oficial - https://scrapinghub.com/ • Github - https://github.com/scrapinghub/ • Blog - https://blog.scrapinghub.com
25. pen4education DÚVIDAS?
26. MUITO OBRIGADA!