Web Scraping com Python

Transcript

1. Web Scraping com Python
2. Olá! Eu sou a Ana Carolina Software Engineer no Glassdoor Fatecana about.me/anacls 2
3. 1. Introdução Quando se fala em Web Scraping, no que você pensa? 3
4. 2. Web Scraping 4
5. “ Web scraping é a prática de coletar dados por qualquer meio que não seja um programa interagindo com uma API (ou, obviamente, através de um ser humano usando um navegador da web). - Ryan Mitchell 5
6. ◍ Técnica de extração ◍ Facilita a análise de dados ◍ Permite alcançar informação mais limpa 2. Web Scraping 6
7. 3. Para que serve? 7
8. ◍ Criar fontes de dados estruturadas ◍ Agilizar e facilitar a manipulação das informações ◍ Percorrer páginas com mais rapidez 3. Para que serve? 8
9. ◍ Construir soluções para diversas áreas ◌ Ex: Marketing ◌ Geração de Leads ◌ Inteligência de Mercado 3. Para que serve? 9
10. 4. Construindo um Scraper 10
11. ◍ É possível fazer raspagem de dados com diversas linguagens de programação ◍ Python tem sido a mais utilizada (e é a mais simples) 4. Construindo um Scraper 11
12. ◍ Ferramentas: ◌ BeautifulSoup ◌ Scrapy 4. Construindo um Scraper 12
13. 4.1 BeautifulSoup 13 “Linda sopa tão rica e verde, Esperando em uma sopeira quente”
14. ◍ Biblioteca Python (https://www.crummy.com/so ftware/BeautifulSoup/bs4/d oc/) ◍ Possui métodos que permitem fazer extração de dados de forma simples 4.1 BeautifulSoup 14
15. VAMOS CODAR! 15
16. Instalar BeautifulSoup 16 pip install beautifulsoup4 Pré-requisito:
17. Incêndios na Amazônia Conferindo informações 17 ◍ Recentemente uma publicação divulgada nas redes sociais dizia que o número de focos de queimadas na Amazônia em 2019 é o menor desde 1998. ◍ Essa informação foi verificada pelo Aos Fatos e é FALSA
18. 18 ◍ A tabela com as estatísticas por estado/região/bioma pode ser acessada neste link: http://queimadas.dgi.inpe.br/queimadas/portal-stat ic/estatisticas_estados/ Incêndios na Amazônia Conferindo informações
19. 19 INSPECIONANDO ELEMENTOS
20. 20 ◍ Para encontrar os elementos na página usamos a ferramenta inspecionar do navegador ◍ Depois de filtrar por Amazônia, com a ferramenta de inspecionar selecionamos a tabela que queremos
22. 22 ◍ Se olharmos com cuidado veremos que essa tabela está dentro de um iframe
23. 23 ◍ E esse iframe possui um link: ../estado/grafico_historico_estado_sao_paulo.html?_=08281911 ◍ Ao seguir esse link conseguimos chegar numa página mais limpa, contendo apenas a tabela. http://queimadas.dgi.inpe.br/queimadas/portal-static/bioma/gra fico_historico_estado_amazonia.html?_=08281906 ◍ É dessa página que começaremos a raspagem
24. 24 ◍ Vamos conferir? ◌ https://colab.research.google.com/dri ve/1w4n-tKgSSUpgkATFO0MiW6Iw_CHLWMu0 Incêndios na Amazônia Conferindo informações
25. 4.2 Scrapy 25
26. ◍ Scrapy é um framework Python (https://docs.scrapy.org/en/latest/) ◍ Scraping e crawling ◍ Capaz de resolver problemas maiores sem exigir muito esforço 4.2 Scrapy 26
27. 4.2.1 Web Crawling 27
28. ◍ Extrair links das páginas e indexar e/ou seguir ◍ Web Crawlers ◌ "Robôs" (bots ou spiders) ◌ Ex: Googlebot 4.2.1 Web Crawling 28
29. 4.2.1 Web Crawling 29 3. Acessa o link 1. Armazena o conteúdo 2. Mapeia os links Crawling
30. VAMOS CODAR! 30 Código disponível no GitHub
31. Instalar Scrapy 31 pip install scrapy Pré-requisito:
32. Iniciar um projeto scrapy 32 scrapy startproject <nome_do_projeto> Executar spider Comandos importantes: scrapy crawl <nome_da_spider>
33. 33 ◍ Mapeamento de notícias políticas envolvendo os incêndios do Brasil no El País. ◌ https://brasil.elpais.com/tag/incendios/a Incêndios na Amazônia O que os jornais estão dizendo?
35. 35 ◍ Consulta dos nós da página xpath
37. 37 //article[contains(@id, "brasil-politica")] path atual
39. 39 //article[contains(@id, "brasil-politica")] //div path atual
41. 41 //article[contains(@id, "brasil-politica")] //div //h2 path atual
43. 43 //article[contains(@id, "brasil-politica")] //div //h2 //a path atual
46. 4.2.2 Lidando com JavaScript 46
47. ◍ Splash (https://github.com/scrapinghub/splash) ◌ Scrapy Splash (https://github.com/scrapy-plugins/scrapy-splash) ◌ Suporta scripts Lua 4.2.2 Lidando com JavaScript 47
48. ◍ Para saber mais: ◌ https://blog.scrapinghub.com/2015/03/02/handling-javascr ipt-in-scrapy-with-splash 4.2.2 Lidando com JavaScript 48
49. 49 4.2.3 Gerenciamento dos dados na nuvem
50. ◍ Scrapinghub (https://scrapinghub.com/) ◌ Data on Demand ◌ Scrapy Cloud ◌ Scrapy Cloud API 4.2.3 Gerenciamento dos dados na nuvem 50
51. 5. Acesso à informação 51
52. 5. Acesso à informação 52 Colaboradados Brasil IO Operação Serenata de Amor
53. 6. Referências 53
54. ◍ Web Scraping com Python: Coletando Dados na Web Moderna ◍ Número de focos de queimadas na Amazônia em 2019 não é o menor desde 1998. ◍ Programa Queimadas ◍ Documentação BeautifulSoup ◍ Site Oficial Scrapy ◍ Documentação Scrapy ◍ splash ◍ scrapy-splash ◍ A linguagem de programação Lua ◍ Handling Javascript in Scrapy with Splash 6. Referências 54
55. ◍ Acesso à Informação ◍ Colaboradados ◍ Brasil IO ◍ Operação Serenata de Amor ◍ Github do Marco Tulio Pires ◍ Repositório de treinamento do Masanori ◍ Learn Scrapy ◍ Blog Scrapinghub 6. Referências 55
56. Obrigada! Dúvidas? 56 @anaclpss ana.clopessouza@gmail.com @anacls