Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Web Scraping com Python - Talk WoMakersCode

Ana Carolina
January 22, 2019
0
76

Web Scraping com Python - Talk WoMakersCode

Essa talk aborda alguns conceitos sobre Web Scraping e traz alguns exemplos de como podemos utilizar essa técnica com Python.

Ana Carolina

January 22, 2019
Tweet

More Decks by Ana Carolina

See All by Ana Carolina
Python e o mercado de trabalho
anacls
1
69
Web Scraping com Python
anacls
0
190
Versionando Códigos com Git e GitHub - Workshop
anacls
0
79
Web Crawling e Scraping - TDC
anacls
0
36

Featured

See All Featured
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
17
2.3k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.3k
Put a Button on it: Removing Barriers to Going Fast.
kastner
59
3.6k
Building Your Own Lightsaber
phodgson
103
6.1k
Speed Design
sergeychernyshev
25
670
RailsConf 2023
tenderlove
29
940
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
127
18k
VelocityConf: Rendering Performance Case Studies
addyosmani
326
24k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
Automating Front-end Workflow
addyosmani
1366
200k
Building a Scalable Design System with Sketch
lauravandoore
460
33k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k

Transcript

  1. Web Scraping com Python Ana Carolina Lopes de Souza

  2. Ana Carolina Software Developer - Love Mondays Formada em Análise

    e Desenvolvimento de Sistemas anacls Contato: https://about.me/anacls

  3. Data Scraping

  4. ▹ Raspagem de dados ▹ Técnica de extração ▹ Facilita

    a análise de dados Data Scraping

  5. Web Scraping

  6. ▹ Técnica de raspagem para websites ▹ Permite alcançar informação

    mais limpa ▹ Percorrer páginas com mais rapidez Web Scraping

  7. ▹ Criar fontes de dados estruturadas ▹ Agiliza e facilita

    a manipulação e análise das informações ▹ Exemplo Love Mondays: ￭ Raspa vagas de diversas fontes ￭ Realiza tratamento dos dados ￭ Disponibiliza todas as vagas num único site Para o que serve?

  8. Como fazer?

  9. ▹ É possível fazer scraping usando várias linguagens ▹ Python

    é a linguagem mais utilizada para esse fim ▹ BeautifulSoup e Scrapy são as ferramentas mais conhecidas Como fazer?

  10. Beautiful Soup? É de comer?

  11. ▹ Biblioteca Python (https://www.crummy.com/software/BeautifulSoup/bs4/doc/) ▹ Possui métodos que permitem fazer

    extração de forma simples ▹ Mais voltada para extração de conteúdos html e xml Beautiful Soup

  12. Scrapy

  13. ▹ Framework Python (https://docs.scrapy.org/en/latest/) ▹ Voltado especificamente para scraping e

    crawling ▹ Possui funções mais complexas ▹ Preparado para resolver problemas maiores sem exigir muito esforço Scrapy

  14. SHOW ME THE CODE!

  15. Entendendo o HTML

  16. <html> <head> <title>Exemplo</title> </head> <body> <div> <p class="first-item" id="first"> “Se

    sentir medo, vai com medo mesmo” </p> </div> </body> </html>
  17. None
  18. None
  19. None

  20. Raspagem de dados com BeautifulSoup Quantidade de mulheres parlamentares no

    mundo em 2017. Fonte: http://wdi.worldbank.org/table/WV.5 Código disponível no GitHub
  21. None
  22. None
  23. None
  24. None

  25. import urllib from bs4 import BeautifulSoup url = "http://wdi.worldbank.org/table/WV.5" html

    = urllib.urlopen(url) soup = BeautifulSoup(html.read(), 'html.parser') tabela = soup.findAll('table', { 'class': 'indicators-table' })[1]
  26. None
  27. None

  28. linhas = tabela.findAll('tr') for linha in linhas: pais = linha.find('td',

    { 'class': 'country' }).text
  29. None

  30. linhas = tabela.findAll('tr') for linha in linhas: pais = linha.find('td',

    { 'class': 'country' }).text quantidade = linha.findAll('td')[7].text print(pais + ' = ' + quantidade)
  31. None

  32. Raspagem de dados com Scrapy Previsão do Tempo Fonte: "https://www.climatempo.com.br/previsao-do-tempo/15-dia

    s/cidade/558/saopaulo-sp" Código scrapy disponível no GitHub
  33. None
  34. None

  35. import scrapy class Previsao(scrapy.Spider): name = "previsao" start_urls = [

    "https://www.climatempo.com.br/previsao-do-tempo/15-dias/cidade/5 58/saopaulo-sp" ]
  36. None

  37. def parse(self, response): dias = response.xpath('//div[contains(@id, "resumeDay")]')

  38. None

  39. def parse(self, response): dias = response.xpath('//div[contains(@id, "resumeDay")]') for dia in

    dias: dia_semana = dia.xpath('.//div[contains(@class, "title")]//p/text()[1]').extract_first().strip() data = dia.xpath('.//div[contains(@class, "title")]//p/text()[2]').extract_first().strip()
  40. None
  41. None

  42. def parse(self, response): dias = response.xpath('//div[contains(@id, "resumeDay")]') for dia in

    dias: dia_semana = dia.xpath('.//div[contains(@class, "title")]//p/text()[1]').extract_first().strip() data = dia.xpath('.//div[contains(@class, "title")]//p/text()[2]').extract_first().strip() max_temp = dia.xpath('.//p[contains(@id, "tempMax")]/text()').extract_first() min_temp = dia.xpath('.//p[contains(@id, "tempMin")]/text()').extract_first()
  43. None

  44. def parse(self, response): dias = response.xpath('//div[contains(@id, "resumeDay")]') for dia in

    dias: dia_semana = dia.xpath('.//div[contains(@class, "title")]//p/text()[1]').extract_first().strip() data = dia.xpath('.//div[contains(@class, "title")]//p/text()[2]').extract_first().strip() max_temp = dia.xpath('.//p[contains(@id, "tempMax")]/text()').extract_first() min_temp = dia.xpath('.//p[contains(@id, "tempMin")]/text()').extract_first() desc = dia.xpath('.//div[contains(@class, "description-block")]//span/text()').extract_first()

  45. print("Dia: " + dia_semana + data) print("Máxima: " + max_temp)

    print("Mínima: " + min_temp) print("Descrição: " + desc) yield{ 'dia_sem': dia_semana, 'data': data, 'max_temp': max_temp, 'min_temp': min_temp, 'desc': desc, }
  46. None

  47. ▹ Love Mondays ▹ Operação Serenata de Amor ▹ Brasil

    IO Projetos que usam scraping

  48. ▹ Github do Marco Tulio Pires ▹ Repositório de treinamento

    do Masanori ▹ Livro Web Scraping com Python ▹ Site Oficial Scrapy ▹ Documentação Scrapy ▹ Learn Scrapy Referências de Estudo

  49. Dúvidas?