Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Web Scraping com Python - Talk WoMakersCode

Ana Carolina
January 22, 2019
0
76

Web Scraping com Python - Talk WoMakersCode

Essa talk aborda alguns conceitos sobre Web Scraping e traz alguns exemplos de como podemos utilizar essa técnica com Python.

Ana Carolina

January 22, 2019
Tweet

More Decks by Ana Carolina

See All by Ana Carolina
Python e o mercado de trabalho
anacls
1
69
Web Scraping com Python
anacls
0
190
Versionando Códigos com Git e GitHub - Workshop
anacls
0
78
Web Crawling e Scraping - TDC
anacls
0
35

Featured

See All Featured
Side Projects
sachag
452
42k
Designing for Performance
lara
604
68k
The Pragmatic Product Professional
lauravandoore
31
6.3k
Documentation Writing (for coders)
carmenintech
65
4.4k
Automating Front-end Workflow
addyosmani
1366
200k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
The Power of CSS Pseudo Elements
geoffreycrofte
73
5.3k
StorybookのUI Testing Handbookを読んだ
zakiyama
27
5.3k
Making Projects Easy
brettharned
115
5.9k
Writing Fast Ruby
sferik
627
61k
Optimising Largest Contentful Paint
csswizardry
33
2.9k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
38
1.8k

Transcript

  1. Web Scraping com Python Ana Carolina Lopes de Souza

  2. Ana Carolina Software Developer - Love Mondays Formada em Análise

    e Desenvolvimento de Sistemas anacls Contato: https://about.me/anacls

  3. Data Scraping

  4. ▹ Raspagem de dados ▹ Técnica de extração ▹ Facilita

    a análise de dados Data Scraping

  5. Web Scraping

  6. ▹ Técnica de raspagem para websites ▹ Permite alcançar informação

    mais limpa ▹ Percorrer páginas com mais rapidez Web Scraping

  7. ▹ Criar fontes de dados estruturadas ▹ Agiliza e facilita

    a manipulação e análise das informações ▹ Exemplo Love Mondays: ￭ Raspa vagas de diversas fontes ￭ Realiza tratamento dos dados ￭ Disponibiliza todas as vagas num único site Para o que serve?

  8. Como fazer?

  9. ▹ É possível fazer scraping usando várias linguagens ▹ Python

    é a linguagem mais utilizada para esse fim ▹ BeautifulSoup e Scrapy são as ferramentas mais conhecidas Como fazer?

  10. Beautiful Soup? É de comer?

  11. ▹ Biblioteca Python (https://www.crummy.com/software/BeautifulSoup/bs4/doc/) ▹ Possui métodos que permitem fazer

    extração de forma simples ▹ Mais voltada para extração de conteúdos html e xml Beautiful Soup

  12. Scrapy

  13. ▹ Framework Python (https://docs.scrapy.org/en/latest/) ▹ Voltado especificamente para scraping e

    crawling ▹ Possui funções mais complexas ▹ Preparado para resolver problemas maiores sem exigir muito esforço Scrapy

  14. SHOW ME THE CODE!

  15. Entendendo o HTML

  16. <html> <head> <title>Exemplo</title> </head> <body> <div> <p class="first-item" id="first"> “Se

    sentir medo, vai com medo mesmo” </p> </div> </body> </html>
  17. None
  18. None
  19. None

  20. Raspagem de dados com BeautifulSoup Quantidade de mulheres parlamentares no

    mundo em 2017. Fonte: http://wdi.worldbank.org/table/WV.5 Código disponível no GitHub
  21. None
  22. None
  23. None
  24. None

  25. import urllib from bs4 import BeautifulSoup url = "http://wdi.worldbank.org/table/WV.5" html

    = urllib.urlopen(url) soup = BeautifulSoup(html.read(), 'html.parser') tabela = soup.findAll('table', { 'class': 'indicators-table' })[1]
  26. None
  27. None

  28. linhas = tabela.findAll('tr') for linha in linhas: pais = linha.find('td',

    { 'class': 'country' }).text
  29. None

  30. linhas = tabela.findAll('tr') for linha in linhas: pais = linha.find('td',

    { 'class': 'country' }).text quantidade = linha.findAll('td')[7].text print(pais + ' = ' + quantidade)
  31. None

  32. Raspagem de dados com Scrapy Previsão do Tempo Fonte: "https://www.climatempo.com.br/previsao-do-tempo/15-dia

    s/cidade/558/saopaulo-sp" Código scrapy disponível no GitHub
  33. None
  34. None

  35. import scrapy class Previsao(scrapy.Spider): name = "previsao" start_urls = [

    "https://www.climatempo.com.br/previsao-do-tempo/15-dias/cidade/5 58/saopaulo-sp" ]
  36. None

  37. def parse(self, response): dias = response.xpath('//div[contains(@id, "resumeDay")]')

  38. None

  39. def parse(self, response): dias = response.xpath('//div[contains(@id, "resumeDay")]') for dia in

    dias: dia_semana = dia.xpath('.//div[contains(@class, "title")]//p/text()[1]').extract_first().strip() data = dia.xpath('.//div[contains(@class, "title")]//p/text()[2]').extract_first().strip()
  40. None
  41. None

  42. def parse(self, response): dias = response.xpath('//div[contains(@id, "resumeDay")]') for dia in

    dias: dia_semana = dia.xpath('.//div[contains(@class, "title")]//p/text()[1]').extract_first().strip() data = dia.xpath('.//div[contains(@class, "title")]//p/text()[2]').extract_first().strip() max_temp = dia.xpath('.//p[contains(@id, "tempMax")]/text()').extract_first() min_temp = dia.xpath('.//p[contains(@id, "tempMin")]/text()').extract_first()
  43. None

  44. def parse(self, response): dias = response.xpath('//div[contains(@id, "resumeDay")]') for dia in

    dias: dia_semana = dia.xpath('.//div[contains(@class, "title")]//p/text()[1]').extract_first().strip() data = dia.xpath('.//div[contains(@class, "title")]//p/text()[2]').extract_first().strip() max_temp = dia.xpath('.//p[contains(@id, "tempMax")]/text()').extract_first() min_temp = dia.xpath('.//p[contains(@id, "tempMin")]/text()').extract_first() desc = dia.xpath('.//div[contains(@class, "description-block")]//span/text()').extract_first()

  45. print("Dia: " + dia_semana + data) print("Máxima: " + max_temp)

    print("Mínima: " + min_temp) print("Descrição: " + desc) yield{ 'dia_sem': dia_semana, 'data': data, 'max_temp': max_temp, 'min_temp': min_temp, 'desc': desc, }
  46. None

  47. ▹ Love Mondays ▹ Operação Serenata de Amor ▹ Brasil

    IO Projetos que usam scraping

  48. ▹ Github do Marco Tulio Pires ▹ Repositório de treinamento

    do Masanori ▹ Livro Web Scraping com Python ▹ Site Oficial Scrapy ▹ Documentação Scrapy ▹ Learn Scrapy Referências de Estudo

  49. Dúvidas?