Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Web Scraping com Python - Talk WoMakersCode

Ana Carolina
January 22, 2019
0
73

Web Scraping com Python - Talk WoMakersCode

Essa talk aborda alguns conceitos sobre Web Scraping e traz alguns exemplos de como podemos utilizar essa técnica com Python.

Ana Carolina

January 22, 2019
Tweet

More Decks by Ana Carolina

See All by Ana Carolina
Python e o mercado de trabalho
anacls
1
62
Web Scraping com Python
anacls
0
180
Versionando Códigos com Git e GitHub - Workshop
anacls
0
71
Web Crawling e Scraping - TDC
anacls
0
29

Featured

See All Featured
jQuery: Nuts, Bolts and Bling
dougneiner
60
7.2k
Being A Developer After 40
akosma
67
580k
Done Done
chrislema
178
15k
How to Ace a Technical Interview
jacobian
273
22k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
Designing on Purpose - Digital PM Summit 2013
jponch
111
6.5k
Become a Pro
speakerdeck
PRO
13
4.6k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
22
1.6k
4 Signs Your Business is Dying
shpigford
176
21k
Typedesign – Prime Four
hannesfritz
36
2.1k
Designing for humans not robots
tammielis
247
25k
GitHub's CSS Performance
jonrohan
1025
450k

Transcript

  1. Web Scraping com Python Ana Carolina Lopes de Souza

  2. Ana Carolina Software Developer - Love Mondays Formada em Análise

    e Desenvolvimento de Sistemas anacls Contato: https://about.me/anacls

  3. Data Scraping

  4. ▹ Raspagem de dados ▹ Técnica de extração ▹ Facilita

    a análise de dados Data Scraping

  5. Web Scraping

  6. ▹ Técnica de raspagem para websites ▹ Permite alcançar informação

    mais limpa ▹ Percorrer páginas com mais rapidez Web Scraping

  7. ▹ Criar fontes de dados estruturadas ▹ Agiliza e facilita

    a manipulação e análise das informações ▹ Exemplo Love Mondays: ￭ Raspa vagas de diversas fontes ￭ Realiza tratamento dos dados ￭ Disponibiliza todas as vagas num único site Para o que serve?

  8. Como fazer?

  9. ▹ É possível fazer scraping usando várias linguagens ▹ Python

    é a linguagem mais utilizada para esse fim ▹ BeautifulSoup e Scrapy são as ferramentas mais conhecidas Como fazer?

  10. Beautiful Soup? É de comer?

  11. ▹ Biblioteca Python (https://www.crummy.com/software/BeautifulSoup/bs4/doc/) ▹ Possui métodos que permitem fazer

    extração de forma simples ▹ Mais voltada para extração de conteúdos html e xml Beautiful Soup

  12. Scrapy

  13. ▹ Framework Python (https://docs.scrapy.org/en/latest/) ▹ Voltado especificamente para scraping e

    crawling ▹ Possui funções mais complexas ▹ Preparado para resolver problemas maiores sem exigir muito esforço Scrapy

  14. SHOW ME THE CODE!

  15. Entendendo o HTML

  16. <html> <head> <title>Exemplo</title> </head> <body> <div> <p class="first-item" id="first"> “Se

    sentir medo, vai com medo mesmo” </p> </div> </body> </html>
  17. None
  18. None
  19. None

  20. Raspagem de dados com BeautifulSoup Quantidade de mulheres parlamentares no

    mundo em 2017. Fonte: http://wdi.worldbank.org/table/WV.5 Código disponível no GitHub
  21. None
  22. None
  23. None
  24. None

  25. import urllib from bs4 import BeautifulSoup url = "http://wdi.worldbank.org/table/WV.5" html

    = urllib.urlopen(url) soup = BeautifulSoup(html.read(), 'html.parser') tabela = soup.findAll('table', { 'class': 'indicators-table' })[1]
  26. None
  27. None

  28. linhas = tabela.findAll('tr') for linha in linhas: pais = linha.find('td',

    { 'class': 'country' }).text
  29. None

  30. linhas = tabela.findAll('tr') for linha in linhas: pais = linha.find('td',

    { 'class': 'country' }).text quantidade = linha.findAll('td')[7].text print(pais + ' = ' + quantidade)
  31. None

  32. Raspagem de dados com Scrapy Previsão do Tempo Fonte: "https://www.climatempo.com.br/previsao-do-tempo/15-dia

    s/cidade/558/saopaulo-sp" Código scrapy disponível no GitHub
  33. None
  34. None

  35. import scrapy class Previsao(scrapy.Spider): name = "previsao" start_urls = [

    "https://www.climatempo.com.br/previsao-do-tempo/15-dias/cidade/5 58/saopaulo-sp" ]
  36. None

  37. def parse(self, response): dias = response.xpath('//div[contains(@id, "resumeDay")]')

  38. None

  39. def parse(self, response): dias = response.xpath('//div[contains(@id, "resumeDay")]') for dia in

    dias: dia_semana = dia.xpath('.//div[contains(@class, "title")]//p/text()[1]').extract_first().strip() data = dia.xpath('.//div[contains(@class, "title")]//p/text()[2]').extract_first().strip()
  40. None
  41. None

  42. def parse(self, response): dias = response.xpath('//div[contains(@id, "resumeDay")]') for dia in

    dias: dia_semana = dia.xpath('.//div[contains(@class, "title")]//p/text()[1]').extract_first().strip() data = dia.xpath('.//div[contains(@class, "title")]//p/text()[2]').extract_first().strip() max_temp = dia.xpath('.//p[contains(@id, "tempMax")]/text()').extract_first() min_temp = dia.xpath('.//p[contains(@id, "tempMin")]/text()').extract_first()
  43. None

  44. def parse(self, response): dias = response.xpath('//div[contains(@id, "resumeDay")]') for dia in

    dias: dia_semana = dia.xpath('.//div[contains(@class, "title")]//p/text()[1]').extract_first().strip() data = dia.xpath('.//div[contains(@class, "title")]//p/text()[2]').extract_first().strip() max_temp = dia.xpath('.//p[contains(@id, "tempMax")]/text()').extract_first() min_temp = dia.xpath('.//p[contains(@id, "tempMin")]/text()').extract_first() desc = dia.xpath('.//div[contains(@class, "description-block")]//span/text()').extract_first()

  45. print("Dia: " + dia_semana + data) print("Máxima: " + max_temp)

    print("Mínima: " + min_temp) print("Descrição: " + desc) yield{ 'dia_sem': dia_semana, 'data': data, 'max_temp': max_temp, 'min_temp': min_temp, 'desc': desc, }
  46. None

  47. ▹ Love Mondays ▹ Operação Serenata de Amor ▹ Brasil

    IO Projetos que usam scraping

  48. ▹ Github do Marco Tulio Pires ▹ Repositório de treinamento

    do Masanori ▹ Livro Web Scraping com Python ▹ Site Oficial Scrapy ▹ Documentação Scrapy ▹ Learn Scrapy Referências de Estudo

  49. Dúvidas?