INTRODUÇÃO AO XPATH: NAVEGANDO (E EXTRAINDO DADOS) DE DOCUMENTOS HTML

Uma breve introdução da utilização do XPath para a extração de informações de arquivos HTML.

Apresentado em 09/06/2019 na edição 2019 do Caipyra (https://caipyra.python.org.br/), uma conferência Python regional no interior de SP.

Transcript

1. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 1/50 INTRODUÇÃO AO XPATH: INTRODUÇÃO AO XPATH: NAVEGANDO (E EXTRAINDO DADOS) DE DOCUMENTOS HTML NAVEGANDO (E EXTRAINDO DADOS) DE DOCUMENTOS HTML
2. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 2/50 RENNE ROCHA RENNE ROCHA Python Developer na Scrapinghub Laboratório Hacker de Campinas (https://lhc.net.br) Grupy-Campinas | Grupy-Jundiaí renne@rennerocha.com @rennerocha (Github, Twitter, Telegram, etc)
3. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 3/50 XPath (XML Path Language) é uma linguagem de consulta para selecionar e navegar por nós de um documento XML.
4. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 4/50 XPath (XML Path Language) é uma linguagem de consulta para selecionar e navegar por nós de um documento XML.
5. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 5/50 XPath (XML Path Language) é uma linguagem de consulta para selecionar e navegar por nós de um documento XML.
6. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 6/50 XPath (XML Path Language) é uma linguagem de consulta para selecionar e navegar por nós de um documento XML.
7. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 7/50 XPath (XML Path Language) é uma linguagem de consulta para selecionar e navegar por nós de um documento XML.
8. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 8/50 XML (Extensible Markup Language) é um formato baseado em texto para representação de informações estruturadas, como por exemplo documentos, con gurações, livros, transações, etc.
9. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 9/50 XML (Extensible Markup Language) é um formato baseado em texto para representação de informações estruturadas, como por exemplo documentos, con gurações, livros, transações, etc.
10. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 10/50
11. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 11/50 CASOS DE USO CASOS DE USO Arquivos de Con guração Troca de mensagens entre aplicações Padrão para documentos (Open Document Format)
12. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 12/50 HTML HTML
13. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 13/50 HTML HTML HYPERTEXT MARKUP LANGUAGE HYPERTEXT MARKUP LANGUAGE
14. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 14/50
15. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 15/50 https://docs.python.org/3/library/xml.etree.elementtree.html/
16. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 16/50 https://lxml.de/
17. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 17/50 https://parsel.readthedocs.io/
18. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 18/50 from parsel import Selector with open("brigadeiro.html", "r") as xml_file: content = xml_file.read() selector = Selector(text=content) 1 2 3 4 5
19. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 19/50 selector.xpath("/title") 1
20. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 20/50 <html> 1 <head> 2 <title>Receita de Brigadeiro</title> 3 </head> 4 <body data-content="receita"> 5 <h1>Ingredientes</h1> 6 <ul> 7 <li data-qtd="1" data-unit="colher">Manteiga</li> 8 <li data-qtd="1" data-unit="lata">Leite Condensado</li> 9 <li data-qtd="4" data-unit="colher">Chocolate em Pó</li> 10 <li data-qtd="1" data-unit="pacote">Choc. Granulado</li> 11 </ul> 12 <h1>Instruções de Preparo</h1> 13 <ol> 14 <li>Aqueça a panela em fogo médio.</li> 15 <li>Acrescente 1 colher de sopa de manteiga.</li> 16 <li>Acrescente o Leite Condensado</li> 17 <li>Acrescente o Chocolate em Pó</li> 18 <li>Mexa sem parar até desgrudar da panela.</li> 19 </ol> 20 </body> 21 </html> 22
21. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 21/50 selector.xpath("/html/head/title") 1
22. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 22/50 <title>Receita de Brigadeiro</title> <html> 1 <head> 2 3 </head> 4 <body data-content="receita"> 5 <h1>Ingredientes</h1> 6 <ul> 7 <li data-qtd="1" data-unit="colher">Manteiga</li> 8 <li data-qtd="1" data-unit="lata">Leite Condensado</li> 9 <li data-qtd="4" data-unit="colher">Chocolate em Pó</li> 10 <li data-qtd="1" data-unit="pacote">Choc. Granulado</li> 11 </ul> 12 <h1>Instruções de Preparo</h1> 13 <ol> 14 <li>Aqueça a panela em fogo médio.</li> 15 <li>Acrescente 1 colher de sopa de manteiga.</li> 16 <li>Acrescente o Leite Condensado</li> 17 <li>Acrescente o Chocolate em Pó</li> 18 <li>Mexa sem parar até desgrudar da panela.</li> 19 </ol> 20 </body> 21 </html> 22
23. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 23/50 selector.xpath("//title") 1
24. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 24/50 <title>Receita de Brigadeiro</title> <html> 1 <head> 2 3 </head> 4 <body data-content="receita"> 5 <h1>Ingredientes</h1> 6 <ul> 7 <li data-qtd="1" data-unit="colher">Manteiga</li> 8 <li data-qtd="1" data-unit="lata">Leite Condensado</li> 9 <li data-qtd="4" data-unit="colher">Chocolate em Pó</li> 10 <li data-qtd="1" data-unit="pacote">Choc. Granulado</li> 11 </ul> 12 <h1>Instruções de Preparo</h1> 13 <ol> 14 <li>Aqueça a panela em fogo médio.</li> 15 <li>Acrescente 1 colher de sopa de manteiga.</li> 16 <li>Acrescente o Leite Condensado</li> 17 <li>Acrescente o Chocolate em Pó</li> 18 <li>Mexa sem parar até desgrudar da panela.</li> 19 </ol> 20 </body> 21 </html> 22
25. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 25/50 selector.xpath("//h1") 1
26. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 26/50 <h1>Ingredientes</h1> <h1>Instruções de Preparo</h1> <html> 1 <head> 2 <title>Receita de Brigadeiro</title> 3 </head> 4 <body data-content="receita"> 5 6 <ul> 7 <li data-qtd="1" data-unit="colher">Manteiga</li> 8 <li data-qtd="1" data-unit="lata">Leite Condensado</li> 9 <li data-qtd="4" data-unit="colher">Chocolate em Pó</li> 10 <li data-qtd="1" data-unit="pacote">Choc. Granulado</li> 11 </ul> 12 13 <ol> 14 <li>Aqueça a panela em fogo médio.</li> 15 <li>Acrescente 1 colher de sopa de manteiga.</li> 16 <li>Acrescente o Leite Condensado</li> 17 <li>Acrescente o Chocolate em Pó</li> 18 <li>Mexa sem parar até desgrudar da panela.</li> 19 </ol> 20 </body> 21 </html> 22
27. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 27/50 selector.xpath("//ul/*") 1
28. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 28/50 <li data-qtd="1" data-unit="colher">Manteiga</li> <li data-qtd="1" data-unit="lata">Leite Condensado</li> <li data-qtd="4" data-unit="colher">Chocolate em Pó</li> <li data-qtd="1" data-unit="pacote">Choc. Granulado</li> <html> 1 <head> 2 <title>Receita de Brigadeiro</title> 3 </head> 4 <body data-content="receita"> 5 <h1>Ingredientes</h1> 6 <ul> 7 8 9 10 11 </ul> 12 <h1>Instruções de Preparo</h1> 13 <ol> 14 <li>Aqueça a panela em fogo médio.</li> 15 <li>Acrescente 1 colher de sopa de manteiga.</li> 16 <li>Acrescente o Leite Condensado</li> 17 <li>Acrescente o Chocolate em Pó</li> 18 <li>Mexa sem parar até desgrudar da panela.</li> 19 </ol> 20 </body> 21 </html> 22
29. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 29/50 selector.xpath("//ul/li[2]") 1
30. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 30/50 <li data-qtd="1" data-unit="lata">Leite Condensado</li> <html> 1 <head> 2 <title>Receita de Brigadeiro</title> 3 </head> 4 <body data-content="receita"> 5 <h1>Ingredientes</h1> 6 <ul> 7 <li data-qtd="1" data-unit="colher">Manteiga</li> 8 9 <li data-qtd="4" data-unit="colher">Chocolate em Pó</li> 10 <li data-qtd="1" data-unit="pacote">Choc. Granulado</li> 11 </ul> 12 <h1>Instruções de Preparo</h1> 13 <ol> 14 <li>Aqueça a panela em fogo médio.</li> 15 <li>Acrescente 1 colher de sopa de manteiga.</li> 16 <li>Acrescente o Leite Condensado</li> 17 <li>Acrescente o Chocolate em Pó</li> 18 <li>Mexa sem parar até desgrudar da panela.</li> 19 </ol> 20 </body> 21 </html> 22
31. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 31/50 In [1]: selector.xpath("//ul/li/text()").getall() Out[1]: [ 'Manteiga', 'Leite Condensado', 'Chocolate em Pó', 'Chocolate Granulado' ] 1 2 3 4 5 6 7
32. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 32/50 <html> <head> <title>Receita de Brigadeiro</title> </head> <body data-content="receita"> <h1>Ingredientes</h1> <ul> <li data-qtd="1" data-unit="colher">Manteiga</li> <li data-qtd="1" data-unit="lata">Leite Condensado</li> <li data-qtd="4" data-unit="colher">Chocolate em Pó</li> <li data-qtd="1" data-unit="pacote">Choc. Granulado</li> </ul> <h1>Instruções de Preparo</h1> <ol> <li>Aqueça a panela em fogo médio.</li> <li>Acrescente 1 colher de sopa de manteiga.</li> <li>Acrescente o Leite Condensado</li> <li>Acrescente o Chocolate em Pó</li> <li>Mexa sem parar até desgrudar da panela.</li> </ol> </body> </html>
33. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 33/50 In [1]: selector.xpath("//ul/li/@data-qtd").getall() Out[1]: ['1', '1', '4', '1'] 1 2
34. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 34/50 selector.xpath("//li[contains(., 'Chocolate')]") 1
35. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 35/50 <li data-qtd="4" data-unit="colher">Chocolate em Pó</li> <li>Acrescente o Chocolate em Pó</li> <html> 1 <head> 2 <title>Receita de Brigadeiro</title> 3 </head> 4 <body data-content="receita"> 5 <h1>Ingredientes</h1> 6 <ul> 7 <li data-qtd="1" data-unit="colher">Manteiga</li> 8 <li data-qtd="1" data-unit="lata">Leite Condensado</li> 9 10 <li data-qtd="1" data-unit="pacote">Choc. Granulado</li> 11 </ul> 12 <h1>Instruções de Preparo</h1> 13 <ol> 14 <li>Aqueça a panela em fogo médio.</li> 15 <li>Acrescente 1 colher de sopa de manteiga.</li> 16 <li>Acrescente o Leite Condensado</li> 17 18 <li>Mexa sem parar até desgrudar da panela.</li> 19 </ol> 20 </body> 21 </html> 22
36. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 36/50 selector.xpath("//ul/li[not(contains(., 'Chocolate'))]") 1
37. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 37/50 <li data-qtd="1" data-unit="colher">Manteiga</li> <li data-qtd="1" data-unit="lata">Leite Condensado</li> <li data-qtd="1" data-unit="pacote">Choc. Granulado</li> <html> 1 <head> 2 <title>Receita de Brigadeiro</title> 3 </head> 4 <body data-content="receita"> 5 <h1>Ingredientes</h1> 6 <ul> 7 8 9 <li data-qtd="4" data-unit="colher">Chocolate em Pó</li> 10 11 </ul> 12 <h1>Instruções de Preparo</h1> 13 <ol> 14 <li>Aqueça a panela em fogo médio.</li> 15 <li>Acrescente 1 colher de sopa de manteiga.</li> 16 <li>Acrescente o Leite Condensado</li> 17 <li>Acrescente o Chocolate em Pó</li> 18 <li>Mexa sem parar até desgrudar da panela.</li> 19 </ol> 20 </body> 21 </html> 22
38. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 38/50 selector.xpath("//li[@data-unit='colher']") 1
39. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 39/50 <li data-qtd="1" data-unit="colher">Manteiga</li> <li data-qtd="4" data-unit="colher">Chocolate em Pó</li> <html> 1 <head> 2 <title>Receita de Brigadeiro</title> 3 </head> 4 <body data-content="receita"> 5 <h1>Ingredientes</h1> 6 <ul> 7 8 <li data-qtd="1" data-unit="lata">Leite Condensado</li> 9 10 <li data-qtd="1" data-unit="pacote">Choc. Granulado</li> 11 </ul> 12 <h1>Instruções de Preparo</h1> 13 <ol> 14 <li>Aqueça a panela em fogo médio.</li> 15 <li>Acrescente 1 colher de sopa de manteiga.</li> 16 <li>Acrescente o Leite Condensado</li> 17 <li>Acrescente o Chocolate em Pó</li> 18 <li>Mexa sem parar até desgrudar da panela.</li> 19 </ol> 20 </body> 21 </html> 22
40. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 40/50 selector.xpath("//li[@data-qtd=1 and @data-unit='colher']") 1
41. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 41/50 <li data-qtd="1" data-unit="colher">Manteiga</li> <html> 1 <head> 2 <title>Receita de Brigadeiro</title> 3 </head> 4 <body data-content="receita"> 5 <h1>Ingredientes</h1> 6 <ul> 7 8 <li data-qtd="1" data-unit="lata">Leite Condensado</li> 9 <li data-qtd="4" data-unit="colher">Chocolate em Pó</li> 10 <li data-qtd="1" data-unit="pacote">Choc. Granulado</li> 11 </ul> 12 <h1>Instruções de Preparo</h1> 13 <ol> 14 <li>Aqueça a panela em fogo médio.</li> 15 <li>Acrescente 1 colher de sopa de manteiga.</li> 16 <li>Acrescente o Leite Condensado</li> 17 <li>Acrescente o Chocolate em Pó</li> 18 <li>Mexa sem parar até desgrudar da panela.</li> 19 </ol> 20 </body> 21 </html> 22
42. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 42/50 selector.xpath("//li[@data-qtd>2]") 1
43. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 43/50 <li data-qtd="4" data-unit="colher">Chocolate em Pó</li> <html> 1 <head> 2 <title>Receita de Brigadeiro</title> 3 </head> 4 <body data-content="receita"> 5 <h1>Ingredientes</h1> 6 <ul> 7 <li data-qtd="1" data-unit="colher">Manteiga</li> 8 <li data-qtd="1" data-unit="lata">Leite Condensado</li> 9 10 <li data-qtd="1" data-unit="pacote">Choc. Granulado</li> 11 </ul> 12 <h1>Instruções de Preparo</h1> 13 <ol> 14 <li>Aqueça a panela em fogo médio.</li> 15 <li>Acrescente 1 colher de sopa de manteiga.</li> 16 <li>Acrescente o Leite Condensado</li> 17 <li>Acrescente o Chocolate em Pó</li> 18 <li>Mexa sem parar até desgrudar da panela.</li> 19 </ol> 20 </body> 21 </html> 22
44. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 44/50
45. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 45/50 selector.xpath( "//h1[contains(., 'Instruções')]/preceding-sibling::ul" ) 1 2 3
46. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 46/50 <ul> <li data-qtd="1" data-unit="colher">Manteiga</li> <li data-qtd="1" data-unit="lata">Leite Condensado</li> <li data-qtd="4" data-unit="colher">Chocolate em Pó</li> <li data-qtd="1" data-unit="pacote">Choc. Granulado</li> </ul> <html> 1 <head> 2 <title>Receita de Brigadeiro</title> 3 </head> 4 <body data-content="receita"> 5 <h1>Ingredientes</h1> 6 7 8 9 10 11 12 <h1>Instruções de Preparo</h1> 13 <ol> 14 <li>Aqueça a panela em fogo médio.</li> 15 <li>Acrescente 1 colher de sopa de manteiga.</li> 16 <li>Acrescente o Leite Condensado</li> 17 <li>Acrescente o Chocolate em Pó</li> 18 <li>Mexa sem parar até desgrudar da panela.</li> 19 </ol> 20 </body> 21 </html> 22
47. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 47/50 selector.xpath("//title/ancestor::html//h1") 1
48. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 48/50 <h1>Ingredientes</h1> <h1>Instruções de Preparo</h1> <html> 1 <head> 2 <title>Receita de Brigadeiro</title> 3 </head> 4 <body data-content="receita"> 5 6 <ul> 7 <li data-qtd="1" data-unit="colher">Manteiga</li> 8 <li data-qtd="1" data-unit="lata">Leite Condensado</li> 9 <li data-qtd="4" data-unit="colher">Chocolate em Pó</li> 10 <li data-qtd="1" data-unit="pacote">Choc. Granulado</li> 11 </ul> 12 13 <ol> 14 <li>Aqueça a panela em fogo médio.</li> 15 <li>Acrescente 1 colher de sopa de manteiga.</li> 16 <li>Acrescente o Leite Condensado</li> 17 <li>Acrescente o Chocolate em Pó</li> 18 <li>Mexa sem parar até desgrudar da panela.</li> 19 </ol> 20 </body> 21 </html> 22
49. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 49/50 https://developer.mozilla.org/pt- PT/docs/Web/XPath http://www.dicas- l.com.br/arquivo/tutorial_xpath.php
50. 6/10/2019 Introdução ao XPath file:///home/renne/projects/rennerocha/apresentacoes/20190609_CaipyraXPath/index.html?print-pdf 50/50 OBRIGADO OBRIGADO