Scrape with requests and BeautifulSoup

Transcript

1. I see dead people Scrape html pages
2. quem sou eu? Analista Desenvolvedor Python e especialista em Mainframe(15 anos). Atualmente trabalho na IBM no time de DST - Suporte ao desenvolvimento ricaportela@gmail.com twitter - ricaportelas 15 981444871
4. Legal ou ilegal existem discussões a respeito de raspagem de dados. Os dados estão lá site, se não houver nada especificando nos termos de uso do site. Você até pode fazer data scraping. Um site que começou com isso foi o Buscapé
5. scrape html pages O que é scrape? o que é web crawling? - Scrapy (framework)
6. Tips / Issues - muitas requisições ao servidor podem até a derrubar o servidor (ética) - faça uma cópia local da html - a html pode estar mal formatada (maioria das vezes), você terá um certo trabalho
7. Beautiful soup - biblioteca Python que fornece métodos simples para navegar, procurar e até modificar parse tree - não é necessário se preocupar com Encoding - ele faz o parse de lxml e html5
8. Hands-on exemplo prático de um Scrape com Beatiful Soup
9. Duvidas?