Raspagem de dados com Puppeteer

Transcript

1. RASPAGEM DE DADOS COM PUPPETEER @di3goleite
2. DIEGO LEITE AdMobilize UEFS @di3goleite
3. @di3goleite
4. @di3goleite
5. • Introdução ao problema • O que é o puppeteer? • Como o puppeteer funciona? • Alguns Exemplos • Demo • Conclusões ROTEIRO @di3goleite
6. INTRODUÇÃO AO PROBLEMA @di3goleite
7. INTRODUÇÃO AO PROBLEMA @di3goleite
8. INTRODUÇÃO AO PROBLEMA @di3goleite
9. INTRODUÇÃO AO PROBLEMA @di3goleite
10. PUPPETEER @di3goleite • É uma biblioteca para Node que fornece uma API de alto nível para controlar o Chrome ou Chromium através do DevTools Protocol • Ele roda por padrão de forma headless mas pode ser configurado para executar com interface gráfica
11. COMO O PUPPETEER FUNCIONA? @di3goleite * CDP = Chrome DevTools Protocol $ npm install puppeteer $ npm install puppeteer-core
12. PUPPETEER - SCREENSHOT @di3goleite
13. PUPPETEER - SCREENSHOT @di3goleite
14. PUPPETEER - LOGIN TO GITHUB @di3goleite
15. PUPPETEER - LOGIN TO GITHUB @di3goleite
16. PUPPETEER - LOGIN TO GITHUB @di3goleite
17. PUPPETEER - LOGIN TO GITHUB @di3goleite
18. PUPPETEER - LOGIN TO GITHUB @di3goleite
19. DEMO \o/ @di3goleite
20. CONCLUSÕES @di3goleite • Sempre remova a opção headless: false ao colocar em produção • Sempre fique atento (a) ao rate limit da página que você está raspando
21. PERGUNTAS? Twitter e GitHub @di3goleite @di3goleite
22. OBRIGADO! @di3goleite