Web scraping con Scrapy

Spanish talk about scraping with Scrapy given in local meetup in Santiago, Chile.

Transcript

1. Web scraping con Scrapy Claudio Salazar <csalazar@alertot.com>
2. Sobre mí ★ CEO @ alertot ★ Ingeniero de Software @ Scrapinghub (2012-2017) ★ Background en seguridad y desarrollo
3. Lista de requerimientos 1. Generar output fácil de manipular (JSON Lines)
4. Consumiendo una API
5. Consumiendo una API
6. Consumiendo una API
7. Lista de requerimientos 1. Generar output fácil de manejar 2. Posibilitar limpieza de datos
8. Solución actual • Suficiente para casos simples • jq no parece la mejor opción para sanitizar datos • Procesamiento a nivel de shell (awk,sed) podría quebrar el formato JSON • Un lenguaje de programación daría mayor flexibilidad
9. Bienvenida al World Wild Web
10. Bienvenida al World Wild Web
11. Bienvenida al World Wild Web
12. Bienvenida al World Wild Web
13. Lista de requerimientos 1. Generar output fácil de manejar 2. Posibilitar limpieza de datos 3. Crear un proyecto mantenible
14. Solución actual • Combinación de extracción, sanitización y resultado • No hay relación entre los datos y cómo procesarlos • No es escalable • Querer mejorar estas falencias nos haría reinventar la rueda
15. Lista de requerimientos 1. Generar output fácil de manejar 2. Posibilitar limpieza de datos 3. Crear un software mantenible 4. Proveer facilidad para recorrer el sitio
16. Solución actual • Suficiente para sitios pequeños • Falta de control sobre requests repetidas • Falta de adaptación a condiciones de red
17. Lista de requerimientos 1. Generar output fácil de manejar 2. Posibilitar limpieza de datos 3. Crear un software mantenible 4. Proveer facilidad para recorrer el sitio 5. Proveer herramientas para acelerar el desarrollo
18. Lista de requerimientos 1. Generar output fácil de manejar 2. Posibilitar limpieza de datos 3. Crear un software mantenible 4. Proveer facilidad para recorrer el sitio 5. Proveer herramientas para acelerar el desarrollo 6. Contar con documentación y comunidad de calidad
20. Características • Framework especializado en web scraping • Funcionamiento asíncrono • 25k estrellas en Github • Fuerte comunidad y soporte
22. scrapy --help
23. scrapy startproject socrates
24. scrapy genspider example example.org
25. Tipos de spiders • BaseSpider • CrawlSpider • XMLFeedSpider • CSVFeedSpider • SitemapSpider
26. Items
27. Item loaders (1/2)
28. Item loaders (2/2)
29. Petición simple (1/3)
30. Paso de datos entre peticiones (2/3)
31. Petición usando formulario (3/3)
33. Item pipelines
34. Exportando items • JSON • JSON lines • CSV • XML
35. Almacenando items • Sistema de archivos • FTP • S3 • Stdout
36. Debugging • Comando `parse` • Scrapy shell • Open in browser • Telnet
37. Tips - Chrome XPath Helper
38. Tips - Focus en la API
39. Tips - Evitar visual scraping
40. Tips - Conocer soluciones existentes
41. Q&A Gracias! csalazar@alertot.com