Scrapy Edgar Marca @matiskay Segundo Data Science Meetup Lima 

Dictionary • Web Scraping: The process of extracting data from the web. • Spider: A piece a software designed to extract links and items from webpages. • Crawl: Visit all the pages of interest on a site using your spider. • Scrapy Cloud: Hosted crawling at scrapinghub.com 

How to Start • pip install scrapy • scrapy startproject scrapyblog 

How to start 

Types of Spiders • Spider — Base class for scrapy spiders. • SitemapSpider — Allows you to crawl a site by discovering the URLs using Sitemaps. • XMLFeedSpider — XMLFeedSpider is designed for parsing XML feeds by iterating through them by a certain node name. • CrawlSpider — It provides a convenient mechanism for following links by defining a set of rules. 

Selectors • xpath • response.xpath(‘//span[@class=“blue”]/text()’).extract() • css • response.css(‘span.blue::text’).extract() 

How to deploy to Scrapy Cloud • shub login • shub deploy • shub schedule blogspider 

Scrapy Workflow • Crear dos proyectos uno de produccion y desarrollo. • project-prod • project-dev • En desarrollo se hace la verificacion de los datos y todas las posibles transformaciones en los datos. • shub permite deployar usando el ultimo commit de la rama. 

Pages with Javascript • Splash: Splash is a javascript rendering service. 

Tools for Cleaning data • w3lib • Remove comments, or tags from HTML snippets • extract base url from HTML snippets • translate entites on HTML strings • convert raw HTTP headers to dicts and vice-versa • construct HTTP auth header • converting HTML pages to unicode • sanitize urls (like browsers do) • extract arguments from urls 

Machine Learning & NLP • NLTK (Natural Language Toolkit) — http:// www.nltk.org/ • Scikit Learn (Machine Learning in Python) — http:// scikit-learn.org/ • Scikit Image (Image Processing in Python) — http:// scikit-image.org/ • Gensim (Topic Modelling for Humans)— http:// radimrehurek.com/gensim/ • TextBlob (Simplified Text Processing) — http:// textblob.readthedocs.org/en/dev/ 

Aplicaciones 

Manolo Rocks 

Recomendacion de Productos • Extraer la informacion de los supermercados. • Utilizar esa informacion para recomendar donde comprar los productos basados en la receta que se va preparar. 

Venta de productos por refencia • Extraer la informacion de sitios de moda. • Utilizar algoritmos para extraer colores y utilizar esa informacion para el buscador. • Crear un sitema ETL. 

Recomendacion de Trabajos • Extraer la informacion de sitios de trabajo. • Utilizar algoritmos de Procesamiento Natural de Lenguaje para clasificar los trabajos. 

Preguntas 

Gracias