Escavando a WEB com Scrapy

Uma palestra sobre Scrapy para um encontro realizado pelas comunidades Frevo-on-Rails e PUG-PE.

http://frevoonrails.com.br/posts,/events/2014/08/14/encontro-setembro/

DATA E LOCAL
20 de Setembro de 2014 na ThoughtWorks Recife

Transcript

1. PUGPE PYTHON USER GROUP - PERNAMBUCO Scrapy Arthur Alvim Encontro do Frevo-On-Rails + PUG.PE 20 de Setembro de 2014
2. “ Quem sou eu? ”
3. Spiders? Bots? Web Crawlers?
5. http://scrapy.org/ Read the Docs Read the Docs http://doc.scrapy.org/en/latest/
6. • Framework robusto para “web scraping” e “web crawling” • Lógica Simples • Produtivo • Muito Rápido • 100% OpenSource
7. 5.794 https://github.com/scrapy/scrapy/
8. git clone git@github.com:arthuralvim/palestra_pug_scrapy.git Instalação pip install scrapy
10. “Bad programmers worry about the code. Good programmers worry about data structures and their relationships.”
14. Extras • Crawling with an Authenticated Session in Scrapy • Chute do Anderson Silva no servidor? • Tarefas Periódicas (CRONTAB + Plan ou Celery)
16. PUGPE PYTHON USER GROUP - PERNAMBUCO Arthur Alvim afmalvim@gmail.com