Introduction to Scrapy

My talk about the framework python-based Scrapy.

Transcript

1. Introdução ao Scrapy Uma ferramenta para web scraping
2. $ whoami > Estagiário na empresa CodeMiner42 > Back-end developer no projeto Colaboradados > Graduando em Ciência da Computação pela UFPI > Entusiasta da linguagem Python > Aventurando nas trilhas do Ruby on Rails /luchiago /luchiago
3. A mercadoria mais valiosa do mundo após o tempo são os dados.
4. Como obter esses dados? > Interface de Programação de Aplicativos > Requisições HTTP GET THEM ALL
5. E quando o site não fornece uma API?
6. Crawlers vs Scraping
7. Colaborabot http://colaboradados.com.br/bot_colaboradados.html https://twitter.com/colabora_bot
8. Web Scraping: problemas > Bloqueio de endereço IP > robots.txt > HTML mal estruturado
9. Scrapy “Uma framework open source e colaborativa para extração dos dados que você precisa dos websites, em uma maneira rápida, simples e escalável” https://scrapy.org/
10. Tecnologias semelhantes em Python Beautiful Soup https://www.crummy.com/software/BeautifulS oup/bs4/doc/ Selenium https://selenium-python.readthedocs.io/ Requests https://2.python-requests.org//en/master/
11. City Scrapers
12. Obrigado!