Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Web scraping, python, e ordem da câmara dos ver...

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for Gabriela Gabriela
November 02, 2020
61
1

Web scraping, python, e ordem da câmara dos vereadores

Avatar for Gabriela

Gabriela

November 02, 2020

More Decks by Gabriela

See All by Gabriela
Python: O poder da linguagem, diversidade e mercado de trabalho
Avatar for Gabriela gabicavalcante
0
110
Desbravando Comunidades
Avatar for Gabriela gabicavalcante
0
37

Featured

See All Featured
Color Theory Basics | Prateek | Gurzu
Avatar for Gurzu gurzu
0
370
SEO Brein meetup: CTRL+C is not how to scale international SEO
Avatar for Linda Hogenes lindahogenes
1
2.7k
Lightning talk: Run Django tests with GitHub Actions
Avatar for Sarah Abderemane sabderemane
0
200
Game over? The fight for quality and originality in the time of robots
Avatar for Wayne Barker wayneb77
1
200
The World Runs on Bad Software
Avatar for Brandon Keepers bkeepers
PRO
72
12k
The Art of Delivering Value - GDevCon NA Keynote
Avatar for David Neal reverentgeek
16
2k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
Avatar for Irina Nazarova irinanazarova
9
1.4k
Testing 201, or: Great Expectations
Avatar for Joseph Mastey jmmastey
46
8.2k
Agile that works and the tools we love
Avatar for Rasmus Luckow-Nielsen rasmusluckow
331
22k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
Avatar for Morgane Peng morganepeng
133
19k
Performance Is Good for Brains [We Love Speed 2024]
Avatar for Tammy Everts tammyeverts
12
1.7k
Ten Tips & Tricks for a 🌱 transition
Avatar for Manu Carrasco Molina stuffmc
0
140

Transcript

  1. Web scraping, python, e ordem da câmara dos vereadores 01

  2. Gabi Cavalcante 02 ❯ natalense ❯ 25 anos ❯ TI

    ❯ @stone-payments ❯ @twilio ❯ autenticação e autorização. e-commerce. chatbots. ❯ ciência de dados/ETL; QE; teste; arquitetura. ❯ PyLadies Natal

  3. ❯❯ Web scraping ❯ Python ❯ Ordem da câmara 03

  4. 04 a construção de um agente para baixar, analisar e

    organizar dados da Web de maneira automatizada fonte: Practical Web Scraping for Data Science (Broucke and Baesens).

  5. 05

  6. ❯ Web scraping ❯❯ Python ❯ Ordem da câmara 06

  7. ❯ Web scraping ❯ Python ❯❯ Ordem da câmara 07

  8. 08

  9. Título de CIDADÃO NATALENSE 09

  10. RESULTADOS Total de pautas: Títulos: 1773 21 - 1.18% 10

  11. 11

  12. RESULTADOS Total de pautas: Títulos: 1773 1080 - 60.91% 12

  13. O QUE USEI PRA RASPAR 13 ❯ bs4 ❯ scrapy

    ❯ requests-html

  14. 14

  15. 15

  16. 16

  17. O QUE USEI PRA EXTRAIR 17 ❯ PyPDF2 + regex

    ❯ pdfPlumber ❯ rows ++

  18. DICAS [1] Python Assíncrono: tudo ao mesmo tempo agora -

    Luciano Ramalho [2] rows [2] blog do scrapy 18 CONTRIBUA [1] Brasil.io [2] Querido diário [3] Dados Abertos de Feira

  19. DÚVIDAS? me encontrem: Twitter: @_gabicavalcante Telegram: @gabrilas GitHub: gabicavalcante 19