Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Web scraping, python, e ordem da câmara dos ver...

Avatar for Gabriela Gabriela
November 02, 2020
62
1

Web scraping, python, e ordem da câmara dos vereadores

Avatar for Gabriela

Gabriela

November 02, 2020

More Decks by Gabriela

See All by Gabriela
Python: O poder da linguagem, diversidade e mercado de trabalho
Avatar for Gabriela gabicavalcante
0
110
Desbravando Comunidades
Avatar for Gabriela gabicavalcante
0
41

Featured

See All Featured
Keith and Marios Guide to Fast Websites
Avatar for Keith Pitt keithpitt
413
23k
The Invisible Side of Design
Avatar for Vitaly Friedman smashingmag
301
52k
Public Speaking Without Barfing On Your Shoes - THAT 2023
Avatar for David Neal reverentgeek
1
550
Information Architects: The Missing Link in Design Systems
Avatar for Michelle Chin soysaucechin
1
1.1k
The agentic SEO stack - context over prompts
Avatar for schlessera schlessera
0
880
Measuring & Analyzing Core Web Vitals
Avatar for Philip Tellis bluesmoon
9
970
Let's Do A Bunch of Simple Stuff to Make Websites Faster
Avatar for Chris Coyier chriscoyier
508
140k
We Are The Robots
Avatar for Honza Javorek honzajavorek
0
310
Optimizing for Happiness
Avatar for Tom Preston-Werner mojombo
378
71k
svc-hook: hooking system calls on ARM64 by binary rewriting
Avatar for Akira Moroo retrage
2
530
Why Your Marketing Sucks and What You Can Do About It - Sophie Logan
Avatar for Sophie Logan marketingsoph
0
390
Utilizing Notion as your number one productivity tool
Avatar for Mfonobong Umondia mfonobong
4
560

Transcript

  1. Web scraping, python, e ordem da câmara dos vereadores 01

  2. Gabi Cavalcante 02 ❯ natalense ❯ 25 anos ❯ TI

    ❯ @stone-payments ❯ @twilio ❯ autenticação e autorização. e-commerce. chatbots. ❯ ciência de dados/ETL; QE; teste; arquitetura. ❯ PyLadies Natal

  3. ❯❯ Web scraping ❯ Python ❯ Ordem da câmara 03

  4. 04 a construção de um agente para baixar, analisar e

    organizar dados da Web de maneira automatizada fonte: Practical Web Scraping for Data Science (Broucke and Baesens).

  5. 05

  6. ❯ Web scraping ❯❯ Python ❯ Ordem da câmara 06

  7. ❯ Web scraping ❯ Python ❯❯ Ordem da câmara 07

  8. 08

  9. Título de CIDADÃO NATALENSE 09

  10. RESULTADOS Total de pautas: Títulos: 1773 21 - 1.18% 10

  11. 11

  12. RESULTADOS Total de pautas: Títulos: 1773 1080 - 60.91% 12

  13. O QUE USEI PRA RASPAR 13 ❯ bs4 ❯ scrapy

    ❯ requests-html

  14. 14

  15. 15

  16. 16

  17. O QUE USEI PRA EXTRAIR 17 ❯ PyPDF2 + regex

    ❯ pdfPlumber ❯ rows ++

  18. DICAS [1] Python Assíncrono: tudo ao mesmo tempo agora -

    Luciano Ramalho [2] rows [2] blog do scrapy 18 CONTRIBUA [1] Brasil.io [2] Querido diário [3] Dados Abertos de Feira

  19. DÚVIDAS? me encontrem: Twitter: @_gabicavalcante Telegram: @gabrilas GitHub: gabicavalcante 19