Web Scraping (parte 1)

Transcript

1. TWEETS DE OUTRORA CODE4POL REPROGRAMANDO A POLÍTICA
4. 1, 781761633144086529, 2016-09-30 07:44:32, UmBrasilCurado , Matthew has become the fifth hurricane and 13th 2, 781696399922569218, 2016-09-30 03:25:19, felipgoms , Os cara quer acabar com o fluxo? #VemPraRua 3, 781676740229955585, 2016-09-30 02:07:12, juninhoDurval , Carro não vota não caralhooo , quem vota é o PO 4, 781649740865740801, 2016-09-30 00:19:55, ExPorquito , agora vao combater as redes sociais? Vai crimin 5, 781631940780658688, 2016-09-29 23:09:11, Boravozaao , #VemPraRua #EuTóComEla ✌ 6, 781631764783521794, 2016-09-29 23:08:29, afonsoqueiroz , #VemPraRua #EuTóComEla ✌ 7, 781621244852527104, 2016-09-29 22:26:41, UmBrasilCurado , Deixou contas em aberto para tras! NET liga 8, 781620206003228672, 2016-09-29 22:22:33, fmicaaely , #VemPraRua #ÉHoje #40777 #40 ⏩ 9, 781605553562943488, 2016-09-29 21:24:20, duds_silveira , @simonnrafael sim, fiquei até 16h... vai ter #v 10, 781602794436489217, 2016-09-29 21:13:22, Vit0riamel0 , Hoje tem! ➡ #VemPraRua 11, 781601714734567428, 2016-09-29 21:09:04, ruthzino , Não sei o que está mais lento. Se e as minhas 12, 781592502549774336, 2016-09-29 20:32:28, Viviane060819 , #VemPraRua #Éhoje % 13, 781591543559942144, 2016-09-29 20:28:39, guilhermewapa , #vemprarua #juventudequeavança & ' 14, 781587663174467584, 2016-09-29 20:13:14, Susimca , Ontem eu escutei o absurdo de que pq sou mulhe 15, 781549997842202625, 2016-09-29 17:43:34, rotadossabores9 , Fim de semana chegando, pessoal!! Vem pra rua #rotadossabores #batatarecheada… https://t.co/EW4Nl1nLC3 16, 781536708907139072, 2016-09-29 16:50:46, JoyceMa26488697 , RT @amandaads: #VemPraRua #ÉHoje ) 17, 781532575122751488, 2016-09-29 16:34:20, Nosdnew , #VemPraRua É Hoje 18, 781520260537126912, 2016-09-29 15:45:24, paimgabriela_ , @LuginBr já ia criar a #vemprarua pra fazer pr 19, 781504660158939136, 2016-09-29 14:43:25, igor95331815 , RT @LidiaSaville: #vemPraRua!!!! Pq queremos u #AculpaÉdosBanqueiros !!! #GreveDosBancários #SóALutaTeGarante #Nenhum… 20, 781499515408900096, 2016-09-29 14:22:58, HildaMoraees , #Vemprarua https://t.co/bCeYzmFzRG 21, 781497413919997952, 2016-09-29 14:14:37, Nosdnew , #VemPraRua É Hoje #Eleicoes2016 #GustavoE40 22, 781496467253039104, 2016-09-29 14:10:51, PallomaSoaares , #VemPraRua #Éhoje 23, 781494719348113408, 2016-09-29 14:03:55, Nosdnew , #VemPraRua É Hoje 24, 781491917364326400, 2016-09-29 13:52:47, amandaads , #VemPraRua #ÉHoje ) 25, 781489443442192384, 2016-09-29 13:42:57, therciofjr , Vamos mostrar quem manda!! #VemPraRua #Gustavo 26, 781426070616670208, 2016-09-29 09:31:08, EV_AUREAN , RT @LidiaSaville: #vemPraRua!!!! Pq queremos u #AculpaÉdosBanqueiros !!! #GreveDosBancários #SóALutaTeGarante #Nenhum… 27, 781386807623688192, 2016-09-29 06:55:07, zwa3112 , RT @marcelogcjp: #vemprarua #lavajato #13demar 28, 781366418147151874, 2016-09-29 05:34:05, UmBrasilCurado , Canada may have rolled out the red carpet for 29, 781346679492608001, 2016-09-29 04:15:39, LidiaSaville , #vemPraRua!!!! https://t.co/9YW0UxfYJR 30, 781346108538777600, 2016-09-29 04:13:23, LidiaSaville , #vemPraRua!!!! Pq queremos uma proposta decent
5. 273, 778592896337444865, 2016-09-21 13:53:06, Queirogaaaaa , RT @CamilaO28617693: #VemPraRua vocês estão s 274, 778590593962348545, 2016-09-21 13:43:57, ulima69 , RT @CamilaO28617693: #VemPraRua vocês estão s 275, 778585642922045440, 2016-09-21 13:24:17, Tigrnabor , RT @CamilaO28617693: #VemPraRua vocês estão s 276, 778585088267259904, 2016-09-21 13:22:05, pahega , RT @CamilaO28617693: #VemPraRua vocês estão s 277, 778584492219006976, 2016-09-21 13:19:43, Celso_Leite , RT @CamilaO28617693: #VemPraRua vocês estão s 278, 778581263284338689, 2016-09-21 13:06:53, CamilaO28617693 , #VemPraRua vocês estão satisfeitos? Acabou a 279, 778559842709626882, 2016-09-21 11:41:46, joeneto10 , RT @jaraujolopes: cadê @MBLivre e #VemPraRua Cadê as panelas contra o Caixa 2 #JN? 280, 778558971510652930, 2016-09-21 11:38:18, hamiltonribeiro , RT @jaraujolopes: cadê @MBLivre e #VemPraRua Cadê as panelas contra o Caixa 2 #JN? 281, 778553861225099264, 2016-09-21 11:18:00, UmBrasilCurado , https://t.co/uNNJN9U0i9 #VemPraRua 282, 778548676218073088, 2016-09-21 10:57:23, UmBrasilCurado , Rising tennis star Monica Puig hopes her Olym 283, 778474419677048833, 2016-09-21 06:02:19, UmBrasilCurado , A Brazilian judge has decided that the corrup 284, 778449152107655168, 2016-09-21 04:21:55, pax60 , https://t.co/oJU4ZaMGvI Começa a ficar claro 285, 778437055558803456, 2016-09-21 03:33:51, Amaralini , RT @PaulXbrow2: 5 estados têm atos contra Tem 286, 778436960624910336, 2016-09-21 03:33:28, Amaralini , RT @sulamithando: Bendita é a nação cuja Deus 287, 778405859672125441, 2016-09-21 01:29:53, alemendes0110 , RT @sulamithando: Bendita é a nação cuja Deus 288, 778403245567963136, 2016-09-21 01:19:30, JuMagalhaesBH , RT @sulamithando: Bendita é a nação cuja Deus 289, 778402691525541889, 2016-09-21 01:17:18, Fusca_Brasil , RT @sulamithando: Bendita é a nação cuja Deus 290, 778399989089333248, 2016-09-21 01:06:34, claudioadas , RT @eduadas: Muito orgulho destes meus amigos 291, 778397779391643649, 2016-09-21 00:57:47, eduadas , Muito orgulho destes meus amigos!!! #vempraru 292, 778397447865282560, 2016-09-21 00:56:28, UmBrasilCurado , Quem é o Pinóquio nesta história? Denú 293, 778383656083722240, 2016-09-21 00:01:39, jaraujolopes , cadê @MBLivre e #VemPraRua contra o Golpe da Cadê as panelas contra o Caixa 2 #JN? 294, 778381221050974208, 2016-09-20 23:51:59, UmBrasilCurado , Apertando o cerco! Sérgio Moro aceita de 295, 778377008850018304, 2016-09-20 23:35:15, joaovalerio_ , SÁBADO iremos as ruas realizando a maior mobi 296, 778373102619197440, 2016-09-20 23:19:43, LucasGaliza_ , @ProfessoraIvana vou mandar convite pra ti pe MDS ela vai mesmo curtir #AumentoProEstagiário #VemPraRua #OgiganteAcordou 297, 778369483740184576, 2016-09-20 23:05:20, marcoasoares , RT @PensadoresFalam: DISCURSO INTEGRAL DE MIC #vemprarua #mudabrasil… 298, 778369012388487168, 2016-09-20 23:03:28, davidmirandario , Qualquer grupo genuinamente comprometidos com 299, 778368769789980672, 2016-09-20 23:02:30, PensadoresFalam , DISCURSO INTEGRAL DE MICHEL TEMER NA ABERTURA #vemprarua #mudabrasil #somostodosmoro 300, 778367169532825600, 2016-09-20 22:56:09, Pedro_Ubuntu , Parabéns, senhores e senhoras batedores de pa 301, 778359727633948672, 2016-09-20 22:26:34, pax60 , #vemprarua https://t.co/QsRUBgwYDk 302, 778342755139522560, 2016-09-20 21:19:08, helensa93468834 , @Estadao @ClauLanz @fausto_macedo agora prend 303, 778337982478708737, 2016-09-20 21:00:10, prmaduro , Eu e milhões de outros brasileiros somos os r Ouviu falar em #vemprarua,… https://t.co/fYKyx9VbrH 304, 778308329756065792, 2016-09-20 19:02:20, LiiSuave , @tiffany_foizer nem brinca! #VemPraRua #Fora
6. $ wc -l *.csv 480 vemprarua-201609300932.csv 480 vemprarua-201609300937.csv 480 vemprarua-201609300939.csv 480 vemprarua-201609300955.csv $ diff vemprarua-201609300932.csv vemprarua-201609300937.csv $ diff vemprarua-201609300932.csv vemprarua-201609300939.csv $ diff vemprarua-201609300932.csv vemprarua-201609300955.csv $ diff vemprarua-201609300937.csv vemprarua-201609300939.csv $ diff vemprarua-201609300937.csv vemprarua-201609300955.csv $ diff vemprarua-201609300939.csv vemprarua-201609300955.csv
9. 1, 781761633144086529, 2016-09-30 07:44:32, UmBrasilCurado , Matthew has become the fifth hurricane and 13th named storm of the 2016 Atlantic season after stre... https://t.co/70czGDMXRm #VemPraRua
10. 2, 781696399922569218, 2016-09-30 03:25:19, felipgoms, Os cara quer acabar com o fluxo? #VemPraRua
12. 1, 781761633144086529, 2016-09-30 07:44:32, UmBr 70czGDMXRm #VemPraRua 2, 781696399922569218, 2016-09-30 03:25:19, feli 3, 781676740229955585, 2016-09-30 02:07:12, juni 4, 781649740865740801, 2016-09-30 00:19:55, ExPo Golpista covarde 5, 781631940780658688, 2016-09-29 23:09:11, Bora 6, 781631764783521794, 2016-09-29 23:08:29, afon 7, 781621244852527104, 2016-09-29 22:26:41, UmBr 1dbfghpg4r #VemPraRua 8, 781620206003228672, 2016-09-29 22:22:33, fmic 9, 781605553562943488, 2016-09-29 21:24:20, duds 10, 781602794436489217, 2016-09-29 21:13:22, Vit 11, 781601714734567428, 2016-09-29 21:09:04, rut 12, 781592502549774336, 2016-09-29 20:32:28, Viv 13, 781591543559942144, 2016-09-29 20:28:39, gui 14, 781587663174467584, 2016-09-29 20:13:14, Sus 15, 781549997842202625, 2016-09-29 17:43:34, rot
13. https://t.co/y1YSOSC2UO 99, 779733191330586624, 2016-09-24 17:24:14, Pere o povo reza um "PAI NOSSO" antes da manifestação. DEUS certamente olha por nossa LUTA! #VemPraRua https://t.… 100, 779713006548705280, 2016-09-24 16:04:01, tia https://t.co/0IlnTOBT2x 101, 779703969308291073, 2016-09-24 15:28:07, and #vempraRua... https://t.co/XOMal4jljV 102, 779702346234335232, 2016-09-24 15:21:40, joa 103, 779695743447760897, 2016-09-24 14:55:25, Pit 104, 779680488885784576, 2016-09-24 13:54:48, wco 105, 779664337589899264, 2016-09-24 12:50:38, Mri Quer EVITAR? #VemPraRua 15/11 O Extermínio dos Ucranianos pelos comunistas https://… 106, 779660831151656960, 2016-09-24 12:36:42, ahh
14. 295, 778377008850018304, 2016-09-20 23:35:15, joa 296, 778373102619197440, 2016-09-20 23:19:43, Luc MDS ela vai mesmo curtir #AumentoProEstagiário #VemPraRua #OgiganteAcordou 297, 778369483740184576, 2016-09-20 23:05:20, mar #vemprarua #mudabrasil… 298, 778369012388487168, 2016-09-20 23:03:28, dav 299, 778368769789980672, 2016-09-20 23:02:30, Pen #vemprarua #mudabrasil #somostodosmoro 300, 778367169532825600, 2016-09-20 22:56:09, Ped 301, 778359727633948672, 2016-09-20 22:26:34, pax 302, 778342755139522560, 2016-09-20 21:19:08, hel 303, 778337982478708737, 2016-09-20 21:00:10, prm Ouviu falar em #vemprarua,… https://t.co/fYKyx9Vb 304, 778308329756065792, 2016-09-20 19:02:20,
17. >
18. > API
19. ?
20. ! SCRAPING
21. $ python scrapetwittersearchresults.py #vemprarua
23. WTF #
24. HTTP HTML XPATH
25. 2. REFAZEMOS TUDO JUNTO, DEVAGARZINHO. 3. VOCÊS TENTAM IR ALÉM COM BASE NO EXEMPLO. 4. FALAMOS DOS CONCEITOS BASE NECESSÁRIOS. 1. AVANÇAR PARA O PRÓXIMO ASSUNTO.
26. https://speakerdeck.com/code4pol https://github.com/code4pol/lab-20160930 DÚVIDAS ?