Do Twitter Search ao GNIP, Meetup @TwitterDevBr BH

O Twitter é um grande repositório de conteúdo sobre os mais diferentes tópicos. Sua postura aberta em relação aos dados dá voz às pessoas e espaço para as mais diversas aplicações. Antes de criar uma solução com os dados do Twitter, é importante entender as diferentes APIs e seus casos de uso. Esta apresentação abordará conceitos e aplicações das APIs de coleta e também como estruturar sua solução, da infraestrutura mínima à mais robusta.

Transcript

1. Do TwitterSearch ao GNIP Explorando o potencial dos dados do Twitter. Thiago Cardoso (@tncardoso) thiago.cardoso@hekima.com
2. THIAGO CARDOSO @tncardoso Bacharel e Mestre em Ciência da Computação CTO & Co-founder @ zahpee / hekima Soluções customizadas de Big Data Analytics Zahpee Monitor | Social Big Data
5. Dengue surveillance based on a computational model of spatio-temporal locality of Twitter Janaina Gomide, Adriano Veloso, Wagner Meira, Virgilio Almeida, Fabricio Benevenuto, Fernanda Ferraz, Mauro Teixeira
6. Earthquake Shakes Twitter Users: Real- time Event Detection by Social Sensors Takeshi Sakaki, Makoto Okazaki, Yutaka Matsuo
7. Avenida Brasil: Eu Assisti, Você Assistiu e a Rede Estava Lá labic.net
9. Getting information off the Internet is like taking a drink from a fire hydrant. Mitchell Kapor, co-founder Electronic Frontier Foundation ”
11. search/tweets - Método mais simples para se obter tweets - Retorna tweets que casem com a consulta - Filtro por palavras-chave, localização, idioma app search/twitter consulta conjunto de posts
12. search/tweets, quando usar? - Interessante para coletar exemplos - Coletas de pequenas amostras - Rate Limited (número de consultas limitadas) - Não serve para buscas exaustivas
14. - Utilizado para coletas em real-time - Não utiliza os limites das outras APIs - O cliente mantém uma conexão contínua app statuses/filter consulta stream de posts statuses/{filter,sample}
15. statuses/{filter,sample}, quando usar? - Aplicações que necessitam de coletas contínuas - Maior cobertura de conteúdo que search/tweets - O cliente deve conseguir processar o stream em real-time - Filtros por conteúdo, localização ou amostragem - Não tem garantias de entrega do conteúdo completo
17. GNIP - Fundada em 2008 - Interface única para diversas redes sociais - Primeira empresa parceira do Twitter - Adquirida pelo Twitter em 2014
18. GNIP - APIs de streaming e busca - Garantia de entrega do conteúdo - Replay do stream - Dados históricos - Acesso à Firehose
19. GNIP - APIs de streaming e busca - Garantia de entrega do conteúdo - Replay do stream - Dados históricos - Acesso à Firehose
20. GNIP - APIs de streaming e busca - Garantia de entrega do conteúdo - Replay do stream - Dados históricos - Acesso à Firehose
21. GNIP - APIs de streaming e busca - Garantia de entrega do conteúdo - Replay do stream - Dados históricos - Acesso à Firehose
22. GNIP - APIs de streaming e busca - Garantia de entrega do conteúdo - Replay do stream - Dados históricos - Acesso à Firehose
23. COPA DO MUNDO CASE
24. Copa do Mundo 2014 - Qual o impacto do evento na vidas dos brasileiros? - Como o Brasil é percebido no mundo? - Quais as tendências de comportamento e interesses?
25. Copa do Mundo 2014 - Conexão entre redes sociais e o mundo real - Analytics, aprendizado de máquina e modelos estatísticos - Necessidade de dados confiáveis
26. Copa do Mundo 2014: Abertura
27. Copa do Mundo 2014: Brasil vs Chile
28. Copa do Mundo 2014: Análise Preditiva - Redes Sociais + Pesquisas de Opinião
29. TL;DR - O Twitter é uma plataforma de dados muito acessível - Fácil começar pequeno… mas existe suporte para aplicações comerciais (ou mais robustas) - https://dev.twitter.com/ - https://twitter.com/twitterdata
30. OBRIGADO @tncardoso thiago.cardoso@hekima.com zahpee.com (@zahpee) hekima.com (@hekima_br)
31. Kunsthofpassage Funnel Wall, Serge Bystro, https://www.flickr.com/photos/sergebystro/9116707403 Network by Stephen Boak from the Noun Project Earth by Cassie McKown from the Noun Project Magnifying Glass by Caique Lima from the Noun Project delivery by Wilson Joseph from the Noun Project replay by Laurence Willmott from the Noun Project file cabinet by Michela Tannoia from the Noun Project Fire Hose by Yorlmar Campos from the Noun Project Fotos e Ícones CC