Extracción de eventos en una ciudad a partir de redes sociales

Proyecto de grado de Ingeniería en Computación - Udelar
Raúl Speroni - Martín Steglich
Tutor: Juan José Prada

Transcript

1. Extracción de eventos en una ciudad a partir de redes sociales Proyecto de grado Raúl Speroni - Martín Steglich Tutor: Juan José Prada
2. “ Un Evento es una actividad del mundo real que ocurre durante cierto período de tiempo en cierto espacio geográfico
3. Alcance ▷ Montevideo ▷ Limpieza ▷ Twitter
4. EL PROBLEMA
5. +3 hs
6. Extraer y procesar automáticamente información relacionada a la limpieza publicada en Twitter por los ciudadanos de Montevideo. Tweet Evento
7. Situación: ▷ Basura desparramada ▷ “Hace días que está así” ▷ “El contenedor está casi vacío” Espacio: ▷ Hocquart ▷ Emilia Pardo Bazán Tiempo: ▷ 9 de febrero, 2017 ▷ 08:45
8. Tratamos de encontrar: ▷ La temática o situación, ¿qué? ▷ Un espacio a partir del texto, ¿dónde? ▷ El tiempo cuándo ocurre, ¿cuándo? ¿Dónde buscar?
9. El espacio de búsqueda
10. Otros desafíos: ▷ Cantidad de tweets útiles. ▷ Temática sensible. ▷ Identificar ciudad. ▷ Distinguir noticias. ▷ Temática en imágenes.
11. LA SOLUCIÓN
12. Solución ▷ Modular y extensible ▷ Parameterizable ▷ Escalable
18. Módulo Extracción de Tweets Objetivo: Recuperar y almacenar todos los Tweets que puedan ser de interés con la menor demora posible
20. Montevideo im imm @montevideoim Intendencia montevideo montevideo @quejasya @Dmartinez_uy @MunicipioE @MunicipioGMvd @municipioa @Municipiob Limpieza contenedor contenedores recolector recolectores limpio desbordado papelera tacho basura residuo bolsas
21. Módulo Anotación del Corpus Objetivo: Anotación manual de los tweets recolectados por el módulo de extracción de tweets
22. Etiquetas ▷ "MUY_UTIL" ▷ "UTIL" ▷ "POCO_UTIL" ▷ "NADA_UTIL"
24. Módulo Georreferenciación Objetivo: Enriquecer una Pieza de Información con datos geográficos precisos
25. Módulo Georreferenciación
26. Módulo Información Gramatical Objetivo: Agregar a cada pieza de información datos sobre el rol gramatical de las palabras del texto
28. Módulo Procesamiento de Imágenes Objetivo: Determinar si las imágenes adjuntas a un tweet pertenecen al dominio
29. Módulo Procesamiento de Imágenes
30. Módulo Clasificador de Dominio: Reclamos Objetivo: Determinar si un tweet pertenece al conjunto de los tweets en español que pueden considerarse reclamos o denuncias
31. Módulo Clasificador de Dominio: Limpieza Objetivo: Determinar si un tweet pertenece al conjunto de los tweets que tratan sobre limpieza
32. Módulo de Detección de Eventos Objetivo: Determinar a partir de los resultados de los otros módulos cuándo una Pieza de Información es un Evento
33. Módulo de Detección de Eventos
34. Módulo de Detección de Eventos Puntaje GEO 146,5 PI 0,94 CL 1 CR 1
35. Módulo Visualización de Eventos Objetivo: Visualización por parte del usuario de los Eventos detectados por el sistema
36. Capas ▷ Mapa ▷ Eventos ▷ Evento seleccionado
37. RESULTADOS
38. 105 días Tweets recuperados entre 27-09-2016 y 10-01-2017 15.528 tweets 0,64 segundos
39. 7.857 Descartados 7.433 Etiquetados como: Útiles, Poco Útiles, Nada Útiles 238 Etiquetados como Muy Útiles tweets
40. Problema: encontrar 238 tweets de 15528 e identificar: ▷ Que ocurre ▷ Donde ocurre ▷ Cuando ocurre
41. 238/238 Trivial usando metadatos. ¿Cuándo?
42. 213/238 89,5% muy útiles con ubicación correcta. 25/238 10,5% ninguna o ubicación incorrecta. +7021 extras con ubicación. ¿Dónde? Módulo de georreferenciación.
43. Ubicación correcta
44. Ubicación incorrecta
45. Módulo de procesamiento de imágenes. ¿Qué? 1263/7671 16,46% con imágenes. 840/1263 66,5% sin basura. 423/1263 33,5% con basura.
46. Módulo de procesamiento de imágenes. ¿Qué? 288/423 68,0% encontró basura. 135/423 31,91% no encontró basura. 66/238 27,73% encontró basura en muy útiles. +222 encontró basura en otros.
47. Falso Negativo Módulo de procesamiento de imágenes.
48. Módulo clasificador de dominio: limpieza. ¿Qué? 215/238 90,33% muy útiles sobre limpieza. +4305 otros.
49. Módulo clasificador de dominio: limpieza. tweets extra
50. Módulo clasificador de dominio: reclamos. ¿Qué? 200/238 84,03% muy útiles que son reclamos. +1250 otros.
51. Módulo clasificador de dominio: reclamos. tweets extra
52. Detección de Eventos Que + Cuando + Donde
53. Módulos independientes. GEO PI CL CR Probabilidad de encontrar Evento 89,5% 27,73% 90,33% 84,03% Probabilidad de encontrar Falso Positivo 91% 2,8% 58,9% 18,90%
54. Módulo de detección de eventos. 223/238 93,69% eventos encontrados. 289/7433 3,88% no eventos encontrados.
55. CONCLUSIONES
56. ▷ Acceso a la tecnología ▷ Interacción ciudadana ▷ Percepción colectiva
57. ▷ Inteligencia Artificial ▷ Nuevas herramientas ▷ Impacto en nuevas áreas
59. “ Es posible construir mecanismos de sensado de redes sociales que actúen como nuevas interfaces entre ciudadanos y organizaciones para una ciudad inteligente.
60. 15.528 tweets 7.857 descartados 7.433 otros 238 muy útiles 93,69% 3.88% Tweet Evento
61. “ Se construyó un sistema basado en tecnologías libres y datos abiertos que demuestran la potencialidad para Montevideo de los tweets de los ciudadanos.
62. DEMO
63. TRABAJO A FUTURO
64. Trabajo a futuro ▷ Eventos incompletos ▷ Asignación de eventos ▷ Campañas de denuncia ▷ Comunicación con otros sistemas ▷ Módulos
65. Gracias. Raúl Speroni - Martín Steglich