Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Intro to Big Data + Smart Cities with deep learning

Miguel
March 22, 2019

Intro to Big Data + Smart Cities with deep learning

by Jordi Guix - Presented during Big Data + Ethics in AI presentation in Tarragona on march 22nd 2019, by Saturdays.AI
- Que es Big Data
- Las 5 V's
- Ciclo de vida de los datos
- Aplicación práctica con proyecto Smart Cities

Miguel

March 22, 2019
Tweet

More Decks by Miguel

Other Decks in Programming

Transcript

  1. Contenido de la presentación Qué es Big Data Vs del

    Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  2. Qué es Big Data Big Data es el conjunto de

    conocimientos, métodos y tecnologías que ayudan a gestionar la adquisición, el almacenamiento y el análisis de un gran volumen de datos para la toma de decisiones. Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  3. Qué es Big Data Fuente de la imagen: Hortonworks Qué

    es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  4. Qué es Big Data - Almacenamiento Fuente de la imagen:

    Petabyte definition Tech-Target YB 1024 ZB 1021 EB 1018 PB 1015 TB 1012 GB 109 MB 106 Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  5. Qué es Big Data - Necesidades almac. Scaling the Facebook

    data warehouse to 300 PB | Apr 10, 2014 At Facebook, we have unique storage scalability challenges when it comes to our data warehouse. Our warehouse stores upwards of 300 PB of Hive data, with an incoming daily rate of about 600 TB. Source: Facebook Twitter migrates data to Google Cloud | May 3, 2018 Hadoop compute system is the core of our data platform, and Twitter runs multiple large Hadoop clusters that are among the biggest in the world. In fact, our Hadoop file systems host more than 300PB of data across tens of thousands of servers. Source: Twitter CERN Data Centre passes the 200-petabyte milestone | Jul 6, 2017 200 PB of data permanently archived in its tape libraries.Since early February, a third 100Gb/s (gigabit per second) fibre optic circuit links the CERN DC to its remote extension hosted in Hungary, 1800km away. Source: Cern Facebook, Google and YouTube generated 35,000PB | June, 2018 Combined, Facebook, Google and YouTube accounted for approximately 35,000 PB (35 exabytes) of data generated in 2017. Source: Techtarget Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  6. Vs del Big Data Las Vs son un conjunto de

    cualidades que describen qué es Big Data. Volume (Volumen) Velocity (Velocidad) Variety (Diversidad) Origen de los datos heterogéneo y no estructurado Diversidad de tipos y formatos. Velocidad de creación, recepción, procesamiento y transmisión. Gran cantidad y/o tamaño de los datos a almacenar. Facilidad en la creación de nuevo contenido. Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  7. Vs del Big Data Las Vs son un conjunto de

    cualidades que describen el Big Data. Volume (Volumen) Velocity (Velocidad) Variety (Diversidad) Origen de los datos heterogéneo y no estructurado. Diversidad de tipos y formatos. Velocidad de creación, recepción, procesamiento y transmisión. Gran cantidad y/o tamaño de los datos a almacenar. Facilidad en la creación de nuevo contenido. Veracity (Fiabilidad) Value (Utilidad) Grado de fiabilidad de la información recibida. Soluciones y métodos para la eliminar datos imprevisibles Transformación de datos en información; esta a su vez se en conocimiento, y este en acciones o en decisiones. Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  8. Qué es Big Data Vs del Big Data Ciclo de

    vida de los datos Ejemplo de Big Data con AI Fuente: IBM Big Data Hub
  9. Vs del Big Data Fuente de la imagen: Go Globe

    - Things that happen in internet in 60s (Aug 2017) La información gestionada por los principales empresas de internet, muestran la dimensión del problema. En Big Data, se trabaja con entornos de distribuidos. Permitiendo obtener volumen de almacenamiento, velocidad y gestionar de variedad. Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  10. Roles en Big Data Data engineer Data analyst Data scientist

    es responsables de configurar el sistema y construir el flujo de datos y configurar las utilidades y herramientas. tiene el potencial de convertir una empresa tradicional en una orientada a datos. Debe dominar, el campo de los datos, ser un buen comunicador y dominar la herramientas de análisis de datos, entendiendo del pasado a presente. es responsable de identificar los elementos clave y evaluarlos de acuerdo con modelos estadísticos y algoritmos avanzados. Se focaliza en la realización de previsiones fiables. Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  11. Ciclo de vida de los datos Creación Ingesta Persistencia Valor

    Visualización Procesado Análisis Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  12. Ciclo de vida - Ingesta de datos Ingesta de datos

    es el proceso de recibir y añadir los datos en el sistema. Su complejidad es variable en función del formato y la calidad de las fuentes de datos y los post procesados requeridos. Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  13. Ciclo de vida - Persistencia de datos El gestor de

    almacenamiento es el encargado de dar persistencia a los datos. Utilizan sistemas de ficheros distribuidos debido a la naturaleza de los datos y necesidades de uso (gran volumen, disponibilidad y procesamiento). Los datos pueden ser almacenados en disco o en bases de datos distribuidas, especialmente NoSQL. Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  14. Ciclo de vida - Procesado y análisis Genéricamente, se puede

    definir como una capa de procesado de datos iterativa, utilizando una o varias herramientas. Se podrían clasificar en 3 tipos: - procesado por lotes - procesado en tiempo real - procesado híbrido Para el análisis de datos, se utilizan módulos que hacen de enlace con otras herramientas que utilizan R, python o modelos de Machine Learning, entre otros. Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  15. Ciclo de vida - Valor y Visualización La visualización ayuda

    a transformar la información en conocimiento, haciéndola más legible y accesible, para facilitar la toma de decisiones y acciones. La visualización de las métricas del servidor es otro de los usos de la visualización. Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  16. Tecnologías Principales tecnologías en Big Data son Open Source Apache

    Software Foundation concentra múltiples proyectos entre ellos el ecosistema de aplicaciones para Big Data, compatibles con Hadoop. Google, Amazon o Microsoft, implementan en sus soluciones cloud versiones adaptadas de proyectos de código abierto. Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI
  17. Qué es Big Data Vs del Big Data Ciclo de

    vida de los datos Ejemplo de Big Data con AI Fuente de la imagen: Quantfarm Tecnologías - Implementación Persistencia
  18. Qué es Big Data Vs del Big Data Ciclo de

    vida de los datos Ejemplo de Big Data con AI Fuente de la imagen: Quantfarm Tecnologías - Implementación Ingesta Persistencia Procesado Análisis Valor Visualización Persistencia
  19. Ejemplo de Big Data con AI Qué es Big Data

    Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI Identificación de patrones de comportamiento mediante AI Caso práctico: Flujos de densidad de población en condiciones meteorológicas
  20. Ejemplo de Big Data con AI Creación Ingesta Persistencia Valor

    Visualización Procesado Análisis Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI - Datos generados por teléfono móvil - Geolocalización - Actividad (en coche, caminando, estático) - Fecha y hora - Histórico de condiciones meteorológicas
  21. Ejemplo de Big Data con AI Creación Ingesta Persistencia Valor

    Visualización Procesado Análisis Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI Los datos sobre telefonía móvil son Dades Obertes de la Generalitat de Catalunya. (http://governobert.gencat.cat/ca/dades_obertes/) Los datos meteorológicos con granularidad horaria fueron recolectados de Timeanddate.com Los datos fueron cargados en MongoDB para el filtrado y preprocesado.
  22. Ejemplo de Big Data con AI Creación Ingesta Persistencia Valor

    Visualización Procesado Análisis Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI La persistencia fué dada por la base de datos y el almacenamiento de datos en crudo. El cluster de datos estaba gestionado por MongoDB.
  23. Ejemplo de Big Data con AI Creación Ingesta Persistencia Valor

    Visualización Procesado Análisis Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI Input 280x280x1 Feature learning Classification 3x Conv + BatchNorm + relu + pooling Flatten Output Para el procesado y análisis se utilizó python, generando imágenes de densidad y el algoritmo de AI .
  24. Ejemplo de Big Data con AI Creación Ingesta Persistencia Valor

    Visualización Procesado Análisis Qué es Big Data Vs del Big Data Ciclo de vida de los datos Ejemplo de Big Data con AI La visualización de los mapas se realizó con folium indicando en rojo las zonas de mayor concentración de vehículos, los días de lluvia en intervalos de 1h.
  25. Enlaces de interés Nuevos paradigmas de datos - Big Data

    de Juan Galán Páez Blog de Diego Calvo, catálogo de tecnologías Big Data y explicaciones Curso de BigData Visualización, Business, processing - Telefónica Conecta empleo Introducción a Big Data en video