Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Análisis de datos en IoT el princial objetivo

Análisis de datos en IoT el princial objetivo

Global Azure 2022 Spain

Jose María Flores Zazo

April 25, 2022
Tweet

More Decks by Jose María Flores Zazo

Other Decks in Programming

Transcript

  1. #GlobalAzure
    May 5th – 7th,2022

    View full-size slide

  2. #GlobalAzure
    #GlobaAzureSpain
    Análisis de datos en IoT
    El principal objetivo
    Development & Cloud Consultan @ Tokiota
    jmfloreszazo

    View full-size slide

  3. #GlobalAzure
    #GlobaAzureSpain
    La Wikipedia define IoT de esta forma:
    Internet de las cosas (IoT) es la interconexión de dispositivos físicos
    (también llamados dispositivos conectadoso dispositivos inteligentes),
    vehículos, edificios, u otros objetos dotados de electrónica, software,
    sensores o actuadores, junto a la conectividad de red que permiten a
    estos objetos recoger e intercambiar datos.
    https://en.wikipedia.org/wiki/internet_of_thing
    Libro Manos a la obra con: IoT En Azure
    https://jmfloreszazo.com/azure-iot-esp/

    View full-size slide

  4. IoT es un circuito cerrado de sensores, conexiones, y una base de datos que almacena
    información. La toma de decisiones se basa en la información recibida por los
    sensores y que luego retroalimenta el sistema. Existen numerosas aplicaciones de IoT
    en todos los aspectos de nuestra vida: ciudades inteligentes, salud, venta minorista,
    agricultura, etc.
    Analítica es un término que se hace popular cuando se democratizó la minería de
    datos y que hace referencia al análisis de datos para para la toma de decisiones. Las
    herramientas utilizadas en análisis tocan área tales como aprendizaje automático,
    estadística e investigación operativa. Hay una gran cantidad de herramientas
    conocidas: como son las redes neuronales, modelos ocultos de Markov, regresiones
    lineales multivariantes, pronósticos, etc.

    View full-size slide

  5. Permitirme usar una acepción de análisis, indistintamente, tanto para técnicas de
    explotación como técnicas de evaluación.
    En IoT existen muchas aplicaciones en lo que respecta al análisis de problemas:
    seguridad, detección de intrusiones, garantía de datos, medición y mantenimiento
    predictivo, capacidad de la red, gestión de sensores para la toma de decisiones,
    optimización de recursos, …
    El análisis de datos precisa de unos conocimientos matemáticos y estadísticos
    profundos. Que no son el objetivo de la presentación: vamos a ver las herramientas
    necesarias para almacenar la información de forma correcta y que puedan ser
    utilizada para el análisis usando la acepción canónica.

    View full-size slide

  6. • ¿Qué?, el dato es la telemetría o información preprocesada o completamente procesada.
    • ¿Quién?, son los dispositivos IoT clásicos o Edge los que transmiten el dato.
    • ¿Cuándo?, sería la ventana de tiempo de envío del dato en un caso de telemetría o un
    evento cuando se trata de una información Edge, por ejemplo.
    • ¿Dónde?, el dato viaja a los servicios de IoT, el backend. Y donde debe almacenarse el
    dato para proporcionar la información para la que se diseña el sistema.
    • ¿Por qué?, lógicamente dependiendo de la solución tendrá una respuesta diferente, pero
    fundamentalmente el dato debe cumplir con los requerimientos del sistema. Aquí también
    entraría la analítica del dato, área que ya hemos comentado que no vamos a tratar en este
    libro.
    • ¿Cómo?, hasta ahora hemos visto una pequeña parte del movimiento del dato del
    dispositivo al backend, pero no nos hemos parado a estudiarlo. Es lo que vamos a tratar
    en esta presentación: como viaja el dato desde el device hasta como se presenta al
    usuario.
    Qué
    Quién
    Cuándo
    Dónde
    Por qué
    Cómo

    View full-size slide

  7. Recopilación Gestión Análisis
    Configuraciones Desencadenadores

    View full-size slide

  8. Telemetría
    Recopilación
    del dato
    Gestión
    del dato
    Análisis
    del dato
    Desencadenador
    del dato
    Configuración
    del dato
    Time Series
    Database
    Resultado
    de los análisis
    Informes
    Sin acción

    View full-size slide

  9. Cloud
    Dispositivo Edge
    Telemetría
    Recopilación
    del dato
    Gestión
    del dato
    (local)
    Time Series
    Database
    (local)
    Configuración
    del dato
    (local)
    Análisis
    del dato
    (local)
    Desencadenador
    del dato
    (local)
    Análisis
    del dato
    (organización)
    Gestión
    del dato
    (organización)
    Desencadenador
    del dato
    (organización)
    Configuración
    del dato
    (organización)
    Time Series
    Database
    (organización)
    Sin acción
    Resultado
    de los analisis
    Informes

    View full-size slide

  10. IoT Hub
    IoT Central
    Service Bus topic
    Service Bus
    Storage
    Event Hubs
    In-build Event Hubs
    Time Serie Insight
    Stream Analytics
    Logic Apps
    Data Transformation
    Databricks
    HDInsight
    Machine Learning

    View full-size slide

  11. No entraré a bajo nivel, no es el objetivo. Solo os voy a contar que estos dos elementos son fundamentales y
    condicionan que piezas podemos utilizar.
    Conocer que red de comunicación:
    • WPAN No-IP: 802,15,4, Zigbee, Z-Wave, …
    • WPAN y WLAN basada en IP: TPC/IP, IEEE 802.11, …
    • LRWAN: 4G LTS, 5G, LoRa, Sigfox, …
    Conocer que protocolos de comunicación: HTTP, MQTT, MQTT-SN, AMQP, CoAP, …
    Son dos restricciones no funcionales que condicionan los límites de una arquitecta.
    Para que veáis hasta que punto es necesario conocerlo aunque no seas un arquitecto y sea alguien de data: por
    mucho que quieras si esas en medio de la Alcarria midiendo la densidad de flores y abejas con dispositivos edge e IA,
    seguramente el 3G no alcanza los 55KM desde el transmisor a tu base y tengas que optar por SigFox, en detrimento
    de un payload e 12 bytes a 140 bytes (por ejemplo) o que la transmisión la quieras real-time y no cada x sg. que
    hace otro modelo de envió de red.

    View full-size slide

  12. #GlobalAzure
    #GlobaAzureSpain
    Demo: IoT Hub Routing

    View full-size slide

  13. Blob Storage Event Hub IoT Hub Service Bus Otros...
    Event Grid
    Service Bus Otros...
    Event Hub
    Function
    Storage Queue
    Logic App
    Event Handlers
    Event Publisher
    Temas (DeviceTelemetry, DeviceCreated, DeviceDelete,
    Suscriptores

    View full-size slide

  14. Event Grid Routing
    Sin orden Garantiza el orden
    Muchos tipos diferentes de endpoints y creciendo Numero limitado de endpoitns
    Pagas por operaciones en el Event Grid No añade costes extras
    Filtrado en el tema y los atributos Filtrado con una condición en la ruta
    Telemetría Telemetría
    Eventos del ciclo de vida del dispositivo Eventos del ciclo de vida del dispositivo
    Cambios en el dispositivo gemelo

    View full-size slide

  15. #GlobalAzure
    #GlobaAzureSpain
    Demo: ASA

    View full-size slide

  16. #GlobalAzure
    #GlobaAzureSpain
    Demo: IoT Central Data Export

    View full-size slide

  17. Creamos un IoT Central Solution Accelerator

    View full-size slide

  18. Creamos un Sercer Bus Namespace y una cola

    View full-size slide

  19. Obtenemos un endpoint de una SAS Policy

    View full-size slide

  20. Enchufamos ese endpoint y la cola al Data Export de IoT Central

    View full-size slide

  21. IoT Hub
    Event Grid
    App Service
    Function App
    Machine Learning
    Azure Cosmos DB
    Azure Maps
    SQL Server
    Storage Blob
    Event Hubs
    Trabajos de Stream
    Analytics
    Power BI
    Time Series Insights TSI Explorer
    Other Apps & Services
    Wind Turbine s Park
    Back Office
    Web Brownser
    Telemetría
    Telemetría
    Enrutada
    Información
    GPS Turbina
    Telemetría
    enriquecida
    Telemetría
    Agregada
    Telemetría
    Agregada
    Cold
    Storage

    View full-size slide

  22. ¿Tiene sentido?: Sí, no, tal vez…
    • ¿Quiero usar una TSDB y la red de SigFox?, pues os diría que no tiene mucho sentido usarlo por qué la información de una
    TSDB es para una telemetría con una cadencia de información menor que la ofrece la trasmisión SigFox.
    • ¿Quiero usar una Stream Analytics y 5G?, independientemente del coste, es una decisión acertada, 5G nos permite enviar
    mucha información que permite explotar el potencial de Azure Stream Analytics.
    • Tengo que actualizar los carteles luminosos de las carreteras. ¿Qué protocolo debo usar? Pues tendrás que ver si la
    tecnología que te gustaría implementar, por ejemplo, 5G, esta soportada en tu región y si esta, ¿quieres mantener dos
    versiones? Tal vez…
    Como veis, si tenéis las herramientas, las conocéis mínimamente, podréis proponer soluciones acertadas. Que sean las más
    optimas puede que si o que no, eso dependerá del nivel de conocimientos de cada uno, pero al menos no vamos a proponer
    cosas que cumplan con los requisitos de la aplicación. Y recalco que se debe tener cuidado con los requerimientos no
    funcionales que guardan grandes problemas en su interior.
    Con esta introducción al gobierno del dato en IoT ya tenéis todo lo básico para empezar y así evitar hacer uso de la famosa
    regla del martillo dorado.

    View full-size slide