$30 off During Our Annual Pro Sale. View Details »

DevOpsDays Cuba 2017: BigData perspectiva DevOps

DevOpsDays Cuba 2017: BigData perspectiva DevOps

Author: Enrique Carbonell
Summary: En la actualidad el “Big Data” se ha convertido en una palabra de moda que genera confusión en muchos escenarios. Los conceptos que usualmente se le asocian son: gran cantidades de datos, analítica de redes sociales, modernas herramientas para gestionar datos, datos en tiempo real, entre otros. Independientemente de como lo catalogamos, las empresas necesitan comprender y explorar cómo procesar y analizar de nuevas formas la variedad de información que tienen a su disposición. En muchas de las investigaciones aparecen referencias de tecnologías como Spark y Cassandra que se mencionan como un recurso externo dado por sentado su existencia. Brindar una solución que incluya todos los componentes de procesamiento y análisis puede llegar a ser un reto desde la perspectiva de infraestructura que se requiere provisionar, monitorizar y gestionar por el personal de operaciones. Por otra parte crear la infraestructura de apoyo al desarrollo de estas aplicaciones bajo conceptos como inmutabilidad, consistencia y disponibilidad son elementos que se deben tener en cuenta desde las primeras fases de diseño de una solución. Ver el Big Data desde la perspectiva de DevOps en aras de viabilizar el desarrollo y liberación de aplicaciones y servicios con mayor velocidad es el tema central de esta presentación donde se abordaran conceptos y métodos generales, tecnologías y frameworks recomendados.

DevOpsDays Cuba

October 27, 2017
Tweet

More Decks by DevOpsDays Cuba

Other Decks in Technology

Transcript

  1. Big Data y perspectiva de DevOps
    Enrique Carbonell
    @kikicarbonell

    View Slide

  2. About
    Enrique Carbonell Muela
    • Lic. Ciencias de la Computación
    • Ingeniero de Software
    • Líder de equipo
    • Miembro equipo de Operaciones
    • Entusiasta del DevOps
    • Organizador DevOpsDays Cuba
    Twitter: @kikicarbonell
    LinkedIn: /enrique-carbonell

    View Slide

  3. Sumario
    I Parte: Big Data
    Conceptos, casos de uso, herremientas...
    II Parte: DevOps
    Desarrollo de soluciones, operaciones, perspectiva
    DevOps, herramientas, proyectos de apoyo a la
    investigación.

    View Slide

  4. I Parte: BigData

    View Slide

  5. View Slide

  6. View Slide

  7. View Slide

  8. Casos de Uso

    View Slide

  9. Casos de Uso

    Análisis de comportamiento

    Segmentación de clientes

    Soporte predictivo

    Análisis de mercado y optimización de precios

    Predicción de amenzasa

    Detección de fraudes

    Especificos:
    – Red de sensores climatológicos
    – Redes eléctricas (3 T x día)

    ...

    View Slide

  10. Casos de Uso

    View Slide

  11. Realidad?

    Gigantes como Google lleva +10 años trabajando los
    datos

    En 5 años el 30% de los movimientos financieros
    serán acaparados por gigantes como Google y Apple
    (log n).

    View Slide

  12. Realidad?

    Con los datos logran “conocer a las personas
    mejor que ellas mismas” (fuente: Campaña
    Trump y Obama)

    El sector financiero está moviendose para
    aprovechar al máximo la información de sus
    clientes.

    View Slide

  13. Realidad?

    View Slide

  14. Buzzword / Falacia

    Provedores vendiendo:
    – “hardware Big Data”
    – “soluciones Big Data”
    – “…. Big Data”

    View Slide

  15. Panorama

    View Slide

  16. Panorama

    View Slide

  17. II Parte: DevOps

    View Slide

  18. Supuestos

    View Slide

  19. Supuestos

    View Slide

  20. Realidad

    View Slide

  21. View Slide

  22. View Slide

  23. Infraestructura?

    Provisionamiento

    Escalado

    Particionamiento elástico

    Reutilización de recursos

    Tolerancia a fallos

    ...

    View Slide

  24. DevOps

    View Slide

  25. Recomendación?

    View Slide

  26. SMACK / SDACK

    Spark

    Mesos

    Akka

    Cassandra

    Kafka

    Docker

    View Slide

  27. SMACK
    engine de procesamiento de datos de gran escala (v: 10-100x).
    sistema de gestion de recursos de un cluster, permite el aislamiento
    y comartir recursos entre aplicaciones distribuidas.
    toolkit para construir aplicaciones basadas en manejo de mensajes
    altamente concurrentes, distribuidas y elásticas sobre JVM.

    bases de datos distribuida con alta disponibilidad diseñada para
    gestionar grandes volumenes de información entre diferentes
    datacenter.
    sistema de mensajes de alta disponibilidad, baja latencia y diseñado
    para manejar la entrada en tiempo real.

    View Slide

  28. Mesosphere

    View Slide

  29. Mesosphere

    View Slide

  30. What is Docker?
    Plataforma abierta para el desarrollo,
    transporte y ejecución de aplicaciones.
    Docker permite que empaquete todas
    las dependencias en una unidad
    estandarizada para el desarrollo de
    software y puesta en producción.

    View Slide

  31. Docker

    View Slide

  32. © 2013-2016 Docker, Inc. All rights reserved
    Applications are changing
    Loosely
    Coupled
    Services
    Many Small Servers
    ~2000 Today
    Monolithic
    Big Servers
    Slow
    changing
    Rapidly
    updated

    View Slide

  33. Investigación

    Apache Zeppelin

    Spark Notebook

    Hue

    ...

    View Slide

  34. Arquitectura

    View Slide

  35. Arquitectura

    View Slide

  36. Visualización/Exploración

    View Slide

  37. Visualización/Exploración

    View Slide

  38. View Slide