DevOpsDays Cuba 2017: BigData perspectiva DevOps

Author: Enrique Carbonell
Summary: En la actualidad el “Big Data” se ha convertido en una palabra de moda que genera confusión en muchos escenarios. Los conceptos que usualmente se le asocian son: gran cantidades de datos, analítica de redes sociales, modernas herramientas para gestionar datos, datos en tiempo real, entre otros. Independientemente de como lo catalogamos, las empresas necesitan comprender y explorar cómo procesar y analizar de nuevas formas la variedad de información que tienen a su disposición. En muchas de las investigaciones aparecen referencias de tecnologías como Spark y Cassandra que se mencionan como un recurso externo dado por sentado su existencia. Brindar una solución que incluya todos los componentes de procesamiento y análisis puede llegar a ser un reto desde la perspectiva de infraestructura que se requiere provisionar, monitorizar y gestionar por el personal de operaciones. Por otra parte crear la infraestructura de apoyo al desarrollo de estas aplicaciones bajo conceptos como inmutabilidad, consistencia y disponibilidad son elementos que se deben tener en cuenta desde las primeras fases de diseño de una solución. Ver el Big Data desde la perspectiva de DevOps en aras de viabilizar el desarrollo y liberación de aplicaciones y servicios con mayor velocidad es el tema central de esta presentación donde se abordaran conceptos y métodos generales, tecnologías y frameworks recomendados.

Transcript

1. Big Data y perspectiva de DevOps
   Enrique Carbonell
   @kikicarbonell
   

   View Slide

2. About
   Enrique Carbonell Muela
   • Lic. Ciencias de la Computación
   • Ingeniero de Software
   • Líder de equipo
   • Miembro equipo de Operaciones
   • Entusiasta del DevOps
   • Organizador DevOpsDays Cuba
   Twitter: @kikicarbonell
   LinkedIn: /enrique-carbonell
   

   View Slide

3. Sumario
   I Parte: Big Data
   Conceptos, casos de uso, herremientas...
   II Parte: DevOps
   Desarrollo de soluciones, operaciones, perspectiva
   DevOps, herramientas, proyectos de apoyo a la
   investigación.
   

   View Slide

4. I Parte: BigData
   

   View Slide

5. View Slide

6. View Slide

7. View Slide

8. Casos de Uso
   

   View Slide

9. Casos de Uso
   ●
   Análisis de comportamiento
   ●
   Segmentación de clientes
   ●
   Soporte predictivo
   ●
   Análisis de mercado y optimización de precios
   ●
   Predicción de amenzasa
   ●
   Detección de fraudes
   ●
   Especificos:
   – Red de sensores climatológicos
   – Redes eléctricas (3 T x día)
   ●
   ...
   

   View Slide

10. Casos de Uso
    

    View Slide

11. Realidad?
    ●
    Gigantes como Google lleva +10 años trabajando los
    datos
    ●
    En 5 años el 30% de los movimientos financieros
    serán acaparados por gigantes como Google y Apple
    (log n).
    

    View Slide

12. Realidad?
    ●
    Con los datos logran “conocer a las personas
    mejor que ellas mismas” (fuente: Campaña
    Trump y Obama)
    ●
    El sector financiero está moviendose para
    aprovechar al máximo la información de sus
    clientes.
    

    View Slide

13. Realidad?
    

    View Slide

14. Buzzword / Falacia
    ●
    Provedores vendiendo:
    – “hardware Big Data”
    – “soluciones Big Data”
    – “…. Big Data”
    

    View Slide

15. Panorama
    

    View Slide

16. Panorama
    

    View Slide

17. II Parte: DevOps
    

    View Slide

18. Supuestos
    

    View Slide

19. Supuestos
    

    View Slide

20. Realidad
    

    View Slide

21. View Slide

22. View Slide

23. Infraestructura?
    ●
    Provisionamiento
    ●
    Escalado
    ●
    Particionamiento elástico
    ●
    Reutilización de recursos
    ●
    Tolerancia a fallos
    ●
    ...
    

    View Slide

24. DevOps
    

    View Slide

25. Recomendación?
    

    View Slide

26. SMACK / SDACK
    ●
    Spark
    ●
    Mesos
    ●
    Akka
    ●
    Cassandra
    ●
    Kafka
    ●
    Docker
    

    View Slide

27. SMACK
    engine de procesamiento de datos de gran escala (v: 10-100x).
    sistema de gestion de recursos de un cluster, permite el aislamiento
    y comartir recursos entre aplicaciones distribuidas.
    toolkit para construir aplicaciones basadas en manejo de mensajes
    altamente concurrentes, distribuidas y elásticas sobre JVM.
    ●
    bases de datos distribuida con alta disponibilidad diseñada para
    gestionar grandes volumenes de información entre diferentes
    datacenter.
    sistema de mensajes de alta disponibilidad, baja latencia y diseñado
    para manejar la entrada en tiempo real.
    

    View Slide

28. Mesosphere
    

    View Slide

29. Mesosphere
    

    View Slide

30. What is Docker?
    Plataforma abierta para el desarrollo,
    transporte y ejecución de aplicaciones.
    Docker permite que empaquete todas
    las dependencias en una unidad
    estandarizada para el desarrollo de
    software y puesta en producción.
    

    View Slide

31. Docker
    

    View Slide

32. © 2013-2016 Docker, Inc. All rights reserved
    Applications are changing
    Loosely
    Coupled
    Services
    Many Small Servers
    ~2000 Today
    Monolithic
    Big Servers
    Slow
    changing
    Rapidly
    updated
    

    View Slide

33. Investigación
    ●
    Apache Zeppelin
    ●
    Spark Notebook
    ●
    Hue
    ●
    ...
    

    View Slide

34. Arquitectura
    

    View Slide

35. Arquitectura
    

    View Slide

36. Visualización/Exploración
    

    View Slide

37. Visualización/Exploración
    

    View Slide

38. View Slide