DevOpsDays Cuba 2017: BigData perspectiva DevOps

DevOpsDays Cuba 2017: BigData perspectiva DevOps

Author: Enrique Carbonell
Summary: En la actualidad el “Big Data” se ha convertido en una palabra de moda que genera confusión en muchos escenarios. Los conceptos que usualmente se le asocian son: gran cantidades de datos, analítica de redes sociales, modernas herramientas para gestionar datos, datos en tiempo real, entre otros. Independientemente de como lo catalogamos, las empresas necesitan comprender y explorar cómo procesar y analizar de nuevas formas la variedad de información que tienen a su disposición. En muchas de las investigaciones aparecen referencias de tecnologías como Spark y Cassandra que se mencionan como un recurso externo dado por sentado su existencia. Brindar una solución que incluya todos los componentes de procesamiento y análisis puede llegar a ser un reto desde la perspectiva de infraestructura que se requiere provisionar, monitorizar y gestionar por el personal de operaciones. Por otra parte crear la infraestructura de apoyo al desarrollo de estas aplicaciones bajo conceptos como inmutabilidad, consistencia y disponibilidad son elementos que se deben tener en cuenta desde las primeras fases de diseño de una solución. Ver el Big Data desde la perspectiva de DevOps en aras de viabilizar el desarrollo y liberación de aplicaciones y servicios con mayor velocidad es el tema central de esta presentación donde se abordaran conceptos y métodos generales, tecnologías y frameworks recomendados.

D5db2dc3cc883df3479797edb63b581b?s=128

DevOpsDays Cuba

October 27, 2017
Tweet

Transcript

  1. Big Data y perspectiva de DevOps Enrique Carbonell @kikicarbonell

  2. About Enrique Carbonell Muela • Lic. Ciencias de la Computación

    • Ingeniero de Software • Líder de equipo • Miembro equipo de Operaciones • Entusiasta del DevOps • Organizador DevOpsDays Cuba Twitter: @kikicarbonell LinkedIn: /enrique-carbonell
  3. Sumario I Parte: Big Data Conceptos, casos de uso, herremientas...

    II Parte: DevOps Desarrollo de soluciones, operaciones, perspectiva DevOps, herramientas, proyectos de apoyo a la investigación.
  4. I Parte: BigData

  5. None
  6. None
  7. None
  8. Casos de Uso

  9. Casos de Uso • Análisis de comportamiento • Segmentación de

    clientes • Soporte predictivo • Análisis de mercado y optimización de precios • Predicción de amenzasa • Detección de fraudes • Especificos: – Red de sensores climatológicos – Redes eléctricas (3 T x día) • ...
  10. Casos de Uso

  11. Realidad? • Gigantes como Google lleva +10 años trabajando los

    datos • En 5 años el 30% de los movimientos financieros serán acaparados por gigantes como Google y Apple (log n).
  12. Realidad? • Con los datos logran “conocer a las personas

    mejor que ellas mismas” (fuente: Campaña Trump y Obama) • El sector financiero está moviendose para aprovechar al máximo la información de sus clientes.
  13. Realidad?

  14. Buzzword / Falacia • Provedores vendiendo: – “hardware Big Data”

    – “soluciones Big Data” – “…. Big Data”
  15. Panorama

  16. Panorama

  17. II Parte: DevOps

  18. Supuestos

  19. Supuestos

  20. Realidad

  21. None
  22. None
  23. Infraestructura? • Provisionamiento • Escalado • Particionamiento elástico • Reutilización

    de recursos • Tolerancia a fallos • ...
  24. DevOps

  25. Recomendación?

  26. SMACK / SDACK • Spark • Mesos • Akka •

    Cassandra • Kafka • Docker
  27. SMACK engine de procesamiento de datos de gran escala (v:

    10-100x). sistema de gestion de recursos de un cluster, permite el aislamiento y comartir recursos entre aplicaciones distribuidas. toolkit para construir aplicaciones basadas en manejo de mensajes altamente concurrentes, distribuidas y elásticas sobre JVM. • bases de datos distribuida con alta disponibilidad diseñada para gestionar grandes volumenes de información entre diferentes datacenter. sistema de mensajes de alta disponibilidad, baja latencia y diseñado para manejar la entrada en tiempo real.
  28. Mesosphere

  29. Mesosphere

  30. What is Docker? Plataforma abierta para el desarrollo, transporte y

    ejecución de aplicaciones. Docker permite que empaquete todas las dependencias en una unidad estandarizada para el desarrollo de software y puesta en producción.
  31. Docker

  32. © 2013-2016 Docker, Inc. All rights reserved Applications are changing

    Loosely Coupled Services Many Small Servers ~2000 Today Monolithic Big Servers Slow changing Rapidly updated
  33. Investigación • Apache Zeppelin • Spark Notebook • Hue •

    ...
  34. Arquitectura

  35. Arquitectura

  36. Visualización/Exploración

  37. Visualización/Exploración

  38. None