$30 off During Our Annual Pro Sale. View Details »

DevOpsDays Cuba 2017: Ignite - How Our DevOps Teams Transforms BigData

DevOpsDays Cuba
October 25, 2017
260

DevOpsDays Cuba 2017: Ignite - How Our DevOps Teams Transforms BigData

Author: Ernesto Pérez Pelaez & Jorge Armando Portal
Summary: A raíz del rápido crecimiento de datos que existe hoy en día en las instituciones académicas surge este proyecto, el cual, parte de la implementación de servicios de Big Data en la Universidad Central “Marta Abreu” de las Villas. El objetivo principal de este trabajo es compartir la metodología de desarrollo utilizada en el entorno de instalación, gestión y administración de la infraestructura de Big Data bajo la filosofía DevOps.
En este trabajo se presenta las siguientes herramientas:
API Blueprint, un poderoso lenguaje de descripción de API de alto nivel para APIs web. Hortonworks Data Plataform (HDP), una infraestructura de código abierto de Apache ™ Hadoop® basada en una arquitectura centralizada (YARN). HDP satisface las necesidades completas de los datos en reposo, potencia las aplicaciones de clientes en tiempo real y ofrece análisis de datos grandes y robustos que aceleran la toma de decisiones y la innovación. Apache Ambari, una plataforma de código abierto para proveer, administrar y monitorear frameworks de computación de clústeres basados en Hadoop.
Con el uso de estas herramientas se automatiza la instalación de HDP en un cluster multinodo usando Ambari Blueprints. Los resultados que se obtienes de este proyecto se enfocan en premisas tales como: la comunicación, colaboración, integración continua, garantía de calidad y entrega con despliegue automatizado. Las cuales rompen con complejas barreras que existen entre diferentes roles de un mismo equipo de trabajo.

DevOpsDays Cuba

October 25, 2017
Tweet

More Decks by DevOpsDays Cuba

Transcript

  1. How Our DevOps Teams Transforms
    BigData
    Innovation, delivery and continuous feedback of services of bigdata in
    the Central University "Marta Abreu" of the Villas
    DevOpsDays Cuba 2017

    View Slide

  2. Ing. Ernesto Perez Pelaez
    Ing. Jorge Armando Portal
    Specialist in Computer System
    [email protected]
    [email protected]
    IBM iDataPlex dx360 M2.
    30 Nodos, 8 Cores, 12GB
    RAM.
    2 x Intel Xeon L5520
    (Gainestown or Nehalem‐
    EP).
    2 Ethernet GB.

    View Slide

  3. Evolution with Devops

    View Slide

  4. HORTONWORKS DATA PLATFORM (HDP®)

    View Slide

  5. HORTONWORKS DATA PLATFORM (HDP®)

    View Slide

  6. View Slide

  7. View Slide

  8. View Slide

  9. Discovery Plugins

    View Slide

  10. Discovery Plugins

    View Slide

  11. Ansible

    View Slide

  12. Web UI Foreman

    View Slide

  13. • Two primary goals of Ambari Blueprint
    ‐ Ability to export a complete description of a running cluster
    ‐ Provide API based cluster installations based on a self‐contained cluster description.
    • Blueprint contain cluster topology and configuration information
    • Enables Interesting use cases between physicals and virtual OpenStack
    Ambari‐Blueprint
    Ambari
    Blueprint Cluster
    1 Define Amabri‐Blueprint
    2 Submit via REST
    3 Ambari Validates
    4 Ambari
    Install Cluster

    View Slide

  14. Ambari Blueprint

    View Slide

  15. Motores de procesamiento en la UCLV

    View Slide

  16. Ambari Web UI

    View Slide

  17. View Slide

  18. View Slide

  19. osTicket

    View Slide

  20. Future Devops Job

    View Slide