Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DevOpsDays Cuba 2017: Ignite - How Our DevOps Teams Transforms BigData

DevOpsDays Cuba
October 25, 2017
320

DevOpsDays Cuba 2017: Ignite - How Our DevOps Teams Transforms BigData

Author: Ernesto Pérez Pelaez & Jorge Armando Portal
Summary: A raíz del rápido crecimiento de datos que existe hoy en día en las instituciones académicas surge este proyecto, el cual, parte de la implementación de servicios de Big Data en la Universidad Central “Marta Abreu” de las Villas. El objetivo principal de este trabajo es compartir la metodología de desarrollo utilizada en el entorno de instalación, gestión y administración de la infraestructura de Big Data bajo la filosofía DevOps.
En este trabajo se presenta las siguientes herramientas:
API Blueprint, un poderoso lenguaje de descripción de API de alto nivel para APIs web. Hortonworks Data Plataform (HDP), una infraestructura de código abierto de Apache ™ Hadoop® basada en una arquitectura centralizada (YARN). HDP satisface las necesidades completas de los datos en reposo, potencia las aplicaciones de clientes en tiempo real y ofrece análisis de datos grandes y robustos que aceleran la toma de decisiones y la innovación. Apache Ambari, una plataforma de código abierto para proveer, administrar y monitorear frameworks de computación de clústeres basados en Hadoop.
Con el uso de estas herramientas se automatiza la instalación de HDP en un cluster multinodo usando Ambari Blueprints. Los resultados que se obtienes de este proyecto se enfocan en premisas tales como: la comunicación, colaboración, integración continua, garantía de calidad y entrega con despliegue automatizado. Las cuales rompen con complejas barreras que existen entre diferentes roles de un mismo equipo de trabajo.

DevOpsDays Cuba

October 25, 2017
Tweet

More Decks by DevOpsDays Cuba

Transcript

  1. How Our DevOps Teams Transforms BigData Innovation, delivery and continuous

    feedback of services of bigdata in the Central University "Marta Abreu" of the Villas DevOpsDays Cuba 2017
  2. Ing. Ernesto Perez Pelaez Ing. Jorge Armando Portal Specialist in

    Computer System [email protected] [email protected] IBM iDataPlex dx360 M2. 30 Nodos, 8 Cores, 12GB RAM. 2 x Intel Xeon L5520 (Gainestown or Nehalem‐ EP). 2 Ethernet GB.
  3. • Two primary goals of Ambari Blueprint ‐ Ability to

    export a complete description of a running cluster ‐ Provide API based cluster installations based on a self‐contained cluster description. • Blueprint contain cluster topology and configuration information • Enables Interesting use cases between physicals and virtual OpenStack Ambari‐Blueprint Ambari Blueprint Cluster 1 Define Amabri‐Blueprint 2 Submit via REST 3 Ambari Validates 4 Ambari Install Cluster