DevOpsDays Cuba 2017: Ignite - How Our DevOps Teams Transforms BigData

Author: Ernesto Pérez Pelaez & Jorge Armando Portal
Summary: A raíz del rápido crecimiento de datos que existe hoy en día en las instituciones académicas surge este proyecto, el cual, parte de la implementación de servicios de Big Data en la Universidad Central “Marta Abreu” de las Villas. El objetivo principal de este trabajo es compartir la metodología de desarrollo utilizada en el entorno de instalación, gestión y administración de la infraestructura de Big Data bajo la filosofía DevOps.
En este trabajo se presenta las siguientes herramientas:
API Blueprint, un poderoso lenguaje de descripción de API de alto nivel para APIs web. Hortonworks Data Plataform (HDP), una infraestructura de código abierto de Apache ™ Hadoop® basada en una arquitectura centralizada (YARN). HDP satisface las necesidades completas de los datos en reposo, potencia las aplicaciones de clientes en tiempo real y ofrece análisis de datos grandes y robustos que aceleran la toma de decisiones y la innovación. Apache Ambari, una plataforma de código abierto para proveer, administrar y monitorear frameworks de computación de clústeres basados en Hadoop.
Con el uso de estas herramientas se automatiza la instalación de HDP en un cluster multinodo usando Ambari Blueprints. Los resultados que se obtienes de este proyecto se enfocan en premisas tales como: la comunicación, colaboración, integración continua, garantía de calidad y entrega con despliegue automatizado. Las cuales rompen con complejas barreras que existen entre diferentes roles de un mismo equipo de trabajo.

Transcript

1. How Our DevOps Teams Transforms BigData Innovation, delivery and continuous feedback of services of bigdata in the Central University "Marta Abreu" of the Villas DevOpsDays Cuba 2017
2. Ing. Ernesto Perez Pelaez Ing. Jorge Armando Portal Specialist in Computer System eppelaez@uclv.edu.cu jportal@uclv.cu IBM iDataPlex dx360 M2. 30 Nodos, 8 Cores, 12GB RAM. 2 x Intel Xeon L5520 (Gainestown or Nehalem‐ EP). 2 Ethernet GB.
3. Evolution with Devops
4. HORTONWORKS DATA PLATFORM (HDP®)
5. HORTONWORKS DATA PLATFORM (HDP®)
9. Discovery Plugins
10. Discovery Plugins
11. Ansible
12. Web UI Foreman
13. • Two primary goals of Ambari Blueprint ‐ Ability to export a complete description of a running cluster ‐ Provide API based cluster installations based on a self‐contained cluster description. • Blueprint contain cluster topology and configuration information • Enables Interesting use cases between physicals and virtual OpenStack Ambari‐Blueprint Ambari Blueprint Cluster 1 Define Amabri‐Blueprint 2 Submit via REST 3 Ambari Validates 4 Ambari Install Cluster
14. Ambari Blueprint
15. Motores de procesamiento en la UCLV
16. Ambari Web UI
19. osTicket
20. Future Devops Job