Apache Nifi - 1. Introduccion

En esta oportunidad explico de que se trata esta potente herramienta que apoya la ingesta, transformación y carga de importantes volumenes de datos entre sistemas, además de exponer algunas razones para utilizarla.

Transcript

1. FÁCIL DE USAR, POTENTE Y CONFIABLE PARA PROCESAR Y DISTRIBUIR DATOS
2. Contenido  Contexto  Demo rápido  ¿De donde viene Nifi?  Características  Arquitectura 2
3. Contexto Dirigido a profesionales de software:  Interesados en procesamiento, transformación de datos y distribución de datos (ETL / IoT / Big Data)  Involucrados en construcción o modernización de aplicaciones que requieran la ingesta o publicación de datos a través de APIs  En búsqueda de plataformas de bajo costo, de amplia cobertura a problemas comunes de integración entre aplicaciones. Desarrollo de microservicios. 3
4. Demo rápido
5. Contenido  Contexto  Demo rápido  ¿De donde viene Nifi?  Características  Arquitectura 5
6. Desafíos: Procesamiento datos  Integración efectiva entre aplicaciones  Tolerancia a fallos <- VS -> Entrega garantizada  Priorización  Baja latencia <- VS -> Alto rendimiento  Trazabilidad  Seguridad  Escalabilidad y procesamiento distribuido 6
8. Lotes VS Flujos Lotes:  Bloques de datos que se procesan como uno solo.  Funciona bien cuando no se necesita información en tiempo real.  Favorece la generación de información detallada.  Ej: Todas las transacciones recibidas de una semana 8
9. Lotes VS Flujos Flujos:  Se procesan los datos a medida que llegan  Procesamiento en tiempo real. Análisis instantaneos.  Favorece la generación de información análitica.  Ej: Útil para detectar un fraude en tiempo real, antes de que se complete 9
10. Herramientas similares a NIFI 10
11. Contenido  Contexto  Demo rápido  ¿De donde viene Nifi?  Arquitectura 11
12. Origen de Apache Nifi  Basado en la tecnología “NiagaraFiles” desarrollado por la NSA.  Fue entregado en Nov 2014 a la fundación Apache (ASF)  Distribuido bajo Apache License Version 2.0  En ASF, formalmente es un proyecto que superó su fase de incubación y es mantenido por la comunidad.  Basado en los concepto de la programación orientada a flujos 12
13. Conceptos claves  FlowFile: Archivo de flujo  Processor: Procesador  Connection: Conexión  Flow Controller: Controlador del flujo  Process group: Grupo de procesos 13
14. Contenido  Contexto  Demo  ¿De donde viene Nifi?  Arquitectura 14
15. Arquitectura 15
16. ¿Porque usar Nifi?  Open Source, licencia Apache  Soporte de ASF  Multiplataforma: usa Java  Facilidad de personalización / extensión  Seguro (SSL, contenido encriptado)  Su REST-API facilita la administración y control 16
17. Seguimos con…  Variedad de ejemplos (CSV, XML, JSON, FTP, BD)  Buenas prácticas / Antipatrones  Construir componentes propios  Seguridad / Políticas de acceso  Configuración Clúster / Pruebas de carga  Vistazo a su REST-API  ¿Qué le gustaría ver? 17
18. Contacto  @apuntandoanulo  www.apuntandoanulo.com 18