Data grids : descubre qué esconden los datos

La cantidad de información a nuestro alcance va en aumento a un ritmo frenético. No solo queremos recuperar esos datos, sino analizarlos y extraer lo relevante lo más rápido posible.

El ecosistema java y la JVM son una buena plataforma para ello. En esta charla os mostraremos una de las tecnologías disponibles para este uso: las data grid.
Infinispan (JBoss Datagrid), no solo puede ser utilizada como caché de datos distribuida, sino también para el análisis de datos gracias a varias de sus APIs: Java 8 Streams y Spark/Hadoop.

A través de demostraciones en vivo podréis ver las capacidades de varias de estas APIs y descubrir fácilmente todo lo que esconden vuestros datos!

Transcript

1. DATA GRIDS : Descubre qué esconden los datos Madrid JUG Galder Zamarreño Arrizabalaga
 @galderz
 23 noviembre 2017
2. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 2 Desde 2006 INGENIERO @galderz Desarrollador y responsable de la comunidad COFUNDADOR DE INFINISPAN (2009) ME GUSTA EL QUESO PUES!
3. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) EL PROBLEMA 3 Datos, datos, datos, datos y mas datos... Recuperar los datos no es suficiente Analizar y extraer lo más relevante
4. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 4 JAVA STREAMS PARA ANALIZAR DATOS
5. CURSO ACELERADO DE JAVA STREAMS
6. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 6 COMO USAR JAVA STREAMS PARA ANALIZAR DATOS?
7. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 7 Click to add subtitle Ejecutar operaciones de Java Stream para en un entorno distribuido JAVA STREAMS DISTRIBUIDO
8. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 8 DATA GRIDS PARA ANALIZAR DATOS DISTRIBUIDOS CON JAVA STREAMS
9. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 9 INFINISPAN ES UNA DATA GRID!
10. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 10 QUE ES UNA DATA GRID?
11. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 11 Cada nodo mantiene una porción de datos Algoritmos de hash consistente para decidir quien guarda cada elemento N copias de cada elemento CÓMO SE DISTRIBUYEN LOS DATOS?
12. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 12 DISTRIBUCIÓN DE FUNCIONES LAMBDA filter(λ) λ λ
13. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 13 LOS DATOS http://transport.opendata.ch
14. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 14 Platform-as-a-Service (PaaS) Plataforma para el desarrollo y ejecución de aplicaciones Publica o privada y multi lenguaje Es una distribución de Kubernetes con extras OPENSHIFT
15. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 15 OPENSHIFT ES KUBERNETES ES
16. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 16 EL PEGAMENTO
17. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 17 CUAL ES LA HORA DEL DIA EN LA QUE HAY EL MAYOR % DE RETRASOS DE TRENES?
18. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 18 ARQUITECTURA Data Grid Replication Delay Calculator Server Task Delay Calculator Server Task Delay Calculator Server Task Analytics Verticle Injector Verticle Analytics Jupyter Laptop HTTP
19. DEMO JAVA STREAMS DISTRIBUIDO
20. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 20 CUANDO JAVA STREAMS NO ES SUFICIENTE...
21. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 21 Click to add subtitle Difícil de programar para el usuario APIs y MOTOR QUE MEJORAN LAS LIMITACIONES DE HADOOP Más fácil de usar y más eficiente Puede leer datos almacenados en Hadoop APIs y MOTOR DE ANALISIS BASADO EN MAP/REDUCE PLATAFORMAS ANALISIS DE DATOS EN JVM
22. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 22 HADOOP/SPARK + INFINISPAN
23. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 23 ARQUITECTURA Master Worker Worker Worker Worker
24. DEMO SPARK CON INFINISPAN
25. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 25 DATA GRIDS PARA ANALISIS DE DATOS JAVA STREAMS | SPARK/HADOOP
26. GRACIAS! github.com/infinispan-demos/swiss-transport-datagrid github.com/infinispan/infinispan-spark/tree/master/examples/twitter infinispan.org redhat.com/en/technologies/jboss-middleware/data-grid