Data grids : descubre qué esconden los datos

Data grids : descubre qué esconden los datos

La cantidad de información a nuestro alcance va en aumento a un ritmo frenético. No solo queremos recuperar esos datos, sino analizarlos y extraer lo relevante lo más rápido posible.

El ecosistema java y la JVM son una buena plataforma para ello. En esta charla os mostraremos una de las tecnologías disponibles para este uso: las data grid.
Infinispan (JBoss Datagrid), no solo puede ser utilizada como caché de datos distribuida, sino también para el análisis de datos gracias a varias de sus APIs: Java 8 Streams y Spark/Hadoop.

A través de demostraciones en vivo podréis ver las capacidades de varias de estas APIs y descubrir fácilmente todo lo que esconden vuestros datos!

5438f857ad449f373323e64a763365c5?s=128

Galder Zamarreño

November 23, 2017
Tweet

Transcript

  1. DATA GRIDS : Descubre qué esconden los datos Madrid JUG

    Galder Zamarreño Arrizabalaga
 @galderz
 23 noviembre 2017
  2. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 2 Desde

    2006 INGENIERO @galderz Desarrollador y responsable de la comunidad COFUNDADOR DE INFINISPAN (2009) ME GUSTA EL QUESO PUES!
  3. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) EL PROBLEMA

    3 Datos, datos, datos, datos y mas datos... Recuperar los datos no es suficiente Analizar y extraer lo más relevante
  4. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 4 JAVA

    STREAMS PARA ANALIZAR DATOS
  5. CURSO ACELERADO DE JAVA STREAMS

  6. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 6 COMO

    USAR JAVA STREAMS PARA ANALIZAR DATOS?
  7. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 7 Click

    to add subtitle Ejecutar operaciones de Java Stream para en un entorno distribuido JAVA STREAMS DISTRIBUIDO
  8. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 8 DATA

    GRIDS PARA ANALIZAR DATOS DISTRIBUIDOS CON JAVA STREAMS
  9. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 9 INFINISPAN

    ES UNA DATA GRID!
  10. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 10 QUE

    ES UNA DATA GRID?
  11. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 11 Cada

    nodo mantiene una porción de datos Algoritmos de hash consistente para decidir quien guarda cada elemento N copias de cada elemento CÓMO SE DISTRIBUYEN LOS DATOS?
  12. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 12 DISTRIBUCIÓN

    DE FUNCIONES LAMBDA filter(λ) λ λ
  13. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 13 LOS

    DATOS http://transport.opendata.ch
  14. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 14 Platform-as-a-Service

    (PaaS) Plataforma para el desarrollo y ejecución de aplicaciones Publica o privada y multi lenguaje Es una distribución de Kubernetes con extras OPENSHIFT
  15. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 15 OPENSHIFT

    ES KUBERNETES ES
  16. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 16 EL

    PEGAMENTO
  17. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 17 CUAL

    ES LA HORA DEL DIA EN LA QUE HAY EL MAYOR % DE RETRASOS DE TRENES?
  18. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 18 ARQUITECTURA

    Data Grid Replication Delay Calculator Server Task Delay Calculator Server Task Delay Calculator Server Task Analytics Verticle Injector Verticle Analytics Jupyter Laptop HTTP
  19. DEMO JAVA STREAMS DISTRIBUIDO

  20. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 20 CUANDO

    JAVA STREAMS NO ES SUFICIENTE...
  21. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 21 Click

    to add subtitle Difícil de programar para el usuario APIs y MOTOR QUE MEJORAN LAS LIMITACIONES DE HADOOP Más fácil de usar y más eficiente Puede leer datos almacenados en Hadoop APIs y MOTOR DE ANALISIS BASADO EN MAP/REDUCE PLATAFORMAS ANALISIS DE DATOS EN JVM
  22. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 22 HADOOP/SPARK

    + INFINISPAN
  23. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 23 ARQUITECTURA

    Master Worker Worker Worker Worker
  24. DEMO SPARK CON INFINISPAN

  25. INSERT DESIGNATOR, IF NEEDED (EDIT ON MASTER SLIDE) 25 DATA

    GRIDS PARA ANALISIS DE DATOS JAVA STREAMS | SPARK/HADOOP
  26. GRACIAS! github.com/infinispan-demos/swiss-transport-datagrid github.com/infinispan/infinispan-spark/tree/master/examples/twitter infinispan.org redhat.com/en/technologies/jboss-middleware/data-grid