Apache Beam, Batch, Streaming, Modelos, y otra fauna

Transcript

1. Apache Beam, Batch, Streaming, Modelos, y otra fauna Jose Luis Sanchez
2. Indice 1-Streaming101 2-Dataflowmodel 3-Apache Beam 4-Caso practico 5-Conclusiones
3. Streaming101
4. Un tipode procesamientode datos concebidopara secuenciasinfinitasde datos Unbounded data Que es Streaming Tuesday 9:00 8:00 14:00 13:00 12:00 11:00 10:00 2:00 1:00 7:00 6:00 5:00 4:00 3:00
5. 1. Necesidadde inmediatez 2. Proliferacionde Unbounded Data 3. Datoscorrectos 4. Baja Latencia Por que Streaming
6. 1. Completitud 2. Latencia 3. Coste Objetivos 9:00 8:00 14:00 13:00 12:00 11:00 10:00 2:00 1:00 7:00 6:00 5:00 4:00 3:00 O(nlogn)
7. 1. Tiempode evento 2. Tiempode procesamiento 3. Watermark 4. Trigger 5. Acumulados La dura realidad
8. Que se esta calculando? Transformaciones Donde se calculan los eventos? Windowing Cuandose generan los resultados? Watermarksy triggers Comose recalculan los resultados? Acumulados What, Where, When& How
9. UnboundedProcessing: Batch Fixedwindow Sessions
10. UnboundedProcessing: Streaming 1. Independienteal tiempo 2. Windowing • Tiempode procesamiento • Tiempode evento
11. Arquitectura Lambda
12. Arquitectura Kappa
13. Modelo Dataflow
14. Modelo Dataflow Wednesday Thursday
15. Modelo Dataflow
16. Modelo Dataflow Tuesday Wednesday Thursday
17. Modelo Dataflow Tuesday Wednesday Thursday 9:00 8:00 14:00 13:00 12:00 11:00 10:00 2:00 1:00 7:00 6:00 5:00 4:00 3:00 8:00 8:00 8:00
18. Objetivos Modelo Dataflow 1. Desarrollar codigoeficiente y simple 2. Procesamiento en Batchy Streaming 3. Uso de timestampspersonalizados 4. Manejo de datos desordenados
19. Que se esta procesando? Donde se calculan los eventos? Cuandose procesan los eventos? Comose recalculan los resultados? Fundamentos modelo Dataflow
20. Que se esta procesando? Basado en elementos Agregaciones Compuestos
21. Que:Procesando sumas de enteros // Collection of raw log lines PCollection<String> raw = IO.read(...); // Element-wise transformation into team/score pairs PCollection<KV<String, Integer>> input = raw.apply(ParDo.of(new ParseFn()); // Composite transformation containing an aggregation PCollection<KV<String, Integer>> scores = input.apply(Sum.integersPerKey());
22. Que:Procesando sumas de enteros
23. Que:Procesando sumas de enteros
24. Windowing: Los datos se dividen en eventos basados en el tiempo. Ventana Fija Ventana deslizante 1 2 3 5 4 Sesiones 2 4 3 1 Key 2 Key 1 Key 3 Time 2 3 4 Dondese calculan los eventos?
25. Donde: Ventana fija de 2 minutos PCollection<KV<String, Integer>> scores = input .apply(Window .into(FixedWindows.of(Duration.standardMinutes(2))) .apply(Sum.integersPerKey());
26. Donde: Ventana fija de 2 minutos
27. PCollection<KV<String, Integer>> scores = input .apply(Window .into(FixedWindows.of(Duration.standardMinutes(2)) .triggering(AtWatermark())) .apply(Sum.integersPerKey()); Cuando: Triggers
28. Cuando: Disparando
29. PCollection<KV<String, Integer>> scores = input .apply(Window .into(FixedWindows.of(Duration.standardMinutes(2)) .triggering(AtWatermark() .withEarlyFirings(AtPeriod(Duration.standardMinutes(1))) .withLateFirings(AtCount(1)))) .apply(Sum.integersPerKey()); Cuando: Earlyand Late
30. Cuando: Earlyand Late
31. Comose recalculan los resultados? • Como se acumulan los multiplesresultados por cada ventana? • La eleccionadecuada depende del caso de uso Firing Elements Speculative 3 Watermark 5, 1 Late 2 Total Observ 11 Discarding 3 6 2 11 Accumulating 3 9 11 23 Acc. & Retracting* 3 9, -3 11, -9 11
32. PCollection<KV<String, Integer>> scores = input .apply(Window .into(Sessions.withGapDuration(Duration.standardMinutes(1))) .triggering(AtWatermark() .withEarlyFirings(AtPeriod(Duration.standardMinutes(1))) .withLateFirings(AtCount(1))) .accumulatingAndRetractingFiredPanes()) .apply(Sum.integersPerKey()); Como: Actualizar y eliminar
33. Como: Actualizar y eliminar
34. 1.Classic Batch 2. BatchwithFixed Windows 3. Streaming 5. StreamingWithRetractions 4. StreamingwithSpeculative and Late Data Customizandoel Que CuandoDonde Como
35. Apache Beam
36. Que es Apache Beam? 1. Beam: Brtch& strEAM 2. Proyecto en Apache Incubatorcedido por Google, A.K.A DataFlow 3. Es un lenguaje para la creacion de ET Ls, procesos de ingesta y de integracion 4. Abstrae el codigo del entorno de ejecucion 5. Pasar de ejecucionBatcha Streaminges muy senicllo
37. Conceptos BEAM 1. Perfiles • Usuarios Finales • Programadores SDK • Programador de RUNNERS 2. Conceptos : • PCollection: Bounded/Unbounded • PTransform: Transformaciones en si mismas • Pipeline: Flujo de datos, grafo aciclico • PipelineRunner: Donde y cuando se ejecuta el proceso
38. Google Dataflow 1. Servicio Gestionado 2. Elastico 3. Facturado por minuto 4. Alto grado de compatibilidad -BEAM es DataFlow. 5. Integracioncon Big Query, PubSub, Cloud Storage...
39. Spark 1. El SparkRunnerpara BEAM ha sido donado por Clouderaa Apache. 2. No esta completamente integrado con BEAM 3. Mas rapido que Dataflowen Jobs sencillos 4. JoinSensible
40. Flink 1. FlinkRunnercreado por los padres del propio Apache Flink, Data Artisans 2. Jobs en Streamingmuy rapidos 3. Mejor integrado con BEAM que Spark para operaciones de Windowing y Triggering 4. JoinSensible
41. DirectPipeline Runner 1. Ejecucionen Local 2. Practicamentesin paralelizar 3. Gratis 4. Funcionalidad similar a Dataflow
42. Scene Proyectos apache con Scope muy parecidos Falta de estandaresen la scene Distribuciones que se van pisando los talones Soporte?? Son los padres Aumento en la madurez Unificacionde entornos Servicios gestionados As Is To Be Estandaresde desarrollo
43. 1. API enScala para Spark y Beam 2. Compatible con productosGoogle Cloud Newcomers
44. Los runners
45. Caso practico
46. Caso de estudio: SparkVS Dataflow
47. El codigo
48. Las invocaciones
49. SparkDAG
50. DataflowPipeline
51. Resultados SPARK DATAFLOW ROWS 60.000.000 60.000.000 GB 200GB 200GB CPU CORES 48 48 RAM 312 GB 180GB TIEMPO PROCESAMIENTO 8:20 7:50 USER EXPERIENCE 9:00 10:00
52. Conclusiones
53. Lo bueno 1. Procesamiento en Batcho en Stramingsin practicamente cambiar codigo 2. Diferentes entornos de ejcuciontanto gestionados como propios 3. Proyecto que esta creando mucho Hypeen la comunidad 4. Equipo de contributorsconsolidado
54. Lo malo 1. Proyecto en IncubatingStatus 2. Poco Soporte 3. Runnersno integrados completamente 4. El Streamingesta en la cresta del ciclo del hype 5. Pocos casos de exito vendibles
55. Challengeaccepted??