Real-time Learning with Spark

En los últimos años se está produciendo un uso intensivo de las técnicas de aprendizaje automático con el fin de construir sistemas más interactivos que mejoren la experiencia del usuarios. Los algoritmos de aprendizaje automático (ML) nos permiten identificar características o información sobre nuestros usuarios o sobre el comportamiento de nuestros sistemas que sería imposible de forma manual. Aunque el uso de estos algoritmos presenta dos importantes problemas: (1) el coste computacional de construcción del modelo; y (2) la accesibilidad a los datos en tiempo real.

En esta charla presentaremos de forma sencilla como procesar datos en tiempo real (streaming) mediante la utilización de algoritmos de Machine Learning mediante Spark y MLlib. De esta forma podemos hacer evolucionar nuestro modelo en tiempo real de acuerdo con los datos que vamos recibiendo y tomar decisiones en tiempo real.

Transcript

1. Real-time Learning with Spark MADRID · NOV 18-19 · 2016 Moisés Martínez
2. Acerca de mi PhD en Ciencias de la Computación Planificación de Tareas Aprendizaje Automático No supervisado Aprendizaje Automático por Refuerzo Organizador T3chFest https://t3chfest.uc3m.es Lead Data Scientist en beBee - Affinity Networking https://es.linkedin.com/in/momartinm @moisipm
3. ¿Qué es Real-time learning?
4. ¿Qué es Real-time learning? Construir modelos mediante datos obtenidos en tiempo real
5. ¿Por qué Real-time learning?
6. ¿Por qué Real-time learning? Ingente cantidad de datos 400 millones 300 millones tweets 4.5 billones likes 20 billones
7. ¿Por qué Real-time learning? Ingente cantidad de datos Razonar en tiempo real es útil y necesario
8. ¿Para qué nos sirve el real-time Learning ? ◉ Streaming ETL (Extract, Transform and Load) ◉ Detección de anomalías en datos de servidores ◉ Enriquecimiento de datos (redes sociales) ◉ Detección de anomalías en sensores ◉ Detección de fraude en transacciones bancarias ◉ …...
9. ¿Qué necesitamos ? Recolección y almacenamient o de datos Aprendizaje Automático +
10. Aprendizaje Automático 1
11. ¿Qué es el aprendizaje Automático?
12. ¿Qué es el aprendizaje Automático? Proceso de construir sistemas capaces de generalizar comportamientos y/o características a partir de una información no estructurada suministrada en forma de ejemplos.
13. ¿Qué es el aprendizaje Automático? Proceso de construir sistemas capaces de generalizar comportamientos y/o características a partir de una información no estructurada suministrada en forma de ejemplos. Datos no estructurados Algoritmos Modelo
14. Tipos de aprendizaje Supervisado Ejemplo etiquetados regresión (número) clasificación (clase) Características resultado
15. Tipos de aprendizaje Supervisado Ejemplo etiquetados regresión (número) clasificación (clase) No supervisado Ejemplos no etiquetados agrupación y clustering inferencia bayesiana Características resultado
16. Tipos de aprendizaje Por Refuerzo MDPs y POMDPs Acciones y Estados Transiciones y refuerzo Supervisado Ejemplo etiquetados regresión (número) clasificación (clase) No supervisado Ejemplos no etiquetados agrupación y clustering inferencia bayesiana Características resultado
17. Detectando sillas Extractor de características patas 4 tipo largas color marrón material cuero clase silla Silla
18. Detectando sillas patas 4 4 4 4 4 4 tipo largas largas largas largas cortas cortas color marrón gris marrón veis rojo azul material cuero ante cuero plástico algodón algodón clase silla silla silla silla sillón sillón ...
19. Detectando sillas patas 4 4 4 4 4 4 tipo largas largas largas largas cortas cortas color marrón gris marrón veis rojo azul material cuero ante cuero plástico algodón algodón clase silla silla silla silla sillón sillón ...
20. Detectando sillas Extractor de características patas 4 tipo largas color blanco material cuero Modelo
21. Detectando sillas Extractor de características patas 4 tipo largas color blanco material cuero Modelo Silla
22. Importancia de los datos ◉ Calidad ◉ Diversidad ◉ Definición de las características
23. Spark 2
24. ¿Qué es Apache Spark?
25. ¿Qué es Apache Spark?
26. ¿Qué es Apache Spark? Streaming Algoritmos ML Graph Core NLP …..
27. Configuración básica de un cluster SPARK + HDFS Data Node Name Node Executor Spark Context Worker Executor Data Node Data Node Data Node Executor Worker Executor Executor Worker Executor Executor Worker Executor Driver
28. Configuración básica de un cluster SPARK + HDFS Data Node Name Node Executor Spark Context Worker Executor Data Node Data Node Data Node Executor Worker Executor Executor Worker Executor Executor Worker Executor Driver DataNode: Nodos de almacenamiento masivo
29. Configuración básica de un cluster SPARK + HDFS Data Node Name Node Executor Spark Context Worker Executor Data Node Data Node Data Node Executor Worker Executor Executor Worker Executor Executor Worker Executor Driver NameNode: Coordinación de namenode y almacenamientos de metadados
30. Configuración básica de un cluster SPARK + HDFS Data Node Name Node Executor Spark Context Worker Executor Data Node Data Node Data Node Executor Worker Executor Executor Worker Executor Executor Worker Executor Driver Workers: Nodos de ejecución (esclavos)
31. Configuración básica de un cluster SPARK + HDFS Data Node Name Node Executor Spark Context Worker Executor Data Node Data Node Data Node Executor Worker Executor Executor Worker Executor Executor Worker Executor Driver Executors: Procesos que ejecutan las diferentes tareas
32. RDD (Resilient Distributed Dataset) ◉ Resilient: Tolerancía a fallos mediante RDD lineage graph ◉ Distributed: Datos están distribuidos en diferentes nodos ◉ Dataset: Colección de datos
33. Spark Streaming 3
34. ¿Qué es Spark Streaming? z Datos Streaming Datos Estáticos Entrenamiento de modelos Consultas interactivas Almacenamiento
35. ¿Cómo funciona Spark Streaming ?
36. ¿Cómo funciona Spark Streaming ? RDD RDD RDD RDD RDD RDD Discretized Stream (DStream) Secuencia de RDDs t1 t2 t3 t4 t5 t6
37. Almacenando datos de Kafka en HDFS val conf = new SparkConf().setAppName(appName).setMaster(master) val ssc = new StreamingContext( conf, Durations.seconds(5) ) Tiempo de lectura 5 segundos
38. Almacenando datos de Kafka en HDFS val conf = new SparkConf().setAppName(appName).setMaster(master) val ssc = new StreamingContext( conf, Durations.seconds(5) ) val kafkaParams = Map("metadata.broker.list" -> "svkafka1:9092,svkafka2:9092,svkafka3:9092")
39. Almacenando datos de Kafka en HDFS val conf = new SparkConf().setAppName(appName).setMaster(master) val ssc = new StreamingContext( conf, Durations.seconds(5) ) val kafkaParams = Map("metadata.broker.list" -> "svkafka1:9092,svkafka2:9092,svkafka3:9092") val topics = Set("sensors", "camera")
40. Almacenando datos de Kafka en HDFS val conf = new SparkConf().setAppName(appName).setMaster(master) val ssc = new StreamingContext( conf, Durations.seconds(5) ) val kafkaParams = Map("metadata.broker.list" -> "svkafka1:9092,svkafka2:9092,svkafka3:9092") val topics = Set("sensors", "camera") val data = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics)
41. Almacenando datos de Kafka en HDFS val conf = new SparkConf().setAppName(appName).setMaster(master) val ssc = new StreamingContext( conf, Durations.seconds(5) ) val kafkaParams = Map("metadata.broker.list" -> "svkafka1:9092,svkafka2:9092,svkafka3:9092") val topics = Set("sensors", "camera") val data = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics) data.saveAsHadoopFiles("hdfs://...")
42. Generando un modelo con datos de Kafka val kafkaParams = Map("metadata.broker.list" -> "svkafka1:9092,svkafka2:9092,svkafka3:9092") val topics = Set("sensors", "camera") val trainingData = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics)
43. Generando un modelo con datos de Kafka val trainingData = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics) val model = new StreamingKMeans() .setK(10) .setDecayFactor(1.0) .setRandomCenters(12, 0.0)
44. Generando un modelo con datos de Kafka val trainingData = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics) val model = new StreamingKMeans() .setK(10) .setDecayFactor( 1.0) .setRandomCenters(12, 0.0)
45. Generando un modelo con datos de Kafka val trainingData = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics) val model = new StreamingKMeans() .setK(10) .setDecayFactor(1.0) .setRandomCenters( 12, 0.0)
46. Generando un modelo con datos de Kafka val trainingData = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics) val model = new StreamingKMeans() .setK(10) .setDecayFactor(1.0) .setRandomCenters(12, 0.0) model.trainOn(trainingData)
47. Hay un problema
48. Hay un problema Los centroides no se pueden cambiar Hay que volver a aprender
49. ¿De verdad funciona?
50. Conclusiones
51. GRACIAS! Preguntas? Puedes encontrarme en @moisipm / momartinm@gmail.com
52. Necesitamos tu propuesta Leganés 9 y 10 de febrero Entrada gratuita