Introducción a Apache Hadoop

Apache Hadoop es una librería open Source para procesamiento distribuido donde caracterizada principalmente por su fiabilidad y escalabilidad. La clave de Hadoop es la posibilidad de manejar grandes cantidades de datos bajo un modelo de programación simple.

Transcript

1. Introducción a APACHE™ HADOOP™
2. HADOOP • Un framework para computación y persistencia distribuida • Permite montar fácilmente y de manera fiable clusters con multitud de nodos • Implementa Map/Reduce y un sistema de archivos distribuido (HDFS) ¿Qué es?
3. HISTORY • Comenzó como funcionalidad de Nutch • Basado en Google GFS y MapReduce • Iniciado por Doug Cutting • Ahora es un Apache Project
4. HISTORY Subproyectos dentro de Hadoop: Hbase Hive PIG ...
5. HISTORY • Mayor capacidad de computación/almacenamiento • Reduce el riesgo de fallo (Redundancia de datos) • Tiempos de lectura y seektimes se “solapan” • €(1000 PC quad)<€(1 server 4000 cores) ¿Por qué distribuir?
6. Elementos del “Core” HDFS MapRed
7. Elementos del “Core” • Hadoop Distributed File System • Transparencia: Nos abstrae de la distribución de datos • Para el usuario es como tener un filesystem local • Alta tolerancia a fallos • Diseñado para usarse con commodity hardware • Escalable • Portable ¿Qué es HDFS?
8. Elementos del “Core” ¿Qué es MapReduce? MapReduce es un modelo de programación aplicable a problemas en los que la solución de una subparte no sea dependiente de las soluciones de las demás subpartes Es una especie de divide y vencerás sin pasos intermedios, se divide el problema inicialmente en subproblemas independientes (pero de igual resolución) y se soluciona cada uno independientemente. Funciona en dos fases, la primera genera una lista de “soluciones” intermedias y la segunda se alimenta de estas “soluciones” que se dividen de nuevo en subproblemas independientes y se computan, componiendo la solucion al final
9. Elementos del “Core” ¿Qué es MapReduce? “Hadoop MapReduce is a programming model and software framework for writing applications that rapidly process vast amounts of data in parallel on large clusters of compute nodes” Basado en MapReduce de Google (“MapReduce: Simplified Data Processing on Large Clusters”, Jeffrey Dean and Sanjay Ghemawat, 2004)
10. HDFS Arquitectura Modelo Maestro/Esclavo Namenode/Datanode • Namenode controla: – Persistencia – Replicación, recuperación de fallos – Estructura del dfs – Acceso a recursos del dfs
11. HDFS Arquitectura Datanode controla: – Creación y borrado de los bloques de datos – Emisión de heartbeat – Envio de Blockreport – Pipeline de replicación
12. HDFS Arquitectura Nodos especiales Secondary Namenode Era ~ checkpointnode, se pretende Standby-namenode Sustituido por: Backupnode Mantiene una copia en memoria del FS aparte del checkpoint Si hay backupnode no puede haber checkpoint registrado Checkpointnode
13. HDFS Arquitectura
14. HDFS Arquitectura • Los protocolos usados en HDFS se implementan sobre TCP/IP • La comunicación entre procesos se realiza como Remote Procedure Call (RPC) • Los metadatos se mantienen en memoria (Rapidez de acceso) • Organización jerárquica
15. HDFS Arquitectura
16. HDFS • Hdfs tiene su propia shell (http://hadoop.apache.org/common/docs/r0.17.2/hdfs_shell.html) • get: Copia a local el fichero del hdfs hadoop fs -get src dest • put: Copia desde local multiples ficheros al hdfs. hadoop fs -put src ..... dest • setrep: Cambia el factor de replicación de uin fichero hadoop fs -setrep -w 3 -R dest • Comandos típicos: mkdir, ls, lsr (ls recursivo), cat, touch, tail, chmod, cp, du, rm ... Linea de comandos
17. HDFS Linea de comandos • Comandos de adminstración: • dfsadmin [report | safemode] hadoop dfsadmin -report • namenode -format: Formatea hdfs, debe estar apagado el cluster. hadoop namenode -format • fsck $path: Utilidad de chequeo de los directorios hdfs hadoop fsck /
18. HDFS REPLICACIÓN DE DATOS • Pipeline de replicación – Namenode envia el bloque en paquetes de 4K al 1er Datanode – El Datanode envia el paquete al siguiente Datanode,.. • En lectura se intenta seleccionar la replica más cercano al cliente • Safemode – En el arranque el namenode entra en safemode (read-
19. HDFS ROBUSTEZ Caída de un datanode – Fallo de heartbeat – Se registra el nodo como no disponible – No se intentan más conexiones I/O – Se revisa blockreport y se identifican las réplicas de los bloque perdidos – Se ordena la replicación a los datanodes
20. HDFS ROBUSTEZ
21. HDFS ROBUSTEZ Rebalanceo de cluster • El cluster está correctamente balanceado si no existen nodos sobre o infra utilizados. El nivel de uso se define con % de espacio usado • Infrautilizado es un uso inferior a (uso_medio – umbral)
22. HDFS INTEGRIDAD DE DATOS • Por defecto se replican 3 veces cada bloque mateniendo compromiso dispersion- tiempos_de_acceso • Cuando un bloque se escribe o lee se chequea su checksum
23. HDFS INTEGRIDAD DE DATOS “HDFS lost 650 blocks out of 329 million blocks on 10 clusters with 20,000 nodes running Apache Hadoop 0.20.3. – 533 blocks were temporary blocks abandoned by a failed client (0.21 fixed) – 98 blocks were blocks explicitly created with a single replica – 19 blocks were lost due to roughly 7 bugs that were promptly fixed in dot releases of 0.20
24. HDFS Fallos en los metadatos Checkpointnodes BackupNodes
25. HDFS ¿Y si todo falla? • Estrategias de replicación total o parcial del cluster • Configuraciones ad-hoc para sustituir NameNode (Zookeeper) • DistCp: Comando hadoop para copia de big data usando map/reduce • Se trabaja en un NameNode suplente
26. MapReduce Arquitectura Arquitectura Maestro/Esclavo JobTracker/TaskTracker: • Un único master: JobTracker • Responsable de la gestion de las tareas asignadas a los esclavos • Las monitoriza y se encarga de re-ejecutarlas si han fallado • N esclavos: TaskTracker • Ejecutan las tareas asignadas por el JobTracker
27. MapReduce Como funciona
28. MapReduce ¿Como funciona?
29. MapReduce Aspectos Avanzados • Reporting Clases con espacio de memoria compartido Thread-safe, se escribe solo en el master • Distributed Cache Almacena archivos necesarios para la ejecución Los hace accesibles a todos los mappers/reducers • Debug Scripts Se ejecutan en caso de fallo Pueden usarse 2 diferentes para map o reduce
30. MapReduce Tolerancia a Fallos • Las task tanto map como reduce se recuperan si no han terminado con exito • Si se cae un reducer se repite la ultima task si es un mapper se repite todas las tareas • Ejecución especulativa
31. MapReduce Multilenguaje Inicialmente pensado para Java Hadoop Streaming para el resto de lenguajes API C++: Hadoop Pipes
32. MapReduce ¿Cómo usarlo? MAP: • Transforma los datos de entrada en datos intermedios • Los datos de entrada no necesitan ser los mismos que los datos de salida • Los datos de entrada pueden generar 0 o más pares (K2,list<V2>) de salida • Debe extender de MapReduceBase • Debe implementar Mapper<K1,V1,K2,V2> donde: • K1,V1: Par de los datos de entrada: • K1: Clave de los datos de entrada. • V1: Valor de los datos de entrada. • K2,V2: Par de datos de salida que se mandan al reducer: • K2: Clave de los datos de salida. En la etapa de shuffle and sort se ordena por este valor. • V2: Valores de los datos de salida.
33. MapReduce • Función map: void map(K1 key,V1 value, OutputCollector<K2,V2>, Reporter reporter): • K1 key: Clave de los datos de entrada • V1 value: Valor de los datos de entrada • OutputCollector<K2,V2>: Recolector de los datos generados en el map. K2 y V2 serán los datos de que reciba el reducer. • Reporter reporter: Provee de la opción de generar información extra del proceso, como puede ser el progreso de la tarea. • Mappers implementados: • IdentityMapper<K,V>: Implementa Mapper<K,V,K,V> y mapea directamente la entrada a la salida • InverseMapper<K,V>: Implementa Mapper<K,V,V,K> y mapea inversamente la entrada a la salida • RegexMapper<K>: Implementa Mapper<K,Text,Text,LongWritable> y genera pares de (match, 1) para cada resultado que la expresión regular tenga un match. • TokenCountMapper<K>: Implementa Mapper<K,Text,Text,LongWritable> y genera pares de (token,1)
34. MapReduce Reducer: • Recibe la key y la lista de valores asociados a esa clave generando una lista de pares K3,V3 • Debe extender MapReduceBase • Debe implementar Reducer<K2,V2,K3,V3> siendo: • K2: Clave de los datos de entrada.Debe ser del mismo tipo que la salida del mapper. • V2: Valores de los datos de entrada.Debe ser del mismo tipo que la salida del mapper. • K3: Clave de los datos de salida. • V3: Valor de los datos de salida. • Función reduce: void reduce(K2 key, Iterator<V2> values, OutputCollector<K3, V3> output, Reporter reporter) • K2 key: Clave de la salida del map • Iterator<V2>: Iterador sobre los valores de la salida del map. • OuputCollector<K3,V3>:Recolector de los datos generados en el reducer. K3 y V3 serán los datos finales de salida del reducer. • Provee de la opción de generar información extra del proceso, como
35. MapReduce • Reducers útiles implementados: • IdentityReducer<K,V>: Implementa Reducer<K,V,K,V> y mapea directamente la entrada a la salida • LongSumReducer<K>: Implementar Reducer<K,LongWritable,K,LongWritable> y suma todos los valores para cada clave • Tipos de datos: • Puedes crear tus propios datos (K1,V1,K2,V2): • Deben implementar WritableComparable • Tipo de datos frecuentes: • BooleanWritable • ByteWritable • DoubleWritable • FloatWritable • IntWritable • LongWritable • Text • NullWritable: Cuando la clave o valor no son necesarios
36. MapReduce • Cadenas de mappers y reducers: • Se pueden encadenar ejecuciones de mappers y reducers • No necesariamente tienen que ser en la secuencia map | reduce | map | reduce .... • Varias maneras: • ChainMapper: • addMapper: Método estático que encadena a una determinada configuración el mapper a realizar. • addReducer: Método estático que encadena a una determinada configuración el reducer a realizar. • Job: • addDependingJob: Crea una dependencia sobre jobs que se deban ejecutar antes. • JobControl: • addJob: Añade un job a la lista • addJobs: Añade una coleccion de jobs
37. MapReduce ¿Cómo se ejecuta? • JobConf: Configuración del map/reduce a ejecutar. Parámetros importantes a configurar: • InputFormats y OutputFormats. Define el formato de la entrada y salida • Mappers and Reducers. Cadenas de Mappers y Reducers • Combiners, Partitioners, DistributedCache, Counters... • OutputKeyClass y OutputValueClass. Definen el tipo de los datos salida de la ejecución. • JobClient: Ejecuta la tarea dada un JobConf: JobClient.run(JobConf conf) • JobControl: Ejecuta la lista de jobs añadidos: JobControl jobs.run()
38. HADOOP Instalación cloudera pseudo-distrubuido ubuntu: • Añadir los repositorios de cloudera: • Instalar hadoop en pseudo-distribuido: • Ejecutar hadoop:
39. HADOOP Archivos de configuración importantes: • core-site.xml: • fs.default.name: Uri del Namenode, ej. hdfs://localhost:8020/ • hdfs-site.xml: • dfs.name.dir: Path donde el namenode guarda el namespace y los logs de las transiciones. • dfs.data.dir: Path donde el datanode guarda los datos. • mapred-site.xml: • mapred.job.tracker: Uri del jobtracker, ej. Localhost:8021 • masters: Ip del namenode. En pseudodistribuido: localhost • slaves: Lista de esclavos
40. Problemas típicos: • Problemas de permisos: Mirar tanto permisos como usuarios, de los logs, binarios, data dir del hdfs... • Problemas de redirecciones (ConnectionRefused): Comprobar el archivo /etc/hosts, conectividad a la máquina, puertos abiertos. • Filesystem corrupto (En la etapa de desarrollo): Ejecutar hadoop namenode -format HADOOP
41. MapReduce Monitoring • Ganglia • Nagios
42. ¿Pero esto se usa?: Yahoo: >82PB >25Knodes FaceBook: 15TB nuevos datos al dia 12PB +10000cores 6k mensajes/seg,50k mensajes_instantaneos/seg Twitter: 1TB/dia de nuevos datos Ebay,Linkedin,Last.fm,NYTimes,.... HADOOP