Integraci´ on de Sistemas Miguel Vidal Jose Castro Twitter: @mvidallopez Twitter: @jfcastroluis M´ aster oficial en Software Libre 19 de abril 2013 1 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
This work is licensed under a Creative Commons Attribution 3.0 License http://creativecommons.org/licenses/by/3.0 2 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
Introducci´ on al software libre en servidores Sesi´ on II: El Almacenamiento como Servicio Sesi´ on III: El Arte de la Virtualizaci´ on Sesi´ on IV: De la Virtualizaci´ on al Cloud Computing Sesi´ on V: Clusters de Alta Disponibilidad 3 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS ´ Indice 1 Almacenamiento por red NAS/SAN Replicaci´ on de disco Sistemas de ficheros distribuidos StaaS 2 Backups Aspectos generales rsync Bacula 5 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS Network-Attached Storage (NAS) Almacenamiento de datos orientados a fichero. Exportaci´ on de sistema de ficheros v´ ıa red a clientes heterog´ eneos. Cliente solicita el fichero completo al servidor y lo maneja en local. Protocolos antiguos e inseguros (aunque NFSv4 mejora seguridad y rendimiento). NFS (Network Filesystem): muy usado en sistemas Unix, aunque tambi´ en disponible en muchos otros. CIFS/SMB (Common Internet File System): Muy popular en redes Windows. Implementado libremente para Un*x (Samba). 6 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS Storage Area Network (SAN) Opera solamente a nivel de bloque. SAN deja todo lo relacionado con el sistema de ficheros al “cliente”. Los protocolos SAN: SCSI, Fibre Channel, iSCSI, ATA over Ethernet (AoE), o HyperSCSI. 7 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS iSCSI Almacenamiento por red basado en IP. Es un popular y relativamente nuevo protocolo SAN (opera a nivel de bloque). iSCSI se compone de dos elementos: 1 Initiator 2 Target Los clientes (initiators) env´ ıan los comandos SCSI (CDBs) a los dispositivos de almacenamiento SCSI (targets) a trav´ es de redes IP. A diferencia del tradicional Fibre Channel, no requiere infraestructura o cableado especial. 8 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS ATA over Ethernet: almacenamiento de bajo coste 9 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS NAS vs. SAN NAS provee al mismo tiempo el almacenamiento y el sistema de ficheros. SAN provee solo almacenamiento a nivel de bloque y deja que el cliente se encargue de lo relativo al FS. Diferentes protocolos. SAN y NAS no son excluyentes, pueden combinarse. 10 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS FreeNAS Soluci´ on integrada y profesional de almacenamiento con interfaz web de configuraci´ on incluida. Soporta CIFS, FTP, NFS, rsync, iSCSI, RAID (0,1,5)... y ZFS Basada en FreeBSD (m0n0wall) y con licencia BSD. En 2009 estuvo a punto de abandonarse el desarrollo y trasladarse a Debian Linux... El nombre fue adquirido por IXSystems, se mantuvo en FreeBSD, reescribi´ o el c´ odigo, actualiz´ o su WebGUI a Django y toolkit Dojo, jails, etc. Surgi´ o un fork, NAS4Free, que mantuvo el desarrollo de FreeNAS 7 para sistemas m´ as modestos, embebidos, aunque tambi´ en soporta instalaci´ on en HDD/SSD y ZFS. 11 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS ´ Indice 1 Almacenamiento por red NAS/SAN Replicaci´ on de disco Sistemas de ficheros distribuidos StaaS 2 Backups Aspectos generales rsync Bacula 12 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS Replicaci´ on del almacenamiento de disco El m´ etodo m´ as b´ asico es el mirror de disco (similar a RAID-1), t´ ıpico para discos conectados por red local. replicaci´ on s´ ıncrona: sin p´ erdida (“zero data loss”), operaciones at´ omicas de escritura (ACK), Replicaci´ on as´ ıncrona: larga distancia, latencia alta. Incrementa el rendimiento, pero en caso de p´ erdida, no se garantiza que el almacenamiento remoto tenga copia actualizada de los datos. Opera a nivel de bloque (independiente del sistema de ficheros) DRBD en Linux HAST en FreeBSD AVS en derivados de Solaris. 13 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS DRBD DRBD: Distributed Replicated Block Device: mirror (raid-1) de discos sobre LAN. Sistema de replicaci´ on para Linux: parte oficial de su kernel desde 2.6.33. Con frecuencia desplegado en combinaci´ on con Heartbeat (Linux HA). Datos solo accesibles en nodo activo (salvo que se use un FS paralelo como GFS u OCFS2). 14 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS HAST - Highly Available STorage Orientado a redundancia en backends de almacenamiento. Espec´ ıfico para FreeBSD. Similar a RAID1 (mirror) por TCP/IP. Ofrece un dispositivo /dev/hast/ para operar como un dispositivo de bloques est´ andar (sincroniza a nivel de bloque). Funciona solo en modo activo-pasivo (actualmente limitado a dos nodos) HAST puede integrarse con Heartbeat, CARP (para IP failover) y con ZFS. 16 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS Arquitectura de AVS Sun StorageTek Availability Suite, replicaci´ on remota con *Solaris: 18 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS ´ Indice 1 Almacenamiento por red NAS/SAN Replicaci´ on de disco Sistemas de ficheros distribuidos StaaS 2 Backups Aspectos generales rsync Bacula 19 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS Sistemas de fichero distribuido ¿Que pasa si tenemos un DRBD en 2 equipos y queremos montar al mismo tiempo la misma partici´ on? 20 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS Sistemas de fichero distribuido ¿Que pasa si tenemos un DRBD en 2 equipos y queremos montar al mismo tiempo la misma partici´ on? Los FS tradicionales no lo permiten: necesario FS de tipo cl´ uster (“distribuido”, “paralelo” o ”compartido”). Se forma un cluster propio entre los nodos que pueden montar el FS compartido. Soportan montaje y acceso concurrente desde varios nodos a la vez: evita corrupci´ on de datos cuando se accede a los ficheros desde diferentes hosts. 20 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS Sistemas de ficheros distribuidos A diferencia del NFS, que exporta directorios, se exportan como un filesystem completo. Ejemplos: OCFS2, GFS (Global File System, no confundir con Google FS). Desventajas: Sistemas m´ as complejos de configurar y de mantener. Rendimiento inferior. 21 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS Sistemas de ficheros distribuidos: GlusterFS Cliente/servidor: El servidor NAS exporta filesystem como vol´ umenes. El cliente se conecta por TCP/IP o Infiniband y compone vol´ umenes en espacio de usuario (libglusterfs o FUSE) a trav´ es de traductores. Los traductores conectan uno o m´ as subvol´ umenes e incluyen las funcionalidades (mirror, stripping, balanceo de carga, cuotas, etc.) Evita el cuello de botella por m´ ultiple concurrencia. No se compromete rendimiento. Muy simple. Apto para cloud. 22 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS Sistemas de ficheros distribuidos: GlusterFS Figure: GlusterFS – Un punto de montaje com´ un 23 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS Swift Componente de OpenStack, es la evoluci´ on del servicio “Cloud Files” de Rackspace. Provee al cloud de un “contenedor de objetos” (object store) altamente escalable y redundante. No debe confundirse con un sistema de ficheros; aunque funcionalmente es similar. No es accesible m´ as que a trav´ es de la API de Swift. Conceptualmente similar al servicio S3 de Amazon. 24 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS Swift: Zonas Son un agrupamiento l´ ogico de servidores de almacenamiento (containers) mutuamente aislados para protegerse de fallos. Se escriben m´ ultiples copias (“r´ eplicas”) de cada objeto a m´ ultiples servidores de almacenamiento en zonas separadas. Pueden ser aisladas en diferentes servidores, racks, secciones del datacenter o incluso diferentes datacenters. 25 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS ´ Indice 1 Almacenamiento por red NAS/SAN Replicaci´ on de disco Sistemas de ficheros distribuidos StaaS 2 Backups Aspectos generales rsync Bacula 26 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de ficheros distribuidos StaaS StaaS: Virtualizaci´ on del almacenamiento Abstracci´ on transparente del almacenamiento f´ ısico. Los recursos de almacenamiento f´ ısico se agregan en pools, desde los que se crea el almacenamiento l´ ogico. Implementado en los modernos arrays de disco. Storage as a Service: la separaci´ on (abstracci´ on) permite incrementar la flexibilidad a los SysAdmins. StaaS es parte de soluciones cloud, clustering y HA. 27 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
1 Almacenamiento por red NAS/SAN Replicaci´ on de disco Sistemas de ficheros distribuidos StaaS 2 Backups Aspectos generales rsync Bacula 29 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
(1) Proteger los datos es una de las tareas m´ as importantes de un sysadmin. Desafortunadamente es tambi´ en una de las tareas m´ as tediosas. Los backups deben hacerse con cuidado y estrictamente planificados. 30 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
(y 2) El sistema de backups y los medios de almacenamiento deben verificarse regularmente. Los sistemas de backups NO deben confundirse con sistemas tolerantes a fallos. La integridad de los medio de backup es vital y afecta directamente al balance de una empresa. 31 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de backup No estructurados: una pila de discos o CD-R/DVD-R con m´ ınima informaci´ on sobre lo que fue respaldado y cu´ ando. backups incrementales: backups sucesivos que contienen solamente los cambios desde el ´ ultimo backup. Una forma ´ optima de ahorrar espacio. Es muy eficiente Diferentes implementaciones. 32 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
de backup (y 2) Backups diferenciales: coge todos los ficheros que han cambiado desde el ´ ultimo backup completo (full). La restauraci´ on requiere disponer del ´ ultimo backup completo. Backup completo: para ser recuperado completamente desde cero. Protecci´ on continua de datos: no se planifican backups peri´ odicos, el sistema registra cada cambio de forma inmediata en el sistema anfitri´ on. 33 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
1 Almacenamiento por red NAS/SAN Replicaci´ on de disco Sistemas de ficheros distribuidos StaaS 2 Backups Aspectos generales rsync Bacula 34 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
ficheros de forma segura Puede sincronizar ficheros y directorios de una m´ aquina a otra y puede ejecutarse junto con SSH para transferir datos de forma segura por la Red. Opcionalmente, dispone de compresi´ on y recursi´ on. Muy scriptable: Similar a scp pero es m´ as escrupuloso a la hora de preservar links, fechas y permisos. Procura transmitir solo diferencias entre versiones. Forma parte del sistema base de muchas distribuciones. Es ampliamente usado. 35 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
1 Almacenamiento por red NAS/SAN Replicaci´ on de disco Sistemas de ficheros distribuidos StaaS 2 Backups Aspectos generales rsync Bacula 36 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
es una soluci´ on cliente/servidor de nivel empresarial que gestiona backups, restauraci´ on y verificaci´ on de ficheros a trav´ es de una red. Bacula corre en en Linux y en diversos Unixes. Dispone de agentes que permiten respaldar datos de muchos SOs, incluido Microsoft Windows. 37 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
Bacula Bacula director: demonio que coordina las operaciones de respaldo, restauraci´ on y verificaci´ on. Bacula console: permite enviar trabajos manualmente al director para que los restaure o respalde. Un demonio cliente de Bacula corre en cada sistema que debe ser respaldado. 38 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
Almacenamiento como Servicio (2) Integraci´ on de Sistemas Miguel Vidal Jose Castro Twitter: @mvidallopez Twitter: @jfcastroluis M´ aster oficial en Software Libre 19 de abril 2013 39 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
mvidal
matleenalaakso
nbkouhou
signer
masakamayama
copilot
japanstrokeassociation
bernhardsvt
antmiyabin
matsuolab
hachama
marcduiker
addyosmani
bryan
lemiorhan
carmenintech
eileencodes
bkeepers
jonrohan
malarkey
sstephenson
aki_iinuma
