II. El almacenamiento como servicio (2)

II. El almacenamiento como servicio (2)

Segunda parte de la segunda sesión del curso de Integración de Sistemas del Máster Oficial de Software Libre de la URJC (2012-13).

311e7060e962b7a9bd9016221e7bf184?s=128

Miguel Vidal

April 19, 2013
Tweet

Transcript

  1. Almacenamiento por red Backups II. El Almacenamiento como Servicio (2)

    Integraci´ on de Sistemas Miguel Vidal Jose Castro Twitter: @mvidallopez Twitter: @jfcastroluis M´ aster oficial en Software Libre 19 de abril 2013 1 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  2. Almacenamiento por red Backups c 2010-2013 Miguel Vidal, Jose Castro

    This work is licensed under a Creative Commons Attribution 3.0 License http://creativecommons.org/licenses/by/3.0 2 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  3. Almacenamiento por red Backups Contenidos del curso Sesi´ on I:

    Introducci´ on al software libre en servidores Sesi´ on II: El Almacenamiento como Servicio Sesi´ on III: El Arte de la Virtualizaci´ on Sesi´ on IV: De la Virtualizaci´ on al Cloud Computing Sesi´ on V: Clusters de Alta Disponibilidad 3 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  4. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS Almacenamiento por red 4 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  5. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS ´ Indice 1 Almacenamiento por red NAS/SAN Replicaci´ on de disco Sistemas de ficheros distribuidos StaaS 2 Backups Aspectos generales rsync Bacula 5 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  6. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS Network-Attached Storage (NAS) Almacenamiento de datos orientados a fichero. Exportaci´ on de sistema de ficheros v´ ıa red a clientes heterog´ eneos. Cliente solicita el fichero completo al servidor y lo maneja en local. Protocolos antiguos e inseguros (aunque NFSv4 mejora seguridad y rendimiento). NFS (Network Filesystem): muy usado en sistemas Unix, aunque tambi´ en disponible en muchos otros. CIFS/SMB (Common Internet File System): Muy popular en redes Windows. Implementado libremente para Un*x (Samba). 6 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  7. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS Storage Area Network (SAN) Opera solamente a nivel de bloque. SAN deja todo lo relacionado con el sistema de ficheros al “cliente”. Los protocolos SAN: SCSI, Fibre Channel, iSCSI, ATA over Ethernet (AoE), o HyperSCSI. 7 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  8. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS iSCSI Almacenamiento por red basado en IP. Es un popular y relativamente nuevo protocolo SAN (opera a nivel de bloque). iSCSI se compone de dos elementos: 1 Initiator 2 Target Los clientes (initiators) env´ ıan los comandos SCSI (CDBs) a los dispositivos de almacenamiento SCSI (targets) a trav´ es de redes IP. A diferencia del tradicional Fibre Channel, no requiere infraestructura o cableado especial. 8 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  9. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS ATA over Ethernet: almacenamiento de bajo coste 9 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  10. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS NAS vs. SAN NAS provee al mismo tiempo el almacenamiento y el sistema de ficheros. SAN provee solo almacenamiento a nivel de bloque y deja que el cliente se encargue de lo relativo al FS. Diferentes protocolos. SAN y NAS no son excluyentes, pueden combinarse. 10 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  11. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS FreeNAS Soluci´ on integrada y profesional de almacenamiento con interfaz web de configuraci´ on incluida. Soporta CIFS, FTP, NFS, rsync, iSCSI, RAID (0,1,5)... y ZFS Basada en FreeBSD (m0n0wall) y con licencia BSD. En 2009 estuvo a punto de abandonarse el desarrollo y trasladarse a Debian Linux... El nombre fue adquirido por IXSystems, se mantuvo en FreeBSD, reescribi´ o el c´ odigo, actualiz´ o su WebGUI a Django y toolkit Dojo, jails, etc. Surgi´ o un fork, NAS4Free, que mantuvo el desarrollo de FreeNAS 7 para sistemas m´ as modestos, embebidos, aunque tambi´ en soporta instalaci´ on en HDD/SSD y ZFS. 11 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  12. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS ´ Indice 1 Almacenamiento por red NAS/SAN Replicaci´ on de disco Sistemas de ficheros distribuidos StaaS 2 Backups Aspectos generales rsync Bacula 12 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  13. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS Replicaci´ on del almacenamiento de disco El m´ etodo m´ as b´ asico es el mirror de disco (similar a RAID-1), t´ ıpico para discos conectados por red local. replicaci´ on s´ ıncrona: sin p´ erdida (“zero data loss”), operaciones at´ omicas de escritura (ACK), Replicaci´ on as´ ıncrona: larga distancia, latencia alta. Incrementa el rendimiento, pero en caso de p´ erdida, no se garantiza que el almacenamiento remoto tenga copia actualizada de los datos. Opera a nivel de bloque (independiente del sistema de ficheros) DRBD en Linux HAST en FreeBSD AVS en derivados de Solaris. 13 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  14. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS DRBD DRBD: Distributed Replicated Block Device: mirror (raid-1) de discos sobre LAN. Sistema de replicaci´ on para Linux: parte oficial de su kernel desde 2.6.33. Con frecuencia desplegado en combinaci´ on con Heartbeat (Linux HA). Datos solo accesibles en nodo activo (salvo que se use un FS paralelo como GFS u OCFS2). 14 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  15. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS Arquitectura de DRBD 15 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  16. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS HAST - Highly Available STorage Orientado a redundancia en backends de almacenamiento. Espec´ ıfico para FreeBSD. Similar a RAID1 (mirror) por TCP/IP. Ofrece un dispositivo /dev/hast/ para operar como un dispositivo de bloques est´ andar (sincroniza a nivel de bloque). Funciona solo en modo activo-pasivo (actualmente limitado a dos nodos) HAST puede integrarse con Heartbeat, CARP (para IP failover) y con ZFS. 16 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  17. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS Arquitectura de HAST 17 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  18. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS Arquitectura de AVS Sun StorageTek Availability Suite, replicaci´ on remota con *Solaris: 18 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  19. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS ´ Indice 1 Almacenamiento por red NAS/SAN Replicaci´ on de disco Sistemas de ficheros distribuidos StaaS 2 Backups Aspectos generales rsync Bacula 19 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  20. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS Sistemas de fichero distribuido ¿Que pasa si tenemos un DRBD en 2 equipos y queremos montar al mismo tiempo la misma partici´ on? 20 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  21. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS Sistemas de fichero distribuido ¿Que pasa si tenemos un DRBD en 2 equipos y queremos montar al mismo tiempo la misma partici´ on? Los FS tradicionales no lo permiten: necesario FS de tipo cl´ uster (“distribuido”, “paralelo” o ”compartido”). Se forma un cluster propio entre los nodos que pueden montar el FS compartido. Soportan montaje y acceso concurrente desde varios nodos a la vez: evita corrupci´ on de datos cuando se accede a los ficheros desde diferentes hosts. 20 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  22. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS Sistemas de ficheros distribuidos A diferencia del NFS, que exporta directorios, se exportan como un filesystem completo. Ejemplos: OCFS2, GFS (Global File System, no confundir con Google FS). Desventajas: Sistemas m´ as complejos de configurar y de mantener. Rendimiento inferior. 21 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  23. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS Sistemas de ficheros distribuidos: GlusterFS Cliente/servidor: El servidor NAS exporta filesystem como vol´ umenes. El cliente se conecta por TCP/IP o Infiniband y compone vol´ umenes en espacio de usuario (libglusterfs o FUSE) a trav´ es de traductores. Los traductores conectan uno o m´ as subvol´ umenes e incluyen las funcionalidades (mirror, stripping, balanceo de carga, cuotas, etc.) Evita el cuello de botella por m´ ultiple concurrencia. No se compromete rendimiento. Muy simple. Apto para cloud. 22 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  24. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS Sistemas de ficheros distribuidos: GlusterFS Figure: GlusterFS – Un punto de montaje com´ un 23 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  25. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS Swift Componente de OpenStack, es la evoluci´ on del servicio “Cloud Files” de Rackspace. Provee al cloud de un “contenedor de objetos” (object store) altamente escalable y redundante. No debe confundirse con un sistema de ficheros; aunque funcionalmente es similar. No es accesible m´ as que a trav´ es de la API de Swift. Conceptualmente similar al servicio S3 de Amazon. 24 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  26. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS Swift: Zonas Son un agrupamiento l´ ogico de servidores de almacenamiento (containers) mutuamente aislados para protegerse de fallos. Se escriben m´ ultiples copias (“r´ eplicas”) de cada objeto a m´ ultiples servidores de almacenamiento en zonas separadas. Pueden ser aisladas en diferentes servidores, racks, secciones del datacenter o incluso diferentes datacenters. 25 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  27. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS ´ Indice 1 Almacenamiento por red NAS/SAN Replicaci´ on de disco Sistemas de ficheros distribuidos StaaS 2 Backups Aspectos generales rsync Bacula 26 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  28. Almacenamiento por red Backups NAS/SAN Replicaci´ on de disco Sistemas

    de ficheros distribuidos StaaS StaaS: Virtualizaci´ on del almacenamiento Abstracci´ on transparente del almacenamiento f´ ısico. Los recursos de almacenamiento f´ ısico se agregan en pools, desde los que se crea el almacenamiento l´ ogico. Implementado en los modernos arrays de disco. Storage as a Service: la separaci´ on (abstracci´ on) permite incrementar la flexibilidad a los SysAdmins. StaaS es parte de soluciones cloud, clustering y HA. 27 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  29. Almacenamiento por red Backups Aspectos generales rsync Bacula Backups 28

    / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  30. Almacenamiento por red Backups Aspectos generales rsync Bacula ´ Indice

    1 Almacenamiento por red NAS/SAN Replicaci´ on de disco Sistemas de ficheros distribuidos StaaS 2 Backups Aspectos generales rsync Bacula 29 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  31. Almacenamiento por red Backups Aspectos generales rsync Bacula Aspectos generales

    (1) Proteger los datos es una de las tareas m´ as importantes de un sysadmin. Desafortunadamente es tambi´ en una de las tareas m´ as tediosas. Los backups deben hacerse con cuidado y estrictamente planificados. 30 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  32. Almacenamiento por red Backups Aspectos generales rsync Bacula Aspectos generales

    (y 2) El sistema de backups y los medios de almacenamiento deben verificarse regularmente. Los sistemas de backups NO deben confundirse con sistemas tolerantes a fallos. La integridad de los medio de backup es vital y afecta directamente al balance de una empresa. 31 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  33. Almacenamiento por red Backups Aspectos generales rsync Bacula M´ etodos

    de backup No estructurados: una pila de discos o CD-R/DVD-R con m´ ınima informaci´ on sobre lo que fue respaldado y cu´ ando. backups incrementales: backups sucesivos que contienen solamente los cambios desde el ´ ultimo backup. Una forma ´ optima de ahorrar espacio. Es muy eficiente Diferentes implementaciones. 32 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  34. Almacenamiento por red Backups Aspectos generales rsync Bacula M´ etodos

    de backup (y 2) Backups diferenciales: coge todos los ficheros que han cambiado desde el ´ ultimo backup completo (full). La restauraci´ on requiere disponer del ´ ultimo backup completo. Backup completo: para ser recuperado completamente desde cero. Protecci´ on continua de datos: no se planifican backups peri´ odicos, el sistema registra cada cambio de forma inmediata en el sistema anfitri´ on. 33 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  35. Almacenamiento por red Backups Aspectos generales rsync Bacula ´ Indice

    1 Almacenamiento por red NAS/SAN Replicaci´ on de disco Sistemas de ficheros distribuidos StaaS 2 Backups Aspectos generales rsync Bacula 34 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  36. Almacenamiento por red Backups Aspectos generales rsync Bacula rsync: transferir

    ficheros de forma segura Puede sincronizar ficheros y directorios de una m´ aquina a otra y puede ejecutarse junto con SSH para transferir datos de forma segura por la Red. Opcionalmente, dispone de compresi´ on y recursi´ on. Muy scriptable: Similar a scp pero es m´ as escrupuloso a la hora de preservar links, fechas y permisos. Procura transmitir solo diferencias entre versiones. Forma parte del sistema base de muchas distribuciones. Es ampliamente usado. 35 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  37. Almacenamiento por red Backups Aspectos generales rsync Bacula ´ Indice

    1 Almacenamiento por red NAS/SAN Replicaci´ on de disco Sistemas de ficheros distribuidos StaaS 2 Backups Aspectos generales rsync Bacula 36 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  38. Almacenamiento por red Backups Aspectos generales rsync Bacula Bacula Bacula

    es una soluci´ on cliente/servidor de nivel empresarial que gestiona backups, restauraci´ on y verificaci´ on de ficheros a trav´ es de una red. Bacula corre en en Linux y en diversos Unixes. Dispone de agentes que permiten respaldar datos de muchos SOs, incluido Microsoft Windows. 37 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  39. Almacenamiento por red Backups Aspectos generales rsync Bacula Componentes de

    Bacula Bacula director: demonio que coordina las operaciones de respaldo, restauraci´ on y verificaci´ on. Bacula console: permite enviar trabajos manualmente al director para que los restaure o respalde. Un demonio cliente de Bacula corre en cada sistema que debe ser respaldado. 38 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)
  40. Almacenamiento por red Backups Aspectos generales rsync Bacula II. El

    Almacenamiento como Servicio (2) Integraci´ on de Sistemas Miguel Vidal Jose Castro Twitter: @mvidallopez Twitter: @jfcastroluis M´ aster oficial en Software Libre 19 de abril 2013 39 / 39 Miguel Vidal – Jose Castro II. El Almacenamiento como Servicio (2)