Almacenamiento de objetos en Ceph y su API S3

LibreCon 2017
October 2017 @ Santiago de Compostela (Spain)

https://librecon.io/

Transcript

1. Almacenamiento de objetos en Ceph y su API S3 Javier M. Mellid @ Igalia
2. • ¿Quién soy? – Javier – Igalia • Cloud & Virtualization team – Ing. Informático • software developer, networking, distributed systems… – Social media • twitter: @javimunhoz • LinkedIn: linkedin/in/javiermunhoz • blog: javiermunhoz.com/blog
3. • La estructura de la charla – Ceph en 20 minutos – La API S3 en 6 transparencias – Dos casos de uso basados en Ceph y RGW/S3 – Instalando y probando Ceph fácilmente – Algunos comandos habituales en Ceph – Ceph RGW S3 con Apache Libcloud, Ansible y Minio – Almacenamiento hyperescalable y diferenciación – Q&A
4. Ceph en 20 minutos
5. • ¿Qué es Ceph? • Los bloques fundamentales • Principales abstracciones lógicas • Arquitectura • Extensiones
6. • ¿Qué es Ceph? – Una solución de almacenamiento Open Source distribuído, escalable y tolerante a fallos – La magia detrás de Ceph • Almacenamiento basado en objetos • CRUSH – Sistema de ficheros, dispositivos de bloques y objetos de alto nivel (ej. API S3) son interfaces sobre objetos nativos
7. • ¿Qué es Ceph? – Cephalopd – Sage Weil (Universidad de California, Santa Cruz) – Red Hat compra Inktank en 2014 – En 2015 se forma el ‘Ceph Community Advisory Board’ (Canonical, CERN, Cisco, Fujitsu, Intel, Red Hat, SanDisk y SUSE) – ‘Releases’ • Argonaut, Bobtail, Cuttlefish… • Jewel (v10.2.0), Kraken (v11.2.0) and Luminous (v12.2.0)
8. • ¿Qué desafíos estamos tratando de resolver? – El almacenamiento masivo de datos – Un crecimiento en hyperescala – Arquitecturas de almacenamiento tradicionales rígidas y poco flexibles • ¿Quién tiene este problema? – Actores de nube • Centros Científicos (ej. CERN) • Las llamadas ‘GAFA’ (Google, Apple, Facebook, Amazon) • Universidades (ej. OpenStack) • Proveedores Cloud independientes • ...
9. • ¿En qué magnitudes nos estamos moviendo? https://www.eetimes.com/author.asp?section_id=36&doc_id=1330462
10. • ¿En qué magnitudes nos estamos moviendo? https://www.eetimes.com/author.asp?section_id=36&doc_id=1330462
11. • ¿En qué magnitudes nos estamos moviendo? https://www.eetimes.com/author.asp?section_id=36&doc_id=1330462
12. • ¿A qué desafíos técnicos nos enfrentamos? – Arquitecturas de almacenamiento tradicionales • No gestionan de forma inteligente los metadatos • Usan y mantienen tablas de búsqueda para gestionar los metadatos • Los metadatos son datos que permiten conocer donde se almacenan los datos • Para sistemas de almacenamiento modestos puede no apreciarse problemas de rendimiento pero esto limita la escalabilidad del sistema
13. • ¿Cómo trata de resolver estos desafíos Ceph? – A través de una arquitectura de almacenamiento de datos basada en objetos – Arquitectura diseñada para retener cantidades masivas de datos – Objeto • datos, metadatos y un identificador global único
14. • ¿Cómo trata de resolver estos desafíos Ceph? – Ceph emplea la abstracción de objeto como un bloque de construcción – Cualquier tipo de dato (bloque, fichero, objeto, etc) se almacena en forma de objeto en el cluster – Solución a las necesidades actuales y futuras de almacenamiento no estructurado – Ceph replica estos objetos nativos para mejorar la disponibilidad y confiabilidad de los datos – El almacenamiento de los objetos es flexible y no está predeterminado a nivel físico – Este diseño permite escalar linealmente del petabyte al exabyte
15. • ¿Cómo trata de resolver estos desafíos Ceph? – Ceph no trata de buscar la localización de un objeto a través de tablas y estructuras intermedias. Ceph computa esta localización a través de CRUSH – CRUSH es un algoritmo y un conjunto de reglas que se aplican a un estado conocido del cluster – Controlled Replication Under Scalable Hashing – CRUSH es consciente de la geometría del cluster y gestiona las zonas de fallo a través de su mapa de forma autónoma
16. • Los bloques fundamentales – Los ‘MON’ • Monitores • Gestionan los mapa/s del cluster (CRUSH) • Un cluster suele tener más de un monitor. En este caso llegan a consenso a través de Paxos • Mantienen un diálogo con todos los componentes que necesiten conocer la geometría del cluster y sus actualizaciones
17. • Los bloques fundamentales – Los ‘OSD’ • ‘Object Storage Device’ • Su responsabilidad principal es almacenar los bloques de datos y los metadatos • Para garantizar la disponibilidad por replicación se necesitan 3 replicas • Mantienen un diálogo entre ellos para acordar su estado de replicación, comprobar que sus datos no están corruptos, etc. • Mantienen un diálogo con los monitores para actualizar la geometría del cluster
18. (fuente: http://javiermunhoz.com/blog/2016/04/30/scalable-placement-of-replicated-data-in-ceph.html)
19. • Principales abstracciones lógicas – El ‘pool’ • Particiona el almacenamiento global en ‘pools’ • Un ‘pool’ es una división lógica • Sobre esta abstracción se aplican las políticas de replicación, el control de acceso, etc • Ceph crea un ‘pool’ por defecto tras la instalación
20. • Principales abstracciones lógicas – El ‘placement group’ (PG) • Grupo de colocación • Cada objeto es asignado a un PG durante su distribución • El sistema los genera automaticamente
21. • Principales abstracciones lógicas – Un ejemplo • http://javiermunhoz.com/blog/2016/04/30/scalable-placement-of-replicated-data-in-ceph.html
22. http://javiermunhoz.com/blog/2016/04/30/scalable-placement-of-replicated-data-in-ceph.html
23. • Reliable Autonomic Distributed Object Store (RADOS) – Denominado también ‘Ceph storage cluster’ – Características • Disponibilidad • Confiabilidad • autogestionado • ‘self-healing’ • ningún punto único de fallo
24. • Extensiones y Aplicaciones sobre RADOS – Librados • Paradigma cliente-cluster – Ceph FileSystem (CephFS) • Requiere un servidor de metadatos (MDS) – Rados Block Device (RBD) • Dispositivos de bloque (Block Device) – Object Gateway (RadosGW or RGW) • ‘Traduce’ los objetos nativos de Ceph a objetos S3/Swift
25. • La arquitectura
26. • OpenStack con Ceph como ‘backend’ de almacenamiento
28. La API S3 en 6 transparencias
29. • ¿Qué es Amazon S3? – Simple Storage Service (S3) – Almacenamiento para Internet – Web service interface (REST, SOAP) – Permite almacenar objetos (1 byte a 5 GB) – Los objetos contienen datos y metadatos – Los objetos son almacenados y recuperados usando una clave (key) – Los objetos son accesibles vía http, bittorrent, etc.
30. • ¿Qué es Amazon S3? – Todos los objetos son almacenados en ‘buckets’ – Un bucket es un contenedor para objetos • mybucket.s3.amazonaws.com – Los buckets son útiles para particionar a nivel raíz – Una ‘key’ (clave) es el identificador único para un objeto dentro de un ‘bucket’ – Ejemplo: • http://mybucket.s3.amazonaws.com/myhome.html
31. • ¿Qué es Amazon S3? – Ventajas • Escalable • Alta disponibilidad • Almacenamiento “ilimitado” • Económico • Accesible desde cualquier localización • ...
32. • ¿Qué es Amazon S3? – Principales casos de uso • Website estáticos • Media storage (videos, fotos, etc) • Backups • Almacenamiento intermedio (transcoding, etc) • ...
33. • ¿Qué es Amazon S3? – La API S3 • http://docs.aws.amazon.com/AmazonS3/latest/API/Welcome.html • Algunas operaciones en ‘buckets’ y ‘objects’ – CRUD – Casos de uso • autenticación, ‘browser uploads’, analíticas, ciclos de vida, métricas, replicación, ‘tagging’, website support, logging, versionado, ‘multipart uploads’, ‘requestPayment’, ‘torrent support’, ‘copy-part support’...
34. • ¿Qué es Amazon S3? – Un ejemplo de llamada a la API S3 (GET Object) • Obtiene los primeros 10 bytes de un objeto (test.txt) en el bucket ‘examplebucket’ GET /test.txt HTTP/1.1 Host: examplebucket.s3.amazonaws.com x-amz-date:20130524T000000Z Authorization: SignatureToBeCalculated Range: bytes=0-9 x-amz-content- sha256:e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 x-amz-date: 20130524T000000Z
35. Dos casos de uso de almacenamiento basado en Ceph / RadosGW / S3
36. https://www.slideshare.net/jenshadlich/ceph-object-storage-at-spreadshirt-49422450
37. Clientes Nextcloud RGW Ceph cluster HTTP/S S3 librados https://github.com/tigerlinux/tigerlinux-extra-recipes/tree/master/recipes/misc/ceph-owncloud-lab • Sincronizando y compartiendo ficheros
38. Instalando y probando Ceph fácilmente
39. • La forma tradicional – http://docs.ceph.com/docs/master/start/ – Tres pasos • prevuelo (requisitos) • cluster de almacenamiento • los clientes (bloque, filesystem, etc)
40. • Archivos e imágenes de Docker para ejecutar Ceph en contenedores – https://github.com/ceph/ceph-dock – https://hub.docker.com/r/ceph/demo/ – docker run -d –net=host -v /etc/ceph:/etc/ceph -e MON_IP=192.168.0.20 -e CEPH_PUBLIC_NETWORK=192.168.0.0/24 ceph/demo
41. • PetaSAN (www.petasan.org)
42. • PetaSAN (www.petasan.org)
43. Algunos comandos habituales en Ceph
45. • pool quotas – ceph osd pool set-quota {pool-name} [max_objects {obj-count}] [max_bytes {bytes}] – $ ceph osd pool set-quota data max_objects 10000
46. • $ rados df
47. • Número de replicas – $ ceph osd pool set data size 3 – $ ceph osd pool set data min_size 2
48. • Estado del cluster
49. • RADOS Block Devices (RBD) – $ rbd create [image name] --size [size in MB] – $ rbd --pool mypool create my-image --size 10 – $ rbd ls – Map & Mount • $ sudo modprobe rbd • $ rbd map my-image –name client.admin -m node1 • $ sudo mkfs.ext4 -m0 /dev/rbd/rbd/my-image • $ sudo mkdir /mnt/my-ceph-block-device • $ sudo mount /dev/rbd/rbd/my-image /mnt/my-ceph-block-device
50. Ceph RGW S3 con Apache Libcloud, Ansible y Minio
51. • Apache Libcloud – libcloud.apache.org – Librería de Python para interactuar con proveedores de servicio de cloud – API unificada – ‘One interface to rule them all’
52. • Ceph RGW storage driver – upstream en Apache Libcloud 1.0.0 http://javiermunhoz.com/blog/2016/05/17/the-ceph-rgw-storage-driver-goes-upstream-in-libcloud.html
53. • Minio client – github.com/minio/mc – cliente S3 ligero – ls, cat, cp, diff, etc http://javiermunhoz.com/blog/2016/12/16/ceph-rgw-aws4-presigned-urls-working-with-the-minio-cloud-client.html
54. • Ansible – www.ansible.com – motor de automatización • aprovisionamiento • gestión de la configuración • despliegue de aplicaciones • orquestación • ...
55. • Ansible – Soporte para RGW upstream – Parte del módulo core de Amazon S3 http://javiermunhoz.com/blog/2016/06/21/ansible-aws-s3-core-module-now-supports-ceph-rgw-s3.html
56. Comentarios en almacenamiento hyperescalable y diferenciación
57. • La capa de valor de almacenamiento – diferenciación, funcionalidades, etc. (RGW/S3) • Estrategia de líder frente a perseguidor – innovación vs interoperabilidad – cobertura de RGW/S3 vs AWS/S3 • Riesgos – obsolescencia/sustitución de funcionalides • ej. AWS2/AWS4 • Innovación • ej. ‘Smart Buckets’
58. Ceph es comunidad! – ceph.com – ceph.com/community – ceph.com/get-involved – @ceph (twitter.com/ceph)
59. Gracias! Q&A