CephFS on OpenStack Manila

Ceph Day Buenos Aires 2017

Transcript

1. CEPHFS ON OPENSTACK MANILA Ceph Day Buenos Aires | Nov 2017 Victoria Martinez de la Cruz Software Engineer @ Red Hat OpenStack Storage LinuxChix Argentina co-founder 29/11/17
2. 2 Agenda • Ceph overview • OpenStack overview • OpenStack Manila • CephFS native driver en OpenStack Manila • CephFS NFS-Ganesha driver en OpenStack Manila • Recursos • Q&A
3. CEPH Y OPENSTACK
4. 4 Ceph • CEPH provee almacenamiento basado en objetos, bloques y sistemas de archivos en un único sistema unificado • Controlled Replication Under Scalable Hashing (CRUSH) Brief overview
5. 5 Arquitectura de Ceph RADOS + LIBRADOS + RADOSGW + RBD + CEPHFS
6. 6 ¿Por qué Ceph? Características principales de esta solución de storage • Todos sus componentes escalan horizontalmente • No tiene un SPOF • Hardware agnostic, commodity hardware • Auto-administración (siempre que sea posible) • Open source (LGPL)
7. 7 OpenStack Brief overview • OpenStack es un conjunto de herramientas para el despliegue y administración de nubes públicas y privadas • OpenStack core ◦ Nova (Compute) ◦ Keystone (Auth) ◦ Glance (Images) ◦ Neutron (Networking) ◦ Cinder (Block storage) ◦ Swift (Object storage) • Project navigator
8. 8 Ceph en OpenStack https://www.openstack.org/assets/survey/April2017SurveyReport.pdf
9. 9 Ceph en OpenStack https://www.openstack.org/assets/survey/April2017SurveyReport.pdf
10. OPENSTACK MANILA
11. 11 ¿Por qué usar archivos en la nube? Sistemas de archivos distribuidos en la nube ¿Por qué archivos? • La mayoría de las aplicaciones siguen siendo basadas en archivos • Interoperabilidad con otros sistemas de almacenamiento • Popularidad de los containers • Los conceptos de permisos y directorios son muy útiles ¿Por qué no almacenamiento por bloques? • El uso de bloques no es práctico para compartir datos entre hosts ◦ ext4, xfs y otros fs asumen acceso exclusivo • Los bloques no son flexibles ◦ Los fs requieren que un operador intervenga para escalar
12. 12 OpenStack Manila Shared filesystems as a Service • APIs para que los tenants puedan aprovisionar file system shares • Soporte para diferentes drivers ◦ CephFS Native ◦ CephFS NFS Ganesha ◦ NetApp ◦ Dell EMC ◦ Y más...
13. CEPHFS NATIVE
14. 14 CephFS Native OpenStack Manila • OpenStack Mitaka and Ceph Jewel • Networking: las VMs requieren acceso a la misma red pública que Ceph • Consideraciones ◦ No hay multitenancy ◦ Nubes privadas con usuarios confiables
15. Control plane 15 CephFS Native * manila share = a CephFS dir + quota + unique RADOS name space Manila services (with Ceph native driver) Storage Cluster (with CephFS) Create shares*, share-groups, snapshots Allow/deny share access to a ceph ID Create directories, directory snapshots Allow/deny directory access to a ceph ID Return share’s export location, Ceph auth ID and secret key Return directory path, Ceph monitor addresses, Ceph auth ID and secret key (GUI/CLI/API) HTTP Native Ceph Tenant
16. 16 CephFS Native Data plane Create keyring file with ceph auth ID, secret key Create a ceph.conf file with Ceph monitor addresses Ceph-fuse mount the share No auto-mount of shares Metadata updates Data updates Client directly connected to Ceph’s public network. So security? Trusted clients, Ceph authentication No single point of failure in data plane (HA of MON, MDS, OSD) OpenStack client/Nova VM Monitor Metadata Server OSD Daemon Ceph server daemons server daemons
17. CEPHFS NFS GANESHA
18. 18 CephFS NFS Ganesha OpenStack Manila • OpenStack Ocata, Ceph Kraken, NFS Ganesha v2.5 • Networking: las VMs NO requieren acceso a la misma red pública que Ceph. Simplemente deben acceder al NFS Ganesha gateway • Consideraciones ◦ No hay multitenancy ◦ SPOF (si el deploy no está hecho correctamente). El desarrollo para que NFS Ganesha sea ejecutado en HA usando pacemaker/corosync en active/passive mode estará disponible en el próximo release de Manila.
19. 19 CephFS NFS Ganesha Control plane * manila share = a CephFS dir + quota + unique RADOS name space Manila services (with Ceph NFS driver) Storage Cluster (with CephFS) Create shares*, share-groups, snapshots Create directories, directory snapshots Return share’s export location Return directory path, Ceph monitor addresses NFS-Ganesha gateway Allow/deny IP access Add/update/remove export on disk and using D-Bus Per directory libcephfs mount/umount with path restricted MDS caps (better security) HTTP HTTP Native Ceph Native Ceph SSH
20. 20 CephFS NFS Ganesha Data plane NFS mount the share Metadata updates Data updates Clients connected to NFS-Ganesha gateway. Better security. No single point of failure (SPOF) in Ceph storage cluster (HA of MON, MDS, OSD) OpenStack client/Nova VM Monitor Metadata Server OSD Daemon Ceph server daemons server daemons NFS Ganesha gateway NFS-Ganesha needs to be HA for no SPOF in data plane. NFS-Ganesha active/passive HA WIP (Pacemaker/Corosync) Native Ceph NFS
21. 21 Recursos • Cephfs in Jewel Stable at Last - https://www.youtube.com/watch?v=T8x1FGo60k4 • Manila on CephFS at CERN - The Short Way to Production - https://www.youtube.com/watch?v=6mbng-NPGAw • CephFS Backed NFS Share Service for Multi-Tenant Clouds - https://www.youtube.com/watch?v=BmDv-iQLv8c • Panel Experiences Scaling File Storage with CephFS and OpenStack - https://www.youtube.com/watch?v=IPhKEi3aRPg
22. Q&A ¡GRACIAS! vkmc@redhat.com