Базы данных и Kubernetes

Дмитрий Столяров Базы данных и Kubernetes CTO & Co-founder v4

А можно базу в Kubernetes? ? ? ? ? ?
?

А можно базу в Kubernetes? ? ? ? ? ?
? В целом да, но... !

? ? ? ? ? ? В целом да, но...
! А можно базу в Kubernetes?

? ? ? ? ? ? В целом да, но...
! А можно базу в Kubernetes? stateful

? ? ? ? ? ? А можно базу в
Kubernetes? stateful Зачем он нам в Kubernetes?

? ? ? ? ? ? А можно базу в
Kubernetes? stateful Зачем он нам в Kubernetes? О каком stateful идет речь?

О каком stateful идет речь? Relational Database NoSQL Database

О каком stateful идет речь? Relational Database NoSQL Database In-memory
Database

О каком stateful идет речь? Relational Database NoSQL Database In-memory
Database Message Queue

О каком stateful идет речь? Search Engine Relational Database NoSQL
Database In-memory Database Message Queue

О каком stateful идет речь? Search Engine Object Storage Relational
Database NoSQL Database In-memory Database Message Queue

О каком stateful идет речь? Search Engine Object Storage Relational
Database NoSQL Database In-memory Database Message Queue Configuration & Service Discovery

О каком stateful идет речь? ... Search Engine Object Storage
Relational Database NoSQL Database In-memory Database Message Queue Configuration & Service Discovery

Философия высокой доступности в Kubernetes Хранение данных и Kubernetes Гарантии
согласованности в Kubernetes

#1 Философия высокой доступности в Kubernetes

cattle pets

RAID RAID

RAID MySQL RAID MySQL

RAID MySQL keepalived RAID MySQL keepalived

RAID MySQL keepalived IP RAID MySQL keepalived IP

RAID MySQL keepalived IP RAID MySQL keepalived IP ...

RAID MySQL keepalived IP RAID MySQL keepalived IP PHP PHP
... PHP

RAID MySQL keepalived IP RAID MySQL keepalived IP PHP ...
PHP PHP

... PHP

... PHP PHP

RAID MySQL keepalived IP RAID MySQL keepalived IP Механизмы high
availability PHP PHP ... PHP PHP

availability Deployment и StatefulSet PHP PHP ... PHP PHP

availability Deployment и StatefulSet PodAntiAffinity PHP PHP ... PHP PHP

RAID MySQL keepalived IP RAID MySQL keepalived IP Deployment и
StatefulSet PodAntiAffinity PodDisruptionBudgets Механизмы high availability PHP PHP ... PHP PHP

StatefulSet PodAntiAffinity PodDisruptionBudgets Механизмы high availability PHP PHP ... PHP

StatefulSet PodAntiAffinity PodDisruptionBudgets Механизмы high availability PHP PHP ... PHP PHP

... PHP PHP

Итог

Есть мощный фундамент Итог

Есть мощный фундамент Требуются другие подходы Итог

Есть мощный фундамент Требуются другие подходы Для stateful важна надежность
узлов Итог

#2 Гарантии согласованности в Kubernetes

DB IP DB IP keepalived keepalived Как оно было раньше?

App App App App App DB IP DB IP App
App App App App keepalived keepalived Как оно было раньше?

App App App App Balancer Balancer keepalived keepalived Как оно было раньше?

App App App App Balancer Balancer keepalived keepalived IP Как оно было раньше?

App App App App Balancer Balancer keepalived keepalived Как оно было раньше?

App App App App Balancer Balancer Как оно было раньше?

App App App App Balancer Balancer corosync corosync corosync Как оно было раньше?

App App App App App DB IP App App App
App App Balancer Balancer corosync corosync DB IP corosync Как оно было раньше?

App App App App App App App App App App
Balancer Balancer DB IP corosync Как оно было раньше? DB IP corosync corosync

Balancer Balancer DB IP corosync Как оно было раньше? DB IP corosync corosync 1

Balancer Balancer DB IP corosync Как оно было раньше? DB IP corosync IP 2 corosync 2 1

Balancer Balancer corosync DB IP corosync Как оно было раньше? DB IP corosync IP

Balancer Balancer corosync DB IP corosync Как оно было раньше? DB IP corosync IP At-most-once guarantee

А как там в Kubernetes?

app-csm52 app-59ptg app-xfvr7 Deployment А как там в Kubernetes?

app-csm52 app-59ptg app-xfvr7 db-0 db-1 Deployment StatefulSet А как там
в Kubernetes?

app-csm52 app-59ptg app-xfvr7 Deployment StatefulSet А как там в Kubernetes?
db-0 db-1

app-csm52 app-59ptg app-xfvr7 app-ck9cm Deployment StatefulSet А как там в
Kubernetes? db-0 db-1

Kubernetes? At-most-once guarantee db-0 db-1

app-59ptg app-xfvr7 app-ck9cm Deployment StatefulSet А как там в Kubernetes?
db-1 app-csm52 db-0

app-59ptg app-xfvr7 app-ck9cm Deployment StatefulSet А как там в Kubernetes?
db-1 app-csm52 Может продолжить писать в базу! db-0

Kubernetes? At-most-once guarantee но также требуется fencing db-0 db-1

Kubernetes? At-most-once guarantee но так же требуется fencing db-0 db-1 Все еще требуется fencing!!

Kubernetes? At-most-once guarantee но так же требуется fencing db-0 db-1 Все еще требуется fencing!! ...или?

Другой подход

DB IP DB IP App App App App App App
App App App App Balancer Balancer Другой подход

App App App App Balancer Balancer Другой подход LB

App App App App Balancer Balancer Другой подход LB “Consistent Switchover”

App App App App Balancer Balancer Другой подход LB Но как сделать generic?

App App App App Balancer Balancer Другой подход

P App P App P App P App P Balancer Balancer Другой подход

P App P App P App P App P Balancer Balancer “Consistent Switchover” Другой подход

Итог

Есть семантика at-most-once Итог

Есть семантика at-most-once Нет fencing’а, хотя можно и сделать Итог

Есть семантика at-most-once Нет fencing’а, хотя можно и сделать Очень
не хватает Consistent Switchover Итог

#3 Хранение данных и Kubernetes

Network Block Device aka SAN ReadWriteOnce Kubernetes Access Mode:

Network Block Device aka SAN ReadWriteOnce Kubernetes Access Mode: Public
cloud: AzureDisk AWSElasticBlockStore GCEPersistentDisk

cloud: AzureDisk AWSElasticBlockStore GCEPersistentDisk Private cloud: Cinder VsphereVolume

cloud: AzureDisk AWSElasticBlockStore GCEPersistentDisk Private cloud: Cinder VsphereVolume Bare metal or private cloud: Ceph RBD Fibre Channel iSCSI

Network Block Device db-0

Network Block Device

Network Block Device db-0

IOPS & Latency

IOPS & Latency NVMe MySQL 100µs

IOPS & Latency NVMe MySQL RDMA NVMe MySQL 150µs 100µs

IOPS & Latency NVMe MySQL RDMA NVMe MySQL Commodity iSCSI
MySQL 100µs 1ms 150µs

IOPS & Latency NVMe MySQL RDMA NVMe MySQL AWS EBS
MySQL Commodity iSCSI MySQL 100µs 1ms 2-5ms 150µs

MySQL Commodity iSCSI MySQL 100µs 1ms 2-5ms 150µs Performance Analysis of NVMe SSDs and their Implication on Real World Databases https://www.cs.utah.edu/~manua/pubs/systor15.pdf NVMe Performance Local vs. Remote https://www.samsung.com/us/labs/pdfs/2016-fms-forum-f-22-nvmf-local-remote-v05.pdf

MySQL Commodity iSCSI MySQL Допустим, базе данных требуется ~50K IOPS 100µs 1ms 2-5ms 150µs Performance Analysis of NVMe SSDs and their Implication on Real World Databases https://www.cs.utah.edu/~manua/pubs/systor15.pdf NVMe Performance Local vs. Remote https://www.samsung.com/us/labs/pdfs/2016-fms-forum-f-22-nvmf-local-remote-v05.pdf

IOPS & Latency NVMe MySQL 100µs 5 threads RDMA NVMe
MySQL 150µs AWS EBS MySQL 2-5ms Commodity iSCSI MySQL 1ms Performance Analysis of NVMe SSDs and their Implication on Real World Databases https://www.cs.utah.edu/~manua/pubs/systor15.pdf NVMe Performance Local vs. Remote https://www.samsung.com/us/labs/pdfs/2016-fms-forum-f-22-nvmf-local-remote-v05.pdf Допустим, базе данных требуется ~50K IOPS

IOPS & Latency Performance Analysis of NVMe SSDs and their
Implication on Real World Databases https://www.cs.utah.edu/~manua/pubs/systor15.pdf NVMe Performance Local vs. Remote https://www.samsung.com/us/labs/pdfs/2016-fms-forum-f-22-nvmf-local-remote-v05.pdf NVMe MySQL 100µs 5 threads RDMA NVMe MySQL 150µs 7.5 threads AWS EBS MySQL 2-5ms Commodity iSCSI MySQL 1ms Допустим, базе данных требуется ~50K IOPS

Implication on Real World Databases https://www.cs.utah.edu/~manua/pubs/systor15.pdf NVMe Performance Local vs. Remote https://www.samsung.com/us/labs/pdfs/2016-fms-forum-f-22-nvmf-local-remote-v05.pdf NVMe MySQL 100µs 5 threads RDMA NVMe MySQL 150µs 7.5 threads AWS EBS MySQL 2-5ms Commodity iSCSI MySQL 1ms 50 threads Допустим, базе данных требуется ~50K IOPS

Implication on Real World Databases https://www.cs.utah.edu/~manua/pubs/systor15.pdf NVMe Performance Local vs. Remote https://www.samsung.com/us/labs/pdfs/2016-fms-forum-f-22-nvmf-local-remote-v05.pdf NVMe MySQL 100µs 5 threads RDMA NVMe MySQL 150µs 7.5 threads AWS EBS MySQL 2-5ms 100-250 threads Commodity iSCSI MySQL 1ms 50 threads Допустим, базе данных требуется ~50K IOPS

cloud: AzureDisk AWSElasticBlockStore GCEPersistentDisk Private cloud: Cinder VsphereVolume Bare metal or private cloud: Ceph RBD Fibre Channel iSCSI Local Storage ReadWriteOnce Kubernetes Access Mode: Это просто локальный диск: SATA / SAS / SSD / NVME

db-0 Local storage

cloud: AzureDisk AWSElasticBlockStore GCEPersistentDisk Private cloud: Cinder VsphereVolume Bare metal or private cloud: Ceph RBD Fibre Channel iSCSI Local Storage ReadWriteOnce Kubernetes Access Mode: Это просто локальный диск: SATA / SAS / SSD / NVME

ReadWriteOnce db-0

ReadWriteOnce db-0 db-1

ReadWriteOnce db-0 db-1 pv-1 pv-0

ReadWriteOnce и Stateful Set db-0 pv-1 pv-0 db-1

ReadWriteOnce и Stateful Set db-0 db-1 pv-1 pv-0

ReadWriteOnce и Stateful Set db-0 db-1 db-2 pv-1 pv-0 pv-2

Network Block Device Network File System aka SAN aka NAS
ReadWriteOnce Kubernetes Access Mode: ReadWriteMany Kubernetes Access Mode: Public cloud: AzureDisk AWSElasticBlockStore GCEPersistentDisk Private cloud: Cinder VsphereVolume Bare metal or private cloud: Ceph RBD Fibre Channel iSCSI Local Storage ReadWriteOnce Kubernetes Access Mode: Это просто локальный диск: SATA / SAS / SSD / NVME

ReadWriteOnce Kubernetes Access Mode: ReadWriteMany Kubernetes Access Mode: Public cloud: AzureDisk AWSElasticBlockStore GCEPersistentDisk Private cloud: Cinder VsphereVolume Bare metal or private cloud: Ceph RBD Fibre Channel iSCSI Public cloud: AzureFile AWSElasticFileSystem Local Storage ReadWriteOnce Kubernetes Access Mode: Это просто локальный диск: SATA / SAS / SSD / NVME

ReadWriteOnce Kubernetes Access Mode: ReadWriteMany Kubernetes Access Mode: Public cloud: AzureDisk AWSElasticBlockStore GCEPersistentDisk Private cloud: Cinder VsphereVolume Bare metal or private cloud: Ceph RBD Fibre Channel iSCSI Public cloud: AzureFile AWSElasticFileSystem Bare metal or private cloud: CephFS Glusterfs NFS Local Storage ReadWriteOnce Kubernetes Access Mode: Это просто локальный диск: SATA / SAS / SSD / NVME

Network File System PHP PHP PHP

ReadWriteOnce Kubernetes Access Mode: ReadWriteMany Kubernetes Access Mode: Public cloud: AzureDisk AWSElasticBlockStore GCEPersistentDisk Private cloud: Cinder VsphereVolume Bare metal or private cloud: Ceph RBD Fibre Channel iSCSI Public cloud: AzureFile AWSElasticFileSystem Bare metal or private cloud: CephFS Glusterfs NFS Local Storage ReadWriteOnce Kubernetes Access Mode: Это просто локальный диск: SATA / SAS / SSD / NVME

Итог

Итог С ReadWriteOnce всё отлично!

Итог С ReadWriteOnce всё отлично! Старайтесь избегать Network File System

Всё, освоено!

Философия высокой доступности Гарантии согласованности Хранение данных Практика!

#1 Standalone

postgres-0

postgres-0 mysql-0

mysql-0 StatefulSet

mysql-0 mysql StatefulSet

app mysql-0 mysql StatefulSet

#2 Реплицированная пара с ручным переключением

mysql-a-0 StatefulSet

mysql-a-0 mysql-a StatefulSet

mysql-b-0 StatefulSet mysql-a-0 mysql-a StatefulSet

mysql-b-0 StatefulSet mysql-a-0 mysql-a StatefulSet репликация

mysql-b-0 mysql-b StatefulSet mysql-a-0 mysql-a StatefulSet репликация

mysql-b-0 mysql-b StatefulSet mysql-a-0 mysql-a StatefulSet mysql репликация

app mysql-b-0 mysql-b StatefulSet mysql-a-0 mysql-a StatefulSet mysql репликация

#3 Масштабирование нагрузки на чтение

MySQL mysql-ro-0 StatefulSet mysql-ro-1 mysql-ro-2 ... репликация

MySQL mysql-ro-0 StatefulSet mysql-ro-1 mysql-ro-2 ... репликация mysql-ro

MySQL mysql-ro-0 StatefulSet mysql-ro-1 mysql-ro-2 ... репликация mysql-ro app read

MySQL mysql-ro-0 StatefulSet mysql-ro-1 mysql-ro-2 ... репликация mysql-ro app write
read

#4 Умный клиент

mc-0 StatefulSet mc-1 mc-2

mc-0 StatefulSet memcached mc-1 mc-2

mc-1 mc-0 StatefulSet memcached mc-2 mc-0.memcached mc-1.memcached mc-2.memcached

mc-1 mc-0 StatefulSet memcached app mc-2 mc-0.memcached mc-1.memcached mc-2.memcached репликация
шардинг

#5 Cloud Native-решения

Умеют сами Failover Recovery Consistency

db-1 db-0 StatefulSet db-2

1. Как узлы узнают друг о друге?

1. Как узлы узнают друг о друге? Kubernetes API

1. Как узлы узнают друг о друге? Kubernetes API DNS
(несколько A-записей)

(несколько A-записей) Статически

(несколько A-записей) Статически Seed-узлы

(несколько A-записей) Статически Seed-узлы Сторонний Service Discovery

2. Как подключается клиент?

rabbitmq-1 rabbitmq-0 StatefulSet rabbitmq-2 app rabbitmq 2. Как подключается клиент?

app mg-1 mg-0 StatefulSet mongo mg-2 mc-0.mongo mc-1.mongo mc-2.mongo 2.
Как подключается клиент?

3. Горизонтальное масштабирование?

minio-1 minio-0 StatefulSet minio-2 3. Горизонтальное масштабирование? Нет

minio-1 minio-0 StatefulSet minio-2 cassandra-1 cassandra-0 StatefulSet cassandra-2 ... 3.
Горизонтальное масштабирование Нет Есть

minio-1 minio-0 StatefulSet minio-2 cassandra-1 cassandra-0 StatefulSet cassandra-2 ... mongo-a-1
mongo-a-0 StatefulSet mongo-a-2 mongo-a-1 mongo-a-0 StatefulSet mongo-a-2 ... 3. Горизонтальное масштабирование Нет Есть Есть #2

Отлично сочетаются с Kubernetes

cattle pets Отлично сочетаются с Kubernetes

#6 Stolon PostgreSQL

PostgreSQL cloud native High Availability

cattle pets PostgreSQL cloud native High Availability

etcd-0 StatefulSet etcd-1 etcd-2 etcd

etcd-0 StatefulSet etcd-1 etcd-2 etcd keeper-0 StatefulSet keeper-1 keeper-2 postgresql
postgresql postgresql

etcd-0 StatefulSet etcd-1 etcd-2 etcd sentinel Deployment sentinel keeper-0 StatefulSet
keeper-1 keeper-2 postgresql postgresql postgresql

keeper-1 keeper-2 master postgresql postgresql postgresql

keeper-1 keeper-2 master standby standby postgresql postgresql postgresql

keeper-1 keeper-2 master standby standby postgresql postgresql postgresql репликация репликация

etcd-0 StatefulSet etcd-1 etcd-2 etcd sentinel Deployment sentinel proxy Deployment
proxy keeper-0 StatefulSet keeper-1 keeper-2 master standby standby postgresql postgresql postgresql репликация репликация

proxy keeper-0 StatefulSet keeper-1 keeper-2 master standby standby postgresql postgresql postgresql репликация репликация Consistent Switchover

proxy postgresql keeper-0 StatefulSet keeper-1 keeper-2 master standby standby postgresql postgresql postgresql репликация репликация Consistent Switchover

app etcd-0 StatefulSet etcd-1 etcd-2 etcd sentinel Deployment sentinel proxy
Deployment proxy postgresql keeper-0 StatefulSet keeper-1 keeper-2 master standby standby postgresql postgresql postgresql репликация репликация Consistent Switchover

Deployment proxy postgresql keeper-0 StatefulSet keeper-1 keeper-2 master standby standby postgresql postgresql postgresql репликация репликация Consistent Switchover cattle pets

Deployment proxy postgresql keeper-0 StatefulSet keeper-1 keeper-2 master standby standby postgresql postgresql postgresql репликация репликация Consistent Switchover

RAID MySQL keepalived IP RAID MySQL keepalived IP app etcd-0
StatefulSet etcd-1 etcd-2 etcd sentinel Deployment sentinel proxy Deployment proxy postgresql kpr-0 StatefulSet kpr-1 kpr-2 master stndby stndby репликация репликация

github.com/flant/grafana-statusmap grafana-statusmap Grafana panel plugin to visualize status of multiple
objects over time. Звезданите нас, пожалуйста!

github.com/flant/dapp dapp И тут тоже звезданите, плиз! 95% документации переведено
на английский Перевод на GO готов на 60% Добавлена поддержка yaml и ansible Увеличена скорость работы с git и размер repo больше не влияет на потребление памяти Увеличена скорость работы с docker-registry и добавлена поддержка Google Container Registry Была придумана before-hook-creation hook delete policy, которая была впоследствии добавлена в helm

Наши Docker/K8s-проекты github.com/flant/dapp github.com/flant/loghouse Дмитрий Столяров [email protected] linkedin.com/in/distol github.com/distol Всем
спасибо! Наш блог на Хабре habr.com/company/flant/ Наш YouTube-канал youtube.com/c/flant

Базы данных и Kubernetes

Базы данных и Kubernetes

More Decks by flant

Other Decks in Technology

Featured

Transcript