Виртуальные машины в Kubernetes: как и (главное) зачем?

Обычно виртуальные машины используются в качестве нод кластера Kubernetes, но что если их поменять местами? И начать использовать платформу Kubernetes для запуска виртуальных машин наряду с обычными контейнерами. Машинами с различными операционными системами, еще и на отличающихся архитектурах. В каких случаях это может быть полезно? На каких технологиях это будет работать и как виртуальные машины будут интегрированы в экосистему Kubernetes?

Спикер расскажет возможные решения для запуска тестовых стендов с виртуальными машинами. А также покажет возможную интеграцию с сервисами из мира Kubernetes. И наконец про трансформацию платформы тестирования в Yandex Cloud.

Спикер: Руслан Гайнанов, тимлид DevOps-команды в ИТ-Холдинге Т1

Запись доклада - https://youtu.be/SKVzJXjpyrY?si=kg3adnKFfwNEP7ub

Transcript

2. Руслан Гайнанов • Тимлид команды DevOps в дивизионе продуктовой разработки ГК Иннотех (входит в Т1) • Занимаюсь разработкой сервисов для автоматизации разработки и внедрения продуктов компании
3. Холдинг Т1 сегодня
4. 1. Описание проекта и задачи 2. Способы решения 3. Подробнее про подход 4. Выводы по решению 5. Возникшие трудности и выход Содержание
5. Предпосылки — новый продукт «Осмакс» — система распространения и обновления программного обеспечения, а также массового автоматизированного управления конфигурациями парка устройств в гетерогенной среде Система управления конфигурациями «Осмакс» https://infra.inno.tech/osmax
6. Служба управления конфигурациями
8. 1 2 3 Запускать приложения как systemd-службы Поставлять приложения в виде deb/rpm-пакетов Работать с настройками ОС: диски, устройства, пользователи Основные требования к ПО и стендам
9. 1 2 3 Запускать приложения как systemd-службы Поставлять приложения в виде deb/rpm-пакетов Работать с настройками ОС: диски, устройства, пользователи Основные требования к ПО и стендам 4 5 6 Вообще без ОС (удаленная установка ОС) Отечественные ОС (Astra, RED и т.п.) Доступ по RDP/VNC/ssh
10. Никаких контейнеров!
11. Виртуальные машины
12. Сравнение гипервизоров
13. Сравнение гипервизоров
14. KVM - QEMU • KVM — это модуль ядра Linux, ​обеспечивающий доступ к аппаратной виртуализации на базе Intel VT и AMD SVM • QEMU — эмулятор аппаратного обеспечения различных платформ, позволяющий запускать различные гостевые операционные системы • QEMU-KVM — qemu-system, запущенный с kvm в качестве ускорителя
15. Средства автоматизации
16. libvirt • libvirt — open-source проект, который занимается разработкой набора инструментов и драйверов для управления гипервизорами • Предоставляет интерфейс взаимодействия через набор XML-файлов плюс возможность автоматизации через API
17. Инструменты для управления ВМ через libvirt • the-hard-way: API (libvirt) • bash: virsh, virt-install • ansible: community.libvirt • vagrant: libvirt • terraform: libvirt • kubernetes: kubevirt, virtlet, virtink
18. Инструменты для управления ВМ через libvirt • the-hard-way: API (libvirt) • bash: virsh, virt-install • ansible: community.libvirt • vagrant: libvirt • terraform: libvirt • kubernetes: kubevirt, virtlet, virtink
19. KubeVirt
20. Два мира — один стек NA KubeCon 2019 — KubeVirt Deep Dive (video) • Logging, Metrics, Monitoring • Knowledge • Scheduling, Storage, Network
21. Kubevirt
22. Kubevirt — архитектура virt-operator virt-api virt-launcher virt-controller virt-handler
23. Kubevirt — архитектура
24. Kubevirt — архитектура
25. KubeVirt
26. Кubernetes — main resources StatefulSet Pod Pod Pod Pod ReplicaSet Deployment
27. Кubevirt — main resources VirtualMachine VirtualMachineInstance VirtualMachineInstanceReplicaSet VirtualMachineInstance VirtualMachineInstance VirtualMachineInstance
28. apiVersion: kubevirt.io/v1 kind: VirtualMachine metadata: name: testvm spec: template: spec: domain: ... networks: ... volumes: - name: containerdisk containerDisk: image: quay.io/kubevirt/cirros-container-disk-demo kubectl apply -f VM.yaml
29. kubectl apply -f VM.yaml
30. $ kubectl get pods NAME READY STATUS virt-launcher-testvm-jbkbg 2/2 Running VM → VMI → Pod с QEMU KubeVirt VM KubeVirt VMI create create KubeVirt POD KVM + QEMU Container
31. $ kubectl exec virt-launcher-testvm-jbkbg -- sh $ virsh list Id Name State 1 default_testvm running $ virsh dumpxml default_testvm <domain type='qemu' id='1'> <name>default_testvm</name> <uuid>5a9fc181-957e-5c32-9e5a-2de5e9673531</uuid> <memory unit='KiB'>524288</memory> <currentMemory unit='KiB'>524288</currentMemory> <vcpu placement='static'>1</vcpu> ... </domain> ВМ внутри контейнера в Pod’е
32. Мы запустили ВМ в Kubernetes!
33. Мы запустили ВМ в Kubernetes! И это всё?
34. 2 Где и как хранить образы? данные? бэкапы? Как подключиться к ней? 3 4 Как интегрировать ВМ с сервисами Kubernetes? Как управлять ресурсами? доступами? Мы запустили ВМ в Kubernetes! И это всё? 1
35. Работа с ВМ в k8s
36. Подключение к ВМ
37. $ virtctl console testvm $ kubectl virt console testvm $ virtctl ssh testvm $ virtctl vnc testvm Подключение к ВМ
38. apiVersion: kubevirt.io/v1 kind: VirtualMachine metadata: name: testvm spec: running: false template: metadata: labels: kubevirt.io/domain: testvm spec: ... networks: - name: default pod: {} ... Подключение к ВМ через LoadBalancer. ssh apiVersion: v1 kind: Service metadata: name: testvm-ssh spec: ports: - port: 22 protocol: TCP targetPort: 22 selector: kubevirt.io/domain: testvm type: LoadBalancer
39. $ virtctl port-forward vm/win10 udp/3389 tcp/3389 Подключение к ВМ через port-forward и RDP client virtctl port- forward proxy Your computer Pod VM
40. Подключение к ВМ через noVNC wavezhang/virtVNC — централизованный дашборд для подключения через браузер к запущенным ВМ (KubeVirt)
41. Подробнее про устройство и настройку сети 1. Режимы сети 2. Типы интерфейсов 3. Тесты производительности KubeVirt — внутреннее устройство и сеть (обзор и видео доклада)
42. Управление данными ВМ
43. David Vosse (KubeVirt VM Image Usage Patterns) There are a million ways to use and manipulate VM images with KubeVirt. That’s by design Как управлять образами ВМ в KubeVirt?
44. Типы дисков • Ephemeral • Persistent
45. 2 Есть скрипты для первичной автонастройки (cloud-init) Временное хранение данных (до перезапуска) 3 4 Подходит для тестовых сценариев Можно использовать существующий ContainerRegistry Ephemeral Volume 1
46. # VM Spec spec: template: spec: volumes: - containerDisk: image: registry.example.com/vm/fedora25 # Dockerfile FROM scratch ADD --chown=107:107 fedora25.qcow2 /disk/ Ephemeral Volume. containerDisk. Build & Push
47. Типы дисков • Ephemeral • Persistent
48. Persistent Volume 1. Долгосрочное хранение данных 2. Позволяет выполнять миграции ВМ (LiveMigration) 3. Работает через дополнительный оператор и CRD: DataVolume (DV) DV PVC Pod create mount
49. apiVersion: cdi.kubevirt.io/v1beta1 kind: DataVolume metadata: name: dv-cirros spec: source: http: url: "https://download.cirros-cloud.net/0.6.2/cirros-0.6.2-x86_64-disk.img" –– << из S3 pvc: accessModes: - ReadWriteOnce resources: requests: storage: "128Mi" Создание Data Volumes(DV)
50. apiVersion: kubevirt.io/v1 kind: VirtualMachine metadata: name: testvm-dv spec: template: spec: ... volumes: - name: dvdisk dataVolume: name: dv-cirros ––––––––––––––– << имя DV # PVs NAME CAPACITY ACCESS MODES STATUS CLAIM pvc-..-4f918b1618a7 128Mi RWO Bound default/dv-cirros Подключение Data Volumes (DV) к VM
51. Бэкапы, снапшоты и клонирование ВМ 1. Velero Plugin 2. Snapshot Restore API 3. Live Migration
52. Управление ресурсами ВМ
53. Используется Kubernetes Scheduler • requests • nodeSelector • affinity and anti-affinity • taints and tolerations Можно задать архитектуру, загрузчик (BIOS/UEFI), модель материнской платы, ЦП Есть поддержка NUMA, SRV-IOV, PCI-Passthrough (GPU, USB) 1 2 3 Что есть для управления ресурсами ВМ
54. Использование GPU VK Kubernetes Conf 2024 • Запуск ПО с GPU в ВМ через KubeVirt • NVIDIA Container Runtime • NVIDIA GPU Operator
55. Управление доступами ВМ
56. Как ограничить использование ВМ? 1. RBAC 2. NetworkPolicy 3. Webhooks (admission/mutation) Через стандартные механизмы Kubernetes: Client VM Kube-API
57. Интеграция с сервисами Kubernetes
58. Мониторинг 1. метрики формата Prometheus 2. есть grafana dashboard: – cpu – memory – io – network 3. есть runbooks по алертам 4. node-exporter внутри ВМ
59. Логирование 1. Логи ВМ не получить через kubectl logs
60. Логирование 1. Логи ВМ не получить через kubectl logs 2. Но можно через fluent-bit из journald или файла логов
61. Трассировка и Istio Есть
62. Трассировка и Istio Есть, при использовании сети pod’ов (pod network masquerade) apiVersion: kubevirt.io/v1 kind: VirtualMachineInstance metadata: annotations: sidecar.istio.io/inject: "true"
63. Выводы по решению
64. KubeVirt • Виртуалки и контейнеры в одной платформе • Накопленные знания будут использованы • Поддержка со стороны сообщества Pros:
65. KubeVirt • Виртуалки и контейнеры в одной платформе • Накопленные знания будут использованы • Поддержка со стороны сообщества Pros: • Документация оставляет желать лучшего • Поведение при больших нагрузках неизвестно • Оverhead в виде контроллеров Cons:
66. Новые вызовы
67. 2 Способ развертывания — как у заказчика Kubernetes не резиновый: под виртуалки сейчас ресурсов нет 3 4 На полноценный запуск потребуется 1–2 месяца: Разработчику нужно знать Kubernetes Оценка реализуемости 1 • подготовка образов ВМ • расширение и настройка кластера • доработка CI • настройка доступов • обучение и документация
68. 2 Способ развертывания — как у заказчика Kubernetes не резиновый: под виртуалки сейчас ресурсов нет 3 4 На полноценный запуск потребуется 1–2 месяца: Разработчику нужно знать Kubernetes Оценка реализуемости 1 • подготовка образов ВМ • расширение и настройка кластера • доработка CI • настройка доступов • обучение и документация
69. Где выход?
70. Yandex Cloud
71. Итоговое решение
72. • Есть все нужные образы ОС • Запустили тестовые стенды меньше, чем за месяц • Terraform + Ansible = «запуск по клику» • Неограниченное масштабирование Pros: Yandex Cloud
73. • Есть все нужные образы ОС • Запустили тестовые стенды меньше, чем за месяц • Terraform + Ansible = «запуск по клику» • Неограниченное масштабирование Pros: • Трудно предсказать затраты • Нагрузка на внешний канал связи • Нет установки ОС по сети (PXE), из ISO-образов Cons: Yandex Cloud
74. Контакты Гайнанов Руслан Тимлид команды DevOps в дивизионе продуктовой разработки ГК Иннотех Виртуальные машины в Kubernetes: как и (главное) зачем?