Kubernetes Operator for vSphere VM

KubernetesからvSphereのVMを作成してみる

Transcript

1. Kubernetes Operator for vSphere VM KubernetesからvSphereのVMを作成してみる VMware DevOps Meetup #3
2. 今日のお話 KubernetesのOperatorを利用して、Kubernetes APIからvSphere上に仮想マシンを作 ります。 紹介するOperatorはPoC向けでありプロダクション向けのものではありません。 VMworld 2019 Session: Kubernetes Operators for VMware Enterprise PKS and VMware Cloud PKS [CODE1360U] の内容をベースにしています。 • Streaming : https://videos.vmworld.com/global/2019/videoplayer/27913 • Presentation : https://cms.vmworldonline.com/event_data/12/session_notes/CODE1360U.pdf • Github : https://github.com/embano1/kopf-operator-vmworld
3. Master3 Master2 Node Node Master1 Node Client (kubectl) API Server Cluster State Store (etcd) kubelet Container Runtime Pod (Container) Controller Manager Controllers Scheduler Kubernetesのアーキテクチャ
4. KubernetesのReconciliation Loop Observe Analyze Act 期待する状態を現在 の状態を比較 状態の差異を 埋める API Serverへ 現在の状態を 問い合わせる • Deployment • ReplicaSet • StatefulSet • ...etc
5. Operatorとは Operatorは”Custom Resource Defnition”と”Custom Controller”の組み合わせ。 ステートフルなアプリケーション等に対する運用のナレッジをコード化し、Kubernetes API上でアプリケーションライフサイクルの管理を実現する。 Operator CRD (Custom Resource Definition) Controller (Custom Controller) ＋ ＝ • Custom Resource Definition : KubernetesのAPI上に任意のリソースを追加する • Custom Controller : CRDによって定義されたカスタムリソースのライフサイクルを管理する https://coreos.com/blog/introducing-operators.html Introducing Operators: Putting Operational Knowledge into Software 2016/11/3 Brandon Philips
6. Operatorの例 • MySQL • Elasticsearch • Kafka • Istio • Sysdig Agent • Velero • Amazon RDS • etc... https://operatorhub.io/
7. Master3 Master2 Node Node Master1 Node Client (kubectl) API Server Cluster State Store (etcd) kubelet Container Runtime Pod (Container) Controller Manager Controllers Scheduler vSphereへの対応 Custom Controller CRD
8. VmGroup(vg)をCRDとして定義する。 Custom Resource Definition(CRD) apiVersion: apiextensions.k8s.io/v1beta1 kind: CustomResourceDefinition metadata: name: vmgroups.vsphere.vmware.com spec: scope: Namespaced group: vsphere.vmware.com versions: - name: v1alpha1 served: true storage: true names: kind: VmGroup plural: vmgroups singular: vmgroup shortNames: - vg additionalPrinterColumns: - name: Template type: string priority: 0 JSONPath: .spec.template description: Template this VM group is based on - name: Desired type: integer priority: 0 JSONPath: .spec.replicas description: The number of configured replicas in this VM group - name: Available type: string priority: 0 JSONPath: .status.vm_operator.currentReplicas description: The number of available replicas in this VM group - name: Phase type: string priority: 0 JSONPath: .status.vm_operator.phase description: Deployment status of this VM group
9. Controllerの作成 - Operator Frameworkの利用 • kopf : Kubernetes Operator Pythonic Framework ◦ https://github.com/zalando-incubator/kopf ◦ Kubernetes APIの詳細を知らなくても Reconsilication Logicが実装可能 ◦ Supported Language : Python • その他のFramework ◦ Operator Framework - https://github.com/operator-framework ▪ Supported Languanges : Golang (HelmチャートやAnsible Playbookの再利用が可能) ◦ Kubebuilder - https://github.com/kubernetes-sigs/kubebuilder ▪ Supported Languages: Golang ◦ Google Metacontroller - https://metacontroller.app ▪ Supported Languages: Python, JavaScript,
10. Kopfを使って、Kubernetes API上でVmGroup(vg)をCRDのライフサイクルを管理する ためのコントローラーを作成する。 Custom Controller import kopf from pyVim.connect import Disconnect from pyVmomi import vim @kopf.on.event('vsphere.vmware.com', 'v1alpha1', 'vmgroups') def vm_operator(event, spec, meta, status, logger, **_): sleep(3) if event_type == "DELETED": delete_vm_group(vmgroup, logger) return try: phase = status['vm_operator']['phase'] except KeyError: phase = "PENDING" if phase == "PENDING": exists = vm_group_exists(vmgroup) ... https://github.com/embano1/kopf-operator-vmworld/blob/master/controller.py ... def create_vm_group (vmgroup_name: str, vmgroup_spec: Dict[str, str], logger: logging.Logger) -> int: try: vsphere.create_folder(dc, vmgroup_name) except vsphere.ObjectAlreadyExists as e: logger.warn(str(e)) return try: created = vsphere.clone_vm(content, dc, CLUSTER, DATASTORE, vmgroup_name, vmgroup_spec, logger) except vsphere.CloneError as e: logger.warn(str(e)) return -1 return created Reconciliation Loopの実装
11. Custom Resourceの作成 CRDとして作成した VmGroup リソースを作成する。 apiVersion: vsphere.vmware.com/v1alpha1 kind: VmGroup metadata: name: kopf-example labels: vmdevops: "0918" spec: cpu: 1 memory: 1 template: kopf-vm-template replicas: 3 # kubectl apply -f demo.yaml vmgroup.vsphere.vmware.com/kopf-example created # kubectl get vmgroup NAME TEMPLATE DESIRED AVAILABLE PHASE kopf-example kopf-vm-template 3 3 READY
12. デモ
13. Project Pacific ここ Project Pacific – Technical Overview : https://blogs.vmware.com/vsphere/2019/08/project-pacific-technical-overview.html