運用性向上のためのベアメタルサーバ制御機能の紹介

by Shukun

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

背景 ◼ コンテナオーケストレーションによるサービスの運用が普及 ◼ 運用コスト最適化の観点から、すべてのサービスをクラウド上で運用するのではなく、ハイブリッドクラウド運用が増えてきている ◼ 下記の理由から、オンプレ環境でベアメタルサーバの要望あり Copyright 2020 FUJITSU LIMITED ワークロードの高いサービス HWアクセラレーションなどの特殊なデバイスを利用ビジネスの都合上扱うデータ量が多く、クラウドに移行させられない性能コスト 3

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

◼ Kubernetes上でKubernetesクラスタを管理するためのAPI 以下のプロバイダーを定義してCluster-API に命令することでK8sクラスタが作成される ◼ Infrastructure provider •マシン、ネットワークを提供 ◼ Control plane provider •K8sコンポを制御するための情報を提供 •参照実装：kubeadm control plane ◼ Bootstrap provider •K8sのノードにするための起動情報を提供 •参照実装：Cluster api bootstrap provider kubeadm(CABPK) Cluster-APIとは？ Kubernetes cluster K8sノード Infrastructure Provider Bootstrap Provider K8sノード K8sノード Machine Copyright 2020 FUJITSU LIMITED Control Plane Provider 8

Slide 10

Slide 10 text

Kubernetes クラスタ Metal3-ioとは? ◼Kubernetesクラスタ向けベアメタルサーバ制御機能を提供 ◼ K8s上で動くアプリの一つ、K8sで管理される ◼ Cluster-APIのインフラプロバイダーの、ベアメタル担当のうちの一つ Copyright 2020 FUJITSU LIMITED Cluster-API AWS VMware Azure GCP KVM Metal3-io インフラクラスタ作成 (cluster.yaml) 9

Slide 11

Slide 11 text

Slide 12

Slide 12 text

アーキテクチャ（Cluster-API + metal3-io） Copyright 2020 FUJITSU LIMITED KubeadmConfigTemplate MachineDeployment Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig Worker Custom Resource Definition Controller 参照 11

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

アーキテクチャ(Cluster-API core) Copyright 2020 FUJITSU LIMITED KubeadmConfigTemplate MachineDeployment Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig capi-controller-manager 参照 17 Custom Resource Definition Controller

Slide 19

Slide 19 text

アーキテクチャ（Control plane Provider） Copyright 2020 FUJITSU LIMITED KubeadmConfigTemplate MachineDeployment Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig capi-kubeadm-control-plane- controller-manager 参照 18 Custom Resource Definition Controller

Slide 20

Slide 20 text

アーキテクチャ（Bootstrap Provider） Copyright 2020 FUJITSU LIMITED KubeadmConfigTemplate MachineDeployment Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig capi-kubeadm-bootstrap- controller-manager 参照 19 Custom Resource Definition Controller

Slide 21

Slide 21 text

アーキテクチャ（Infrastructure Provider） Copyright 2020 FUJITSU LIMITED KubeadmConfigTemplate MachineDeployment Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig capm3-controller-manager 参照 20 Custom Resource Definition Controller

Slide 22

Slide 22 text

Control Planeができるまでの処理 Copyright 2020 FUJITSU LIMITED Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Control plane KubeadmConfig Machine capi-controller-manager capi-kubeadm-control-plane-controller-manager capi-kubeadm-bootstrap-controller-manager capm3-controller-manager 21

Slide 23

Slide 23 text

Control Planeができるまでの処理（1/9） Copyright 2020 FUJITSU LIMITED Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Control plane KubeadmConfig Machine capi-controller-manager Cluster controller １．Clusterリソースに基づいて、Metal3Cluster, kubeadmControlPlaneの所属情報（ownerRef）を設定２．Metal3Clusterの状態や情報（apiendpointなど）を監視して、Clusterに反映させる 22

Slide 24

Slide 24 text

Control Planeができるまでの処理（2/9） Copyright 2020 FUJITSU LIMITED Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Control plane KubeadmConfig Machine capi-controller-manager Cluster controller １．Clusterリソースに基づいて、Metal3Cluster, kubeadmControlPlaneのownerRefを設定２．Metal3Clusterの状態や情報（apiendpointなど）を監視して、Clusterに反映させる 23

Slide 25

Slide 25 text

Control Planeができるまでの処理（3/9） Copyright 2020 FUJITSU LIMITED Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Control plane KubeadmConfig Machine capi-kubeadm-control-plane-controller-manager Kubeadm control plane controller １．KubeadmControlPlaneのOwnerRefに記載されている所有者（Owner）の状態をチェック２．InfraMachineTemplateによってInfraMachineを作成３．自身のSpec.kubeadmConfigSpecによってKubeadmConfigを作成４．作成したInfraMachineとKubeadmConfigをもとにMachineを作成 24

Slide 26

Slide 26 text

Control Planeができるまでの処理（4/9） Copyright 2020 FUJITSU LIMITED Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Control plane KubeadmConfig Machine capi-kubeadm-control-plane-controller-manager Kubeadm control plane controller １．KubeadmControlPlaneのOwnerRefに記載されているOwnerの状態をチェック２．InfraMachineTemplateによって起動したいサーバのOS情報など（ InfraMachine）を作成３．自身のSpec.kubeadmConfigSpecによってKubeadmConfigを作成４．作成したInfraMachineとKubeadmConfigをもとにMachineを作成 25

Slide 27

Slide 27 text

Control Planeができるまでの処理（5/9） Copyright 2020 FUJITSU LIMITED Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Control plane KubeadmConfig Machine capi-kubeadm-control-plane-controller-manager Kubeadm control plane controller １．KubeadmControlPlaneのOwnerRefに記載されているOwnerの状態をチェック２．InfraMachineTemplateによってInfraMachineを作成３．自身のSpec.kubeadmConfigSpecによってKubeadmConfigを作成４．作成したInfraMachineとKubeadmConfigをもとにMachineを作成 26

Slide 28

Slide 28 text

Control Planeができるまでの処理（6/9） Copyright 2020 FUJITSU LIMITED Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Control plane KubeadmConfig Machine capi-kubeadm-control-plane-controller-manager Kubeadm control plane controller １．KubeadmControlPlaneのOwnerRefに記載されているOwnerの状態をチェック２．InfraMachineTemplateによってInfraMachineを作成３．自身のSpec.kubeadmConfigSpecによってKubeadmConfigを作成４．作成したInfraMachineとKubeadmConfigをもとにMachineを作成 27

Slide 29

Slide 29 text

Control Planeができるまでの処理（7/9） Copyright 2020 FUJITSU LIMITED Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Control plane KubeadmConfig Machine capi-kubeadm-bootstrap-controller-manager Kubeadm config controller 1. Pending状態のMachineに対して、BootstrapConfig.Status.BootstrapDataを設定（マシン起動時に必要な情報：ex. Cloud-init、kubeadm initなど） 28

Slide 30

Slide 30 text

Control Planeができるまでの処理（8/9） Copyright 2020 FUJITSU LIMITED Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Control plane KubeadmConfig Machine capi-controller-manager Machine controller 関連するMetal3Machineの状態などを監視して、Machine自身の稼働状態（pending、provisioning、provisioned、running）を設定 29

Slide 31

Slide 31 text

Control Planeができるまでの処理（9/9） Copyright 2020 FUJITSU LIMITED Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Control plane KubeadmConfig Machine capm3-controller-manager Metal3Machine Controller Machineを参照してMetal3Machine情報を更新し、Machineをprovisioningする Control Planeの完成 30

Slide 32

Slide 32 text

Cluster-APIとmetal3-ioとの関連 Copyright 2020 FUJITSU LIMITED Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Control plane KubeadmConfig Machine Metal3-io あくまでデータ Ex. Ubuntu20作りたい実際にベアメタルサーバを配備 Ex. Ubuntu20をプロビジョニング 31

Slide 33

Slide 33 text

Metal³のアーキテクチャ Metal3Machine BareMetalHost Bare Metal Server Copyright 2020 FUJITSU LIMITED capm3-controller-manager ホストインベントリ BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server 要求 Bare metal server backend Baremetal Operator 32

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Metal³のアーキテクチャ Metal3Machine BareMetalHost Bare Metal Server Copyright 2020 FUJITSU LIMITED capm3-controller-manager Metal3Machine Controller ホストのインベントリから適切なBareMetalHostを抽出し、baremetalhostオブジェクトの情報を更新（bootstrap dataなど）ホストインベントリ BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server 要求 34

Slide 36

Slide 36 text

Metal³のアーキテクチャ Metal3Machine BareMetalHost Bare Metal Server Copyright 2020 FUJITSU LIMITED Baremetal Operator Bare metal host controller Baremetalhostリソースを監視し、ベアメタルサーバの命令をバックエンドに対して発行ホストインベントリ BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server 要求 35

Slide 37

Slide 37 text

Metal³のアーキテクチャ Metal3Machine BareMetalHost Bare Metal Server Copyright 2020 FUJITSU LIMITED Bare metal server backend Openstack Ironic Baremetal operatorから指示をもらい、ベアメタルサーバを配備（inspect、電源管理、OSインストールなど）ホストインベントリ BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server 要求バックエンドには Openstack Ironicを流用 • OpenStack Foundationにて品質が確保 • 開発コスト削減 36

Slide 38

Slide 38 text

【補足】OpenStack Ironicとは？ ◼ 物理マシンの配備を行うコンポーネントベアメタル（BM: Bare Metal）プロビジョニング ◼ テナント利用者はNova経由でベアメタルサーバを配備可能 Hypervisor Provide same API for users Manage VMs Manage BMs Give me an instance Flavor Flavor … … Copyright 2020 FUJITSU LIMITED 37

Slide 39

Slide 39 text

ベアメタルサーバが配備されるまでの動きベアメタルサーバ：配備可能な状態へと移行電源ON ⇒ PXEboot ⇒ initramfs起動 ⇒ inspection（HW情報収集） BaremtalHostの State： Registering ⇒ Inspecting ⇒ READY Copyright 2020 FUJITSU LIMITED BareMetalHost が作成される BareMetalHost Metal3Machine とが関連づくベアメタルサーバ：プロビジョニング（配備）される電源ON ⇒ PXEboot ⇒ initramfs起動 ⇒ OSイメージ転送 ⇒ 再起動 BaremtalHostの State： READY ⇒ Provisioning ⇒ Provisioned ① ② 38

Slide 40

Slide 40 text

Slide 41

Slide 41 text

◼ ワークロードの負荷に応じたクラスタ規模の自動調整機能 ◼ この実現に向けて、下記の機能を開発中： ◼ ネットワーク自動設定 ◼ ベアメタルサーバのソフトリセットクラスタオートリサイズ本番環境 Worker Node Worker Node テスト環境 Master Node Worker Node Master Node 本番環境 Master Node Worker Node Worker Node テスト環境 Master Node Worker Node Copyright 2020 FUJITSU LIMITED 40

Slide 42

Slide 42 text

◼ ワークロードの負荷に応じたクラスタ規模の自動調整機能 ◼ この実現に向けて、下記の機能を開発中： ◼ ネットワーク自動設定 ◼ クラスタのオートスケール機能 ◼ ベアメタルサーバのソフトリセットクラスタオートリサイズ本番環境 Worker Node Worker Node テスト環境 Master Node Worker Node Master Node 本番環境 Master Node Worker Node Worker Node テスト環境 Master Node Worker Node Copyright 2020 FUJITSU LIMITED コミュニティに提案するも、以下の理由で承認されず： • 規模が大きすぎて、Metal3の役割を超えている • ベアメタルサーバの再配備の時間(2, 30分)は許容できないしオートスケールは無意味になる 41

Slide 43

Slide 43 text

Slide 44

Slide 44 text

◼ SwitchのCRDと制御用コントローラーを追加（Create, delete, configure vlan …） ◼ 物理スイッチの設定はAnsibleを利用 ◼ 現在は、自社スイッチ向けのAnsible-collectionsを開発中ネットワーク自動設定（2/2） Kubernetes cluster Switch Switch Bare Metal Server Switch Controller Machine BareMetalHost 管理LAN 業務LAN Copyright 2020 FUJITSU LIMITED BareMetal BMC NIC 43

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Metal3-ioコミュニティにてマルチベンダサポートを充実させましょう終わりに https://github.com/metal3-io https://groups.google.com/forum/#!forum/metal3-dev #cluster-api-baremetal channel on Kubernetes slack Copyright 2020 FUJITSU LIMITED 45