運用性向上のためのベアメタルサーバ制御機能の紹介

運用性向上のためのベアメタルサーバ制御機能の紹介富士通株式会社プラットフォームソフトウェア事業本部 Linuxソフトウェア事業部開発部古川勇志郎、宋書坤 0
Copyright 2020 FUJITSU LIMITED

発表者古川勇志郎（Furukawa Yushiro） ◼OSSコミュニティ開発リーダ ◼Kubernetes とか openstackとか Copyright 2020
FUJITSU LIMITED 宋書坤（Song Shukun） ◼OSSコミュニティ開発エンジニア ◼Kubernetes とか Istioとか 1

背景 ◼ コンテナオーケストレーションによるサービスの運用が普及 ◼ 運用コスト最適化の観点から、すべてのサービスをクラウド上で運用するのではなく、ハイブリッドクラウド運用が増えてきている ◼ 下記の理由から、オンプレ環境でベアメタルサーバの要望あり Copyright 2020
FUJITSU LIMITED ワークロードの高いサービス HWアクセラレーションなどの特殊なデバイスを利用ビジネスの都合上扱うデータ量が多く、クラウドに移行させられない性能コスト 3

オンプレ環境におけるベアメタル運用の課題 ◼サービスが稼働可能な環境にするまでの手順が多く、複雑 ◼自動化は必須！ ◼オンプレ環境でも、パブリッククラウドと同様に簡単にマシン管理（増設、運用）を可能にしたい Copyright 2020 FUJITSU LIMITED 導入・運用コスト削減
ベアメタル k8s 運用 4

オンプレ環境におけるベアメタル運用の課題 ◼サービスが稼働可能な環境にするまでの手順が多く、複雑 ◼自動化は必須！ ◼オンプレ環境でも、パブリッククラウドと同様に簡単にマシン管理（増設、運用）を可能にしたい Copyright 2020 FUJITSU LIMITED 導入・運用コスト削減
Cluster-API Metal3-io 5

Cluster-API/Metal3-io について Copyright 2020 FUJITSU LIMITED • 全体像 • Cluster-APIのアーキテクチャ
• Control-Planeができるまで • Metal3-ioのアーキテクチャ • ベアメタルサーバができるまで 6

Kubernetes クラスタ全体像 Copyright 2020 FUJITSU LIMITED Cluster-API AWS VMware
Azure GCP KVM インフラクラスタ作成 (cluster.yaml) K8sクラスタ 7

◼ Kubernetes上でKubernetesクラスタを管理するためのAPI 以下のプロバイダーを定義してCluster-API に命令することでK8sクラスタが作成される ◼ Infrastructure provider •マシン、ネットワークを提供 ◼
Control plane provider •K8sコンポを制御するための情報を提供 •参照実装：kubeadm control plane ◼ Bootstrap provider •K8sのノードにするための起動情報を提供 •参照実装：Cluster api bootstrap provider kubeadm(CABPK) Cluster-APIとは？ Kubernetes cluster K8sノード Infrastructure Provider Bootstrap Provider K8sノード K8sノード Machine Copyright 2020 FUJITSU LIMITED Control Plane Provider 8

Kubernetes クラスタ Metal3-ioとは? ◼Kubernetesクラスタ向けベアメタルサーバ制御機能を提供 ◼ K8s上で動くアプリの一つ、K8sで管理される ◼ Cluster-APIのインフラプロバイダーの、ベアメタル担当のうちの一つ Copyright 2020
FUJITSU LIMITED Cluster-API AWS VMware Azure GCP KVM Metal3-io インフラクラスタ作成 (cluster.yaml) 9

アーキテクチャ（Cluster-API + metal3-io） Copyright 2020 FUJITSU LIMITED KubeadmConfigTemplate MachineDeployment Cluster
Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig Worker Custom Resource Definition Controller 参照 11

Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig Worker 参照 Cluster情報：１．インフラの情報２．Control Planeの情報３．Clusterのネットワーク情報（Pod cidr, Service cidr…） 12 Custom Resource Definition Controller

Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig Worker 参照 InfraCluster: プロバイダーが提供する、Clusterの API endpointなどの情報 13 Custom Resource Definition Controller

Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig Worker 参照 Control Planeを作るための情報サーバ起動時のデータ 14 Custom Resource Definition Controller

Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig Worker 参照インフラとなるマシンを作るためのテンプレート、プロバイダーが提供する OSイメージなどの情報 15 Custom Resource Definition Controller

Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig Worker 参照起動時データ (Bootstrap data) バックエンドのインフラにて配備したいマシンの情報配備対象のマシンの状態管理 16 Custom Resource Definition Controller

アーキテクチャ(Cluster-API core) Copyright 2020 FUJITSU LIMITED KubeadmConfigTemplate MachineDeployment Cluster Metal3MachineTemplate
Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig capi-controller-manager 参照 17 Custom Resource Definition Controller

アーキテクチャ（Control plane Provider） Copyright 2020 FUJITSU LIMITED KubeadmConfigTemplate MachineDeployment Cluster
Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig capi-kubeadm-control-plane- controller-manager 参照 18 Custom Resource Definition Controller

アーキテクチャ（Bootstrap Provider） Copyright 2020 FUJITSU LIMITED KubeadmConfigTemplate MachineDeployment Cluster Metal3MachineTemplate
Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig capi-kubeadm-bootstrap- controller-manager 参照 19 Custom Resource Definition Controller

アーキテクチャ（Infrastructure Provider） Copyright 2020 FUJITSU LIMITED KubeadmConfigTemplate MachineDeployment Cluster Metal3MachineTemplate
Metal3Cluster KubeadmControlPlane Metal3Machine Metal3MachineTemplate Metal3Machine Control plane Worker MachineSet Machine KubeadmConfig Machine KubeadmConfig capm3-controller-manager 参照 20 Custom Resource Definition Controller

Control Planeができるまでの処理 Copyright 2020 FUJITSU LIMITED Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane
Metal3Machine Control plane KubeadmConfig Machine capi-controller-manager capi-kubeadm-control-plane-controller-manager capi-kubeadm-bootstrap-controller-manager capm3-controller-manager 21

Control Planeができるまでの処理（1/9） Copyright 2020 FUJITSU LIMITED Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane
Metal3Machine Control plane KubeadmConfig Machine capi-controller-manager Cluster controller １．Clusterリソースに基づいて、Metal3Cluster, kubeadmControlPlaneの所属情報（ownerRef）を設定２．Metal3Clusterの状態や情報（apiendpointなど）を監視して、Clusterに反映させる 22

Metal3Machine Control plane KubeadmConfig Machine capi-controller-manager Cluster controller １．Clusterリソースに基づいて、Metal3Cluster, kubeadmControlPlaneのownerRefを設定２．Metal3Clusterの状態や情報（apiendpointなど）を監視して、Clusterに反映させる 23

Metal3Machine Control plane KubeadmConfig Machine capi-kubeadm-control-plane-controller-manager Kubeadm control plane controller １．KubeadmControlPlaneのOwnerRefに記載されている所有者（Owner）の状態をチェック２．InfraMachineTemplateによってInfraMachineを作成３．自身のSpec.kubeadmConfigSpecによってKubeadmConfigを作成４．作成したInfraMachineとKubeadmConfigをもとにMachineを作成 24

Metal3Machine Control plane KubeadmConfig Machine capi-kubeadm-control-plane-controller-manager Kubeadm control plane controller １．KubeadmControlPlaneのOwnerRefに記載されているOwnerの状態をチェック２．InfraMachineTemplateによって起動したいサーバのOS情報など（ InfraMachine）を作成３．自身のSpec.kubeadmConfigSpecによってKubeadmConfigを作成４．作成したInfraMachineとKubeadmConfigをもとにMachineを作成 25

Metal3Machine Control plane KubeadmConfig Machine capi-kubeadm-control-plane-controller-manager Kubeadm control plane controller １．KubeadmControlPlaneのOwnerRefに記載されているOwnerの状態をチェック２．InfraMachineTemplateによってInfraMachineを作成３．自身のSpec.kubeadmConfigSpecによってKubeadmConfigを作成４．作成したInfraMachineとKubeadmConfigをもとにMachineを作成 26

Metal3Machine Control plane KubeadmConfig Machine capi-kubeadm-control-plane-controller-manager Kubeadm control plane controller １．KubeadmControlPlaneのOwnerRefに記載されているOwnerの状態をチェック２．InfraMachineTemplateによってInfraMachineを作成３．自身のSpec.kubeadmConfigSpecによってKubeadmConfigを作成４．作成したInfraMachineとKubeadmConfigをもとにMachineを作成 27

Metal3Machine Control plane KubeadmConfig Machine capi-kubeadm-bootstrap-controller-manager Kubeadm config controller 1. Pending状態のMachineに対して、BootstrapConfig.Status.BootstrapDataを設定（マシン起動時に必要な情報：ex. Cloud-init、kubeadm initなど） 28

Metal3Machine Control plane KubeadmConfig Machine capi-controller-manager Machine controller 関連するMetal3Machineの状態などを監視して、Machine自身の稼働状態（pending、provisioning、provisioned、running）を設定 29

Metal3Machine Control plane KubeadmConfig Machine capm3-controller-manager Metal3Machine Controller Machineを参照してMetal3Machine情報を更新し、Machineをprovisioningする Control Planeの完成 30

Cluster-APIとmetal3-ioとの関連 Copyright 2020 FUJITSU LIMITED Cluster Metal3MachineTemplate Metal3Cluster KubeadmControlPlane Metal3Machine
Control plane KubeadmConfig Machine Metal3-io あくまでデータ Ex. Ubuntu20作りたい実際にベアメタルサーバを配備 Ex. Ubuntu20をプロビジョニング 31

Metal³のアーキテクチャ Metal3Machine BareMetalHost Bare Metal Server Copyright 2020 FUJITSU LIMITED
capm3-controller-manager ホストインベントリ BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server 要求 Bare metal server backend Baremetal Operator 32

capm3-controller-manager ホストインベントリ BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server 要求 Baremetal Operator Bare metal server backend ベアメタルサーバを表すCRD BareMetalHostのグループ配備したいサーバ情報 33

capm3-controller-manager Metal3Machine Controller ホストのインベントリから適切なBareMetalHostを抽出し、baremetalhostオブジェクトの情報を更新（bootstrap dataなど）ホストインベントリ BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server 要求 34

Baremetal Operator Bare metal host controller Baremetalhostリソースを監視し、ベアメタルサーバの命令をバックエンドに対して発行ホストインベントリ BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server 要求 35

Bare metal server backend Openstack Ironic Baremetal operatorから指示をもらい、ベアメタルサーバを配備（inspect、電源管理、OSインストールなど）ホストインベントリ BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server BareMetalHost Bare Metal Server 要求バックエンドには Openstack Ironicを流用 • OpenStack Foundationにて品質が確保 • 開発コスト削減 36

【補足】OpenStack Ironicとは？ ◼ 物理マシンの配備を行うコンポーネントベアメタル（BM: Bare Metal）プロビジョニング ◼ テナント利用者はNova経由でベアメタルサーバを配備可能 Hypervisor
Provide same API for users Manage VMs Manage BMs Give me an instance Flavor Flavor … … Copyright 2020 FUJITSU LIMITED 37

ベアメタルサーバが配備されるまでの動きベアメタルサーバ：配備可能な状態へと移行電源ON ⇒ PXEboot ⇒ initramfs起動 ⇒ inspection（HW情報収集） BaremtalHostの
State： Registering ⇒ Inspecting ⇒ READY Copyright 2020 FUJITSU LIMITED BareMetalHost が作成される BareMetalHost Metal3Machine とが関連づくベアメタルサーバ：プロビジョニング（配備）される電源ON ⇒ PXEboot ⇒ initramfs起動 ⇒ OSイメージ転送 ⇒ 再起動 BaremtalHostの State： READY ⇒ Provisioning ⇒ Provisioned ① ② 38

• RAID/BIOS自動設定（本日は説明省略） • クラスタオートリサイズ • ネットワーク自動設定私たちが開発に取り組んでいる機能 Copyright 2020 FUJITSU
LIMITED 39

◼ ワークロードの負荷に応じたクラスタ規模の自動調整機能 ◼ この実現に向けて、下記の機能を開発中： ◼ ネットワーク自動設定 ◼ ベアメタルサーバのソフトリセットクラスタオートリサイズ本番環境
Worker Node Worker Node テスト環境 Master Node Worker Node Master Node 本番環境 Master Node Worker Node Worker Node テスト環境 Master Node Worker Node Copyright 2020 FUJITSU LIMITED 40

◼ ワークロードの負荷に応じたクラスタ規模の自動調整機能 ◼ この実現に向けて、下記の機能を開発中： ◼ ネットワーク自動設定 ◼ クラスタのオートスケール機能 ◼ ベアメタルサーバのソフトリセット
クラスタオートリサイズ本番環境 Worker Node Worker Node テスト環境 Master Node Worker Node Master Node 本番環境 Master Node Worker Node Worker Node テスト環境 Master Node Worker Node Copyright 2020 FUJITSU LIMITED コミュニティに提案するも、以下の理由で承認されず： • 規模が大きすぎて、Metal3の役割を超えている • ベアメタルサーバの再配備の時間(2, 30分)は許容できないしオートスケールは無意味になる 41

Baremetal Server NIC NIC Copyright 2020 FUJITSU LIMITED Metal3-ioの管理対象 0/1
0/2 自動設定対象 ◼K8sのAPIの延長でベアメタルサーバの隣接スイッチに VLANなどの自動設定を行う ◼現在開発中ネットワーク自動設定（1/2） 42

◼ SwitchのCRDと制御用コントローラーを追加（Create, delete, configure vlan …） ◼ 物理スイッチの設定はAnsibleを利用 ◼
現在は、自社スイッチ向けのAnsible-collectionsを開発中ネットワーク自動設定（2/2） Kubernetes cluster Switch Switch Bare Metal Server Switch Controller Machine BareMetalHost 管理LAN 業務LAN Copyright 2020 FUJITSU LIMITED BareMetal BMC NIC 43

まとめ ◼Kubernetes、Cluster-API、metal3-ioについて紹介 ◼オンプレ環境でのKubernetes導入・運用コスト削減 ◼それぞれのアーキテクチャと処理の流れについて説明 ◼我々が Metal3-ioにて開発中の機能について紹介 Copyright 2020 FUJITSU LIMITED
44

Metal3-ioコミュニティにてマルチベンダサポートを充実させましょう終わりに https://github.com/metal3-io https://groups.google.com/forum/#!forum/metal3-dev #cluster-api-baremetal channel on Kubernetes slack
Copyright 2020 FUJITSU LIMITED 45

運用性向上のためのベアメタルサーバ制御機能の紹介

運用性向上のためのベアメタルサーバ制御機能の紹介

More Decks by Shukun

Other Decks in Technology

Featured

Transcript