Cluster API - k8sクラスタ管理の新スタイル どこでもk8sの実現 Takuya Niita Oracle Corporation Japan Oct 11, 2023 Oracle Cloud Hangout Café – Season 7 #5

Copyright © 2023, Oracle and/or its affiliates. 2 1. 従来のk8sのクラスタ管理ツール 2. Cluster APIとは? 3. Cluster API Deep Dive 4. Demo 5. まとめ Agenda

Copyright © 2023, Oracle and/or its affiliates. 3 ⾃⼰紹介 仁井⽥ 拓也 • ⽇本オラクル株式会社 • ソリューション・アーキテクト部 • AppDev/Container/FaaS/(a little)ML… • Oracle Cloud Hangout Caféメンバー/Oracle Groundbreakers Advocate • 前職は某SIer • Oracle歴/Cloud Native歴︓4年半 • ジブリ⼤好き • 今回もちゃんとネタあります…!! @takuya_0301

Copyright © 2023, Oracle and/or its affiliates. 4 従来のk8sのクラスタ管理ツール Oracle Cloud Hangout Café – Season 7 #5

Copyright © 2023, Oracle and/or its affiliates. 5 K8sのマルチクラスタ管理と⾔えば・・・ Keyword: Rancher/Verrazzano 資料: https://onl.tw/X7Mz9VS 動画: https://youtu.be/NfCjLayAU7I

Copyright © 2023, Oracle and/or its affiliates. 6 • Rancher(SUSE社) • Verrazzano(Oracle社) • Anthos(Google社) • Azure Arc(Microsoft社) • Amazon EKS Anywhere(AWS社) • OpenShift Container Platform/OKD(Red Hat社) • VMware Tanzu(VMware社) 従来から存在したKubernetesクラスタ管理ツール ・ ・ ・

Copyright © 2023, Oracle and/or its affiliates. 7 各ベンダーの独⾃エッセンス • 各ベンダー独⾃のGUIインタフェースや独⾃CLIによる動作 • Kubernetesそのものとは別に学習コストが発⽣ アップグレード • アップグレードの際にはKubernetesコンポーネントの他に各サービスのコンポーネントも諸々アップグレードが必要 ⾃動化(IaC) • ⾃動化する際にイミュータブルにしにくい箇所も・・・ • せっかくKubernetesはイミュータブルなのに・・・ 従来ツールの課題・・・ もっとKubernetes Wayで宣言的(イミュータブル)にクラスタ管理が出来ないのか?? -> Cluster API

Copyright © 2023, Oracle and/or its affiliates. 8 Cluster APIとは? Oracle Cloud Hangout Café – Season 7 #5

Copyright © 2023, Oracle and/or its affiliates. 9 Cluster API • https://github.com/kubernetes-sigs/cluster-api • 最新v1.5.2(2023/10現在) • Kubernetes SIG(Special Interest Group)の⼀つであ る”SIG Cluster Lifecycle”のサブプロジェクト • 管理k8sクラスタ上に各種Kubernetesディストリビューションの API(CR)をインストールすることで、そのリソースに沿うように対 象のk8sクラスタをプロビジョニング • 仕組みはKubernetes Operator • いわゆるKaaS(Kubernetes as a Service)の界隈でよく⽤い られる • OKE、AKS、EKS、GKEなどの主要なマネージドk8sや VMware、OpenStackなどのハイブリッドソリューションにも対応 Cluster API

Copyright © 2023, Oracle and/or its affiliates. 10 Cluster APIを構成するコンポーネント(1) ーCluster ー 参考：https://cluster-api.sigs.k8s.io/user/concepts Management Cluster • Workload Clusterを管理するk8sクラスター • 1つ以上のプロバイダーがインストールされ、 リソースが保存される場所 Workload Cluster • ライフサイクルがManagement Clusterによって 管理されるk8sクラスター CR/CRD Provider/ Controller

Copyright © 2023, Oracle and/or its affiliates. 11 Cluster APIを構成するコンポーネント(2) ー Provider(Controller) ー 参考：https://cluster-api.sigs.k8s.io/user/concepts Core Provider • Cluster API本体 Infrastructure Provider • Workload ClusterおよびVMやネットワークなどの プロビジョニングを担当 • Providerは各ベンダーが提供 Bootstrap Provider • クラスタ証明書の生成やControl PlaneとWorker Nodeの設定などを行うコンポーネント • マネージドk8sにユーザが構築したNodeを参 加させることも可能 • デフォルトではkubeadm Control Plane Provider • 以下のいずれかを利用してコントロールプレーン を構築(デフォルトではkubeadm) • Self-provisioned(後述) • Pod-based • External/Managed ControlPlane(後述)

Copyright © 2023, Oracle and/or its affiliates. 12 Cluster • Workload Cluster本体のリソース Machine • KubernetesをホストするComputeのリソース(=”Pod”) MachineSet • 複数のMachine単位(=”ReplicaSet”) • このリソースは直接いじらない MachineDeployment • MachineSetの更新を制御(=”Deployment”) MachineHealthCheck • ノード(Machine)が異常である条件を定義 • 異常の場合はノードを修復 • ただし、MachineSetによって管理されている Machineである必要がある Cluster APIを構成するコンポーネント(3) ー CR/CRD ー 参考：https://cluster-api.sigs.k8s.io/user/concepts

Copyright © 2023, Oracle and/or its affiliates. 13 clusterctl • Cluster APIプロジェクトの⼀部として開発 • curlやwgetなどで簡単にバイナリを取得可能 よく使うコマンドとその実⾏例 • コマンドの初期化 • Workload Clusterのプロビジョニング • Kubeconfigの取得 • Cluster APIコンポーネントのアップグレード Cluster APIを制御するためのクライアント – clusterctl – (1) $ clusterctl init --infrastructure oci $ clusterctl generate cluster sample-cluster cluster.yaml | kubectl apply –f - $ clusterctl upgrade apply --infrastructure oci:v0.13.0 $ clusterctl get kubeconfig sample-cluster > sample-cluster.kubeconfig 複数指定可 このコマンドでManagement Clusterに 対象のProvider/Controllerをインストール

Copyright © 2023, Oracle and/or its affiliates. 14 Cluster APIのproviderレポジトリ • core providerまたはinfrastructure providerのレポジトリのカスタマイズも可能 Cluster APIを制御するためのクライアント – clusterctl – (2) $ clusterctl config repositories NAME TYPE URL FILE cluster-api CoreProvider https://github.com/kubernetes-sigs/cluster-api/releases/latest/ core-components.yaml kubeadm BootstrapProvider https://github.com/kubernetes-sigs/cluster-api/releases/latest/ bootstrap-components.yaml ocne BootstrapProvider https://github.com/verrazzano/cluster-api-provider-ocne/releases/latest/ bootstrap-components.yaml kubeadm ControlPlaneProvider https://github.com/kubernetes-sigs/cluster-api/releases/latest/ control-plane-components.yaml oci InfrastructureProvider https://github.com/oracle/cluster-api-provider-oci/releases/latest/ infrastructure-components.yaml ・ ・ ・ 基本的にはGitHubのリリースに あるテンプレートを指している

Copyright © 2023, Oracle and/or its affiliates. 15 パラメータの置換 • “$HOME/.cluster-api/clusterctl.yaml”に定義(ただし、環境変数が優先) 閉域環境などでのイメージの上書き(デフォルトの挙動) • “$HOME/.cluster-api/overridesに定義 Cluster APIを制御するためのクライアント – clusterctl – (3) $ cat $HOME/.cluster-api/clusterctl.yaml AWS_B64ENCODED_CREDENTIALS: XXXXXXXX OCI_TENANCY_ID= ocid1.tenancy.oc1..aaaaaaaasssoq5ck3lc3q4mxx5tkguca KUBERNETES_VERSION=v1.27.2 images: all: repository: myorg.io/local-repo cert-manager: tag: v1.5.3 cert-managerはCluster API の依存コンポーネント

Copyright © 2023, Oracle and/or its affiliates. 16 Cluster API Deep Dive Oracle Cloud Hangout Café – Season 7 #5

Copyright © 2023, Oracle and/or its affiliates. 17 Bootstrap Provider • Kubernetes環境を構築する際に利⽤するフレームワーク(クラスタの構築など)の設定 • デフォルトではkubeadm • サポートしているのは以下。 • EKS(Elastic Kubernetes Service) • kubeadm • MicroK8s • OCNE(Oracle Cloud Native Environment) • Talos • kubeadm以外でKubernetesを構築したい場合は以下のように設定(OCNEの場合) Bootstrap Provider $ clusterctl init --bootstrap ocne:1.7.0 --infrastructure oci 今回はこれをベースに解説します

Copyright © 2023, Oracle and/or its affiliates. 18 Control Plane Provider • Kubernetes環境を構築する際に利⽤するControlPlaneのProviderを設定 • 原則としてはBootstrap Providerと同⼀(EKSはコントロールプレーンがマネージドのため存在しない) • サポートしているのは以下。 • kubeadm • MicroK8s • OCNE(Oracle Cloud Native Environment) • Talos • Nested(デモ⽬的などでManagement ClusterにkindでWorkload Clusterをプロビジョニング) • kubeadm以外でKubernetesを構築したい場合は以下のように設定(OCNEの場合) Control Plane Provider $ clusterctl init --bootstrap ocne:1.7.0 --control-plane ocne:v1.7.0 --infrastructure oci 今回はこれをベースに解説します

Copyright © 2023, Oracle and/or its affiliates. 19 Cluster API for OCI(CAPOCI) • OCIで提供するCluster API Provider • 前述したInfrastructure Providerに相当 • https://github.com/oracle/cluster-api-provider-oci • 最新v0.13.0(2023/10現在) • OCI上でCompute上にKubernetesクラスタを構築するためのプロビジョニング を実施 • VCNなどの周辺リソースも同時にプロビジョニング • Oracle Linuxだけではなく、UbuntuやWindowsもサポート Cluster API for OCI GitHubのリリースには たくさんのテンプレート…!! ちなみに“CAPO”とは マフィアのボスのこと…

Copyright © 2023, Oracle and/or its affiliates. 20 K8s with OCI Compute(kubeadmクラスタ) • Cluster • OCICluster • kubeadmControlPlane • OCIMachiheTemplate(controlplane) • MachineDeployment • OCIMachiheTemplate(Node) • KubeadmConfigTemplate OKE(マネージドk8s) • Cluster • OCIManagedCluster • OCIManagedControlPlane • MachinePool • OCIManagedMachinePool Cluster APIで利⽤するCR ~ OCIの場合 ~ デモソースコード

Copyright © 2023, Oracle and/or its affiliates. 21 K8s with OCI Compute(kubeadmクラスタ) • Cluster • OCICluster • kubeadmControlPlane • OCIMachiheTemplate(controlplane) • MachineDeployment • OCIMachiheTemplate(Node) • KubeadmConfigTemplate OKE(マネージドk8s) • Cluster • OCIManagedCluster • OCIManagedControlPlane • MachinePool • OCIManagedMachinePool Cluster APIで利⽤するCR ~ OCIの場合 ~ クラスタ コントロール プレーン Worker Node

Copyright © 2023, Oracle and/or its affiliates. 22 K8s with OCI Compute(kubeadmクラスタ) • Cluster • OCICluster • kubeadmControlPlane • OCIMachiheTemplate(controlplane) • MachineDeployment • OCIMachiheTemplate(Node) • KubeadmConfigTemplate OKE(マネージドk8s) • Cluster • OCIManagedCluster • OCIManagedControlPlane • MachinePool • OCIManagedMachinePool Cluster APIで利⽤するCR ~ OCIの場合 ~

Copyright © 2023, Oracle and/or its affiliates. 23 Cluster APIを利⽤するためのCR – Cluster – ネットワーク周り (CIDRなど) 次ページで解説 OCIの場合はコンパートメントや AD(Availability Domain)などの設定。 provider毎に異なる Ex) AWSCluster AzureCluster GCPCluster

Copyright © 2023, Oracle and/or its affiliates. 24 Cluster APIを利⽤するためのCR ~ kubeadmControlPlane ~ kubeadmで利用するConfig。 コントロールプレーン構築で利用する。 kubeadm initやkubeadm joinする際に 必要となるパラメータの設定。 providerにより、設定が異なる Computeイメージやprovider 固有の設定。 OCIの場合はコンパートメン トやOCPUなど。 Provider毎に異なる Ex)AWSMachineTemaplate AzureMachineTemplate GCPMachineTemplate OCIの場合、カスタムイメー ジの指定が必要 直接フィールドにCompute のスペックを記載可能な providerもある

Copyright © 2023, Oracle and/or its affiliates. 25 イメージの作成 • https://github.com/kubernetes-sigs/image-builder • ベンダーごとにテンプレートが存在 • 構築するクラウドプロバイダーやCluster APIのProviderなどに依らずに⼀貫したKubernetes準拠クラスタのイメージを 構築するためのツール • Kubernetesに必要なソフトウェア、コンテナ構成などの適合性に合格できるようにするため • kubeadmが動作する環境の構築 • セキュリティ監査と運⽤の安定性 • ニーズに合わせた要件のサポート • ツールの中で必要なソフトウェア • Packer • Ansible 【参考】MachineTemplateで利⽤するComputeイメージ

Copyright © 2023, Oracle and/or its affiliates. 26 Packer • HashiCorp社が開発しているイメージビルドツール • 最新v1.9.4(2023/10現在) • 単⼀のソース構成から複数のプラットフォーム⽤に同⼀ のマシンイメージを構築するためのツール • Linux、Windowsの双⽅に対応 • 中⾝はHCL* (HashiCorp Configration Language) かJSONのいずれかで記述 *: Terraformでよく⽤いられる⾔語 【参考】Packer

Copyright © 2023, Oracle and/or its affiliates. 27 Cluster APIを利⽤するためのCR ~ MachineDeployment/KubeadmConfigTemplate ~ P.25で説明した内容 と一緒 Worker Nodeで利用する kubeadmの設定。 “kubeadm join”する際の設定 など。 Provider毎に内容が異なる

Copyright © 2023, Oracle and/or its affiliates. 28 デモ(kubeadmクラスタの場合) OCI Region VCN LB Subnet K8s API Subnet Node Subnet Container Engine for Kubernetes Worker Nodes OCI Region VCN LB Subnet K8s API endpoint Subnet Node Subnet Kubernetes with OCI Compute Worker Nodes Cluster API Provider for OCI(Operator) クラスタの プロビジョ ニング VCNのプロビ ジョニング control plane

Copyright © 2023, Oracle and/or its affiliates. 29 ClusterClass(α版) • Clusterのテンプレートとなるリソース • Machineにとっての MachineTemplateのような存在 • ClusterClassに定義するテンプレートには Control Plane、Infrastructure、 MachineDeploymentなどが包含 • 定義されたテンプレートに基づいて、 Workload Clusterの作成/更新/削 除を実施 • 同じスペックのクラスタを⼤量にプロビジョニ ングしたい場合に有効 • 複数のクラスタで利⽤可能なように汎 ⽤的な設定を保持する必要あり ちょっと補⾜・・・ ~ ClusterClass ~

Copyright © 2023, Oracle and/or its affiliates. 30 K8s with OCI Compute(kubeadmクラスタ) • Cluster • OCICluster • kubeadmControlPlane • OCIMachiheTemplate(controlplane) • MachineDeployment • OCIMachiheTemplate(Node) • KubeadmConfigTemplate OKE(マネージドk8s) • Cluster • OCIManagedCluster • OCIManagedControlPlane • MachinePool • OCIManagedMachinePool Cluster APIで利⽤するCR ~ OCIの場合 ~ デモソースコード

Copyright © 2023, Oracle and/or its affiliates. 31 Cluster APIを利⽤するためのCR – Cluster – 次ページで解説 OCIの場合はコンパートメントや AD(Availability Domain)などの設定。 provider毎に異なる Ex) AWSManagedCluster AzureManagedCluster GCPManagedCluster

Copyright © 2023, Oracle and/or its affiliates. 32 Cluster APIを利⽤するためのCR – OCIManagedControlPlane – マネージドの場合は非常にシンプル!! 他にはリージョンやコントロールプレー ン側の各種スペックを設定。 Providerにより異なる Ex) AWSManagedControlPlane AzureManagedControlPlane GCPManagedControlPlane

Copyright © 2023, Oracle and/or its affiliates. 33 Cluster APIを利⽤するためのCR – MachinePool(α版) – $ export EXP_MACHINE_POOL=true で有効化する必要あり Worker Nodeに関する設定。 ベンダー毎に異なる Ex)AWSManagedMachinePool AzureManagedMachinePool GCPManagedMachinePool

Copyright © 2023, Oracle and/or its affiliates. 34 デモ(マネージドクラスタ(OKE)場合) OCI Region VCN LB Subnet K8s API Subnet Node Subnet Container Engine for Kubernetes Worker Nodes OCI Region VCN LB Subnet K8s API Subnet Node Subnet Container Engine for Kubernetes Worker Nodes Cluster API Provider for OCI(Operator) クラスタの プロビジョ ニング VCNのプロビ ジョニング

Copyright © 2023, Oracle and/or its affiliates. 35 Demo Oracle Cloud Hangout Café – Season 7 #5

Copyright © 2023, Oracle and/or its affiliates. 36 Bootstrap Provider • Kubernetes環境を構築する際に利⽤するフレームワークの選定 • デフォルトではkubeadm • サポートしているのは以下。 • EKS(Elastic Kubernetes Service) • Kubeadm • MicroK8s • OCNE(Oracle Cloud Native Environment) • Talos • Kubeadm以外でKubernetesを構築したい場合は以下のように設定(OCNEの場合) 【再掲】Bootstrap Provider $ clusterctl init --bootstrap ocne:1.7.0 --infrastructure oci これを使います!!

Copyright © 2023, Oracle and/or its affiliates. 37 Control Plane Provider • Kubernetes環境を構築する際に利⽤するControl PlaneのProviderを設定 • 原則としてはBootstrap Providerと同⼀(EKSはコントロールプレーンがマネージドのため対象外) • サポートしているのは以下。 • Kubeadm • MicroK8s • OCNE(Oracle Cloud Native Environment) • Talos • Nested(デモ⽬的などManagement ClusterにkindでWorkload Clusterをプロビジョニング) • kubeadm以外でKubernetesを構築したい場合は以下のように設定(OCNEの場合) 【再掲】 Control Plane Provider $ clusterctl init --bootstrap ocne:1.7.0 --control-plane ocne:v1.7.0 --infrastructure oci これを使います!!

Copyright © 2023, Oracle and/or its affiliates. 38 Oracle Cloud Native Environment(OCNE) • Kubernetesおよびその周辺エコシステムを提供する統合スイート環境 • Oracle Linux8/9およびRHEL8/9上で動作 • CNCFのPlatformにノミネート • https://docs.oracle.com/en/operating-systems/olcne/index.html • 最新v1.7(2023/9現在) • 現在含まれているパッケージ/ソフトウェアは以下 • Kubernetes(コンテナランタイムはCRI-O) • (オプション)MetalLB • (オプション)Istio • (オプション)Rook/Ceph • (オプション)Kubevirt • (オプション)Operator Lifecycle Manager 【参考】Oracle Cloud Native Environment(OCNE)

Copyright © 2023, Oracle and/or its affiliates. 39 Cluster API for OCNE • Oracleが提供するOCNE(Oracle Cloud Native Environment)の Provider • 前述したBootstrap ProviderとControl Plane Providerの両⽅を提 供 • https://github.com/verrazzano/cluster-api-provider-ocne/ • 最新v1.7.0(2023/9現在) • OCIだけではなく、AWS、AzureなどでもOCNEクラスターを構築できるように することが⽬標 • 現状はOCIのみをサポート • kubeadmのように前提となるテンプレートイメージは必要なし • OCIの場合はOracle Linux 8.x系のVanillaイメージでOK • Verrazzanoプロジェクトの⼀部として開発中 Cluster API for OCNE(Oracle Cloud Native Environment) GitHubの上で提供 されているテンプレート…!!

Copyright © 2023, Oracle and/or its affiliates. 40 ClusterResourceSet(α版) • ユーザが定義したい⼀連のリソースをWorkload Clusterに提供 • 主にCNIやCSIドライバーを新規/既存クラス タに⾃動的に適⽤する⽬的で利⽤可能 • リソースの適⽤は1度だけ実施す る”ApplyOnce”と再適⽤可能 な”Reconsile”が存在(ただし、strategy変 更時は作り直し) • ClusterResourceSet Controllerという Controllerが制御 • 現時点では、ClusterResourceSet削除に よるWorkload Clusterでのリソース削除は 未サポート ちょっと補⾜・・・ ~ ClusterResourceSet ~ Manifestの定義

Copyright © 2023, Oracle and/or its affiliates. 41 Demo構成(初期状態) OCI Region VCN LB Subnet K8s API Subnet Node Subnet Container Engine for Kubernetes Worker Nodes OCI Region VCN Workload Cluster VCN LB Subnet K8s Control Pane Node Subnet K8s w/ OCI Compute Worker Nodes K8s API endpoint Management Cluster デモソースコード

Copyright © 2023, Oracle and/or its affiliates. 42 シナリオ1: OCNEのプロビジョニング OCI Region VCN LB Subnet K8s API Subnet Node Subnet Container Engine for Kubernetes Worker Nodes OCI Region OCI Region VCN Workload Cluster Workload Cluster VCN LB Subnet K8s Control Pane Node Subnet K8s w/ OCI Compute Worker Nodes K8s API endpoint VCN LB Subnet K8s Control Pane Node Subnet OCNE Worker Nodes K8s API endpoint Management Cluster デモソースコード

Copyright © 2023, Oracle and/or its affiliates. 43 MachineHealthCheck • Machineの異常を定義し、条件に合致すると Cluster APIがMachineの修復を実施 • 新規でMachineを作成(新たにComputeがプ ロビジョニングされる) • Providerによっては、より⾼度な修復を実施す ることも可能 • MachineSetまたはMachineDeploymentとして 管理されているMachineをサポート • マネージドk8sの場合、同様の仕組みをベンダー側 で提供していることが多いため、この仕組みは不要 なことが多い ちょっと補⾜・・・ ~ MachineHealthCheck ~ Machineを異常 とする条件

Copyright © 2023, Oracle and/or its affiliates. 44 シナリオ2: Node異常からの復旧 OCI Region VCN LB Subnet K8s API Subnet Node Subnet Container Engine for Kubernetes Worker Nodes OCI Region OCI Region VCN Workload Cluster Workload Cluster VCN LB Subnet K8s Control Pane Node Subnet K8s w/ OCI Compute Worker Nodes K8s API endpoint VCN LB Subnet K8s Control Pane Node Subnet OCNE Worker Nodes K8s API endpoint 新ノード Management Cluster デモソースコード

Copyright © 2023, Oracle and/or its affiliates. 45 Cluster Autoscaler • Cluster APIが提供するCluster Autoscaler Provider • Cluster Autoscalerのバイナリを以下で構成 • サービスアカウントやKubeconfigの状況により、構成パターンが複数 • https://cluster-api.sigs.k8s.io/tasks/automated-machine-management/autoscaling • スケール対象はMachineSet、MachineDeployment、MachinePoolのいずれか • スケール定義はアノテーションを利⽤ ちょっと補⾜・・・ ~ Cluster Autoscaler ~ cluster-autoscaler --cloud-provider=clusterapi

Copyright © 2023, Oracle and/or its affiliates. 46 シナリオ3: クラスタオートスケール OCI Region VCN LB Subnet K8s API Subnet Node Subnet Container Engine for Kubernetes Worker Nodes OCI Region Management Cluster OCI Region VCN Workload Cluster Workload Cluster VCN LB Subnet K8s Control Pane Node Subnet K8s w/ OCI Compute Worker Nodes K8s API endpoint VCN LB Subnet K8s Control Pane Node Subnet OCNE Worker Nodes K8s API endpoint スケール デモソースコード

Copyright © 2023, Oracle and/or its affiliates. 47 まとめ Oracle Cloud Hangout Café – Season 7 #5

Copyright © 2023, Oracle and/or its affiliates. 48 従来のマルチk8sクラスタ管理 • ベンダー独⾃エッセンスに関する学習コストの発⽣ • それぞれのプラットフォームに応じてk8sコンポーネントとは別に各種コンポーネントのアップグレードが必要 • ⾃動化する際に難点となる箇所あり Cluster API • k8s wayでManifestでのクラスタ管理 • Pod、ReplicaSet、Deploymentに対応するMachine、MachineSet、MachineDeployment • HealthCheckやCluster Autoscalerの機構も具備 • セルフマネージドだけでなく、各種マネージドk8sやVmwareなどのハイブリッドソリューションにも対応 • クラウド、オンプレミス問わず、ハイブリッド環境でどこでもk8sを実現できる!! • HealthCheckやCluster Autoscalerなどを利⽤すれば、マネージドk8sに近い環境を実現することも…!! まとめ

Copyright © 2023, Oracle and/or its affiliates. 49 Cluster API • GitHub: https://github.com/kubernetes-sigs/cluster-api • Doc: https://cluster-api.sigs.k8s.io/ Cluster API for OCI(CAPOCI) • GitHub: https://github.com/oracle/cluster-api-provider-oci • Doc: https://github.com/oracle/cluster-api-provider-oci Cluster API for OCNE • GitHub: https://github.com/verrazzano/cluster-api-provider-ocne 参考資料

Copyright © 2023, Oracle and/or its affiliates. 50 Cluster API for AWS • GitHub: https://github.com/kubernetes-sigs/cluster-api-provider-aws • Doc: https://cluster-api-aws.sigs.k8s.io/ Cluster API for Azure(CAPZ) • GitHub: https://github.com/kubernetes-sigs/cluster-api-provider-azure • Doc: https://capz.sigs.k8s.io/ Cluster API for GCP(CAPOCI) • GitHub: https://github.com/kubernetes-sigs/cluster-api-provider-gcp 参考資料

No content