,VCFSOFUFTίϯτϩʔϥʔ Λखܰʹࣗಈςετ͢Δ /PWFNCFS !SJJUB

Ryota Yamada riita10069 Tokyo Institute of Technology Working on Kubernetes Interested in Distributed Systems, TLA+

Kubernetes 使っていますよね？

超便利！！ 何がどう便利？

宣⾔型アプローチによる 
 ⾼い管理⼒ Reconcile Loopによる 
 ⾼い回復⼒ ダウンタイムのない 
 デプロイ ネットワークレイヤを含む 
 ⾼い可観測性 Kubernetesのすごいところ

真の⼒には その拡張性が伴う w w w

Kubernetesの拡張性がすごい • コンテナの仕様拡張をサポート(CRI, CNI, CSI) • カスタムスケジューラプラグイン • Validating/Mutating Admission WebHook • kube api serverの拡張

Kubernetesの拡張性がすごい ,VCFSOFUFT%BUB1MBOF LVCFMFU DPOUBJOFSE $POUBJOFS3VOUJNF*OUFSGBDF $3* SVOD SVOD SVOD 0QFO$POUBJOFS*OJUJBUJWF 0$* IUUQTPQFODPOUBJOFSTPSH IUUQTLVCFSOFUFTJPCMPHDPOUBJOFSSVOUJNFJOUFSGBDFDSJJOLVCFSOFUFT IUUQTRJJUBDPNNBNPNBNPJUFNTFEECBCGB

Kubernetesの拡張性がすごい • コンテナの仕様拡張をサポート(CRI, CNI, CSI) • カスタムスケジューラプラグイン • Validating/Mutating Admission WebHook • kube api serverの拡張

Kubernetes API とは ,VCFSOFUFT%BUB1MBOF ,VCFSOFUFT$POUSPM1MBOF LVCFBQJTFSWFS LVCFMFU $POUBJOFS 
 SVOUJNF LVCFDUM

Kubernetes API の拡張 Aggregation 
 Layer Custom Resources APIリソースを追加 Kubernetesリソースを追加 ⾼い⾃由度を誇る 組み込みリソースと同様に IUUQTLVCFSOFUFTJPKBEPDTDPODFQUTFYUFOELVCFSOFUFTBQJFYUFOTJPOBQJTFSWFSBHHSFHBUJPO IUUQTLVCFSOFUFTJPKBEPDTDPODFQUTFYUFOELVCFSOFUFTBQJFYUFOTJPODVTUPNSFTPVSDFT

カスタムコントローラーの ⾃動テストをCIで動かしてますか w w w w

なぜテストが難しいのか 多くのコンポーネントで構成され 
 実際に動かすのが困難 IUUQTLVCFSOFUFTJPKBEPDTDPODFQUTPWFSWJFXDPNQPOFOUT

より本番環境に近い GBLFDMJFOU FOWUFTU LFU ࣮Ϋϥελ Kubernetes Controller のテスト

fake-client • Client-goのモッククライアント • Kube-apiserverの実態をロジックから隠蔽可能 IUUQTQLHHPEFWLTJPDMJFOUHPLVCFSOFUFTGBLF

fake-client IUUQTHJUIVCDPNLVCFSOFUFTDMJFOUHPCMPCEFEBBBDDECDBEFGBCBBFYBNQMFTGBLFDMJFOUNBJO@UFTUHP IUUQTCFMMTNFEJVNDPNLVCFSOFUFTDMJFOUHPTGBLFDMJFOUBECFGDC IUUQTQLHHPEFWLTJPDMJFOUHPLVCFSOFUFTGBLF/FX4JNQMF$MJFOUTFU _, err := fakeClient.CoreV1().Pods("namespace1").Create(pod)

fake-client Reactorの登録 IUUQTHJUIVCDPNLVCFSOFUFTDMJFOUHPCMPCEFEBBBDDECDBEFGBCBBFYBNQMFTGBLFDMJFOUNBJO@UFTUHP IUUQTCFMMTNFEJVNDPNLVCFSOFUFTDMJFOUHPTGBLFDMJFOUBECFGDC IUUQTQLHHPEFWLTJPDMJFOUHPLVCFSOFUFTGBLF/FX4JNQMF$MJFOUTFU fakeClient.PrependReactor("get", "customResource", func(action clienttesting.Action) (handled bool, ret runtime.Object, err error) { WFSC SFTPVSDF

fake-client • Client-goのモッククライアント • Kube-apiserverの実態をロジックから隠蔽可能 • モックの更新管理が必要になる • モックを使ったテストでは、本番の挙動を保証できない IUUQTQLHHPEFWLTJPDMJFOUHPLVCFSOFUFTGBLF Cons. Pros.

envtest • controller-runtimeが提供するテスト⽤のパッケージ • kube-apiserverとetcdのバイナリを実際に⽴てる IUUQTCPPLLVCFCVJMEFSJPSFGFSFODFFOWUFTUIUNM IUUQTQLHHPEFWHJUIVCDPNLVCFSOFUFTTJHTDPOUSPMMFSSVOUJNFQLHFOWUFTU IUUQTHJUIVCDPNLVCFSOFUFTTJHTDPOUSPMMFSSVOUJNFUSFFNBTUFSQLHFOWUFTU

setup-envtest IUUQTQLHHPEFWTJHTLTJPDPOUSPMMFSSVOUJNFUPPMTTFUVQFOWUFTU • envtest binaries manager • kubeapi-server, etcd, kubectl のバイナリを管理 • curl, tarを使うとk8sやこれらのバージョン管理が煩雑 • ポータビリティの向上

envtestの使⽤例 func TestMain(m *testing.M) { os.Exit(func() int { cli, done, err := testutil.TestK8SClient( ) if err != nil { fmt.Fprintf(os.Stdout, "failed to create k8s client: %s\n", err ) return 1 } defer done( ) k8sClient = cl i return m.Run( ) }() ) }

envtestの使⽤例 _, file, _, _ := runtime.Caller(0 ) testEnv := envtest.Environment { BinaryAssetsDirectory: filepath.Join(path.Dir(file), "..", "..", "..", "_dev", "bin") , CRDDirectoryPaths: []string{filepath.Join(path.Dir(file), "..", "..", "..", "_kubernetes", “kube-github-operator-api", "apis", "v1alpha1", "crd")} , ControlPlaneStartTimeout: 20 * time.Second , ErrorIfCRDPathMissing: true , AttachControlPlaneOutput: false , KubeAPIServerFlags: []string { "--advertise-address=127.0.0.1" , "--etcd-servers={{ if .EtcdURL }}{{ .EtcdURL.String }}{{ end }}" , "--cert-dir={{ .CertDir }}" , "--insecure-port={{ if .URL }}{{ .URL.Port }}{{else}}0{{ end }}" , "{{ if .URL }}--insecure-bind-address={{ .URL.Hostname }}{{ end }}" , "--secure-port={{ if .SecurePort }}{{ .SecurePort }}{{ end }}", "--disable-admission-plugins=ServiceAccount" , "--service-cluster-ip-range=10.0.0.0/24" , "--allow-privileged=true" , } , } cfg, err := testEnv.Start( ) if err != nil { return nil, nil, fmt.Errorf("failed to start test env: %w", err ) } cli, err := client.New(cfg, client.Options { Scheme: s , })

envtest • Controller-runtimeが提供するテスト⽤のパッケージ • kube-apiserverとetcdのバイナリを実際に⽴てる • kube-apiserverリソース操作のみしか再現できない • Podとしてコントローラーを動作することができない Pros. IUUQTCPPLLVCFCVJMEFSJPSFGFSFODFFOWUFTUIUNM IUUQTQLHHPEFWHJUIVCDPNLVCFSOFUFTTJHTDPOUSPMMFSSVOUJNFQLHFOWUFTU IUUQTHJUIVCDPNLVCFSOFUFTTJHTDPOUSPMMFSSVOUJNFUSFFNBTUFSQLHFOWUFTU Cons.

構築が容易で使い捨て可能な 
 テスト⽤のKubernetesが欲しくなる w w w w w w

https://github.com/kubernetes-sigs/kind Kind

Kind • DockerコンテナとしてKubernetesのノードを起動 • 実際のクラスタと同じように振る舞うことができる • リソースやコントローラーのデプロイが必要 • テストフローの構築が⼤変 Pros. Cons.

Kindでのe2eテストフロー クラスタのセットアップ コントローラーのビルド・デプロイ 必要なツールのインストール テストシナリオの実⾏

Kindでのe2eテストフロー クラスタのセットアップ コントローラーのビルド・デプロイ 必要なツールのインストール テストシナリオの実⾏ Kind, kubectl, skaffoldなどのインストール Kubernetesクラスタを⽴ち上げ、必要なリソース(Namespace, CRDなど)を作成 Docker build したものをImageとしてPodへ反映 クラスタを操作し、適切なリソースの状態を再現する

かなり⼤変な実装

https://github.com/riita10069/ket

KETがやってくれること クラスタのセットアップ コントローラーのビルド・デプロイ 必要なツールのインストール テストシナリオの実⾏ Kind, kubectl, skaffoldなどのインストール Kubernetesクラスタを⽴ち上げ、必要なリソース(Namespace, CRDなど)を作成 Docker build したものをImageとしてPodへ反映 クラスタを操作し、適切なリソースの状態を再現する

KETがやってくれること クラスタのセットアップ コントローラーのビルド・デプロイ 必要なツールのインストール テストシナリオの実⾏ Kind, kubectl, skaffoldなどのインストール Kubernetesクラスタを⽴ち上げ、必要なリソース(Namespace, CRDなど)を作成 Docker build したものをImageとしてPodへ反映 クラスタを操作し、適切なリソースの状態を再現する

KETがやってくれること

Kindでのe2eテストフロー クラスタのセットアップ コントローラーのビルド・デプロイ 必要なツールのインストール テストシナリオの実⾏ Kind, kubectl, skaffoldなどのインストール Kubernetesクラスタを⽴ち上げ、必要なリソース(Namespace, CRDなど)を作成 Docker build したものをImageとしてPodへ反映 クラスタを操作し、適切なリソースの状態を再現する

for _, tt := range tests { tt := t t t.Run(tt.name, func(t *testing.T) { ctx := context.Background( ) err := kubectl.ApplyAllManifest(ctx, tt.fixture.manifestPaths, false ) for _, expect := range tt.res.A.Items { // check expec t } err = kubectl.DeleteAllManifest(ctx, tt.fixture.manifestPaths, true ) } ) } 1st, Create resources “declaratively” Maybe notify informer of the change. 2nd, Make sure the behavior of the Controller. 3rd, Restore the state of the resource. テストシナリオの実⾏

真の⼒には その拡張性が伴う w w w

func (k *Kubectl) ApplyFile(ctx context.Context, filePath string) error { args := []string { "apply" , "-f" , filePath , } err := k.Execute(ctx, args ) if err != nil { return err } return ni l } サポートされていないコマンドの作成

IUUQTFOHJOFFSJOHNFSDBSJDPNCMPHFOUSZGCC

IUUQTXXXZPVUVCFDPNXBUDI WV&RV+#W[H

まとめ より本番環境に近い GBLFDMJFOU FOWUFTU LFU ࣮Ϋϥελ 適切な試験を⾏えるツールを選ぶ

No content