KyvernoとRed Hat ACMを用いたマルチクラスターの一元的なポリシー制御

Slide 1

Slide 1 text

KyvernoとRed Hat ACM for Kubernetesを用いたマルチクラスターの一元的なポリシー制御 2023/01/27 OpenShift.Run 2023 Ryotaro Uwatsu

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Copyright © Dell Inc. All Rights Reserved. 5 of Y Kyverno KyvernoはKubernetesクラスター内で、Dynamic Admission Controllerとして実行されるポリシーエンジン。 kube-apiserverからAdmission Webhookを受け取り、定義したポリシーに基づいて制御を実行します。 Custom Resourceを用いて、Kubernetesのマニフェストベースでポリシーを適用できるため、学習コストがとても低い。バージョン: 1.8.0 https://github.com/kyverno/kyverno

Slide 6

Slide 6 text

Copyright © Dell Inc. All Rights Reserved. 6 of Y Dynamic Admission Control Authentication Authorization Mutating Admission Object Schema Admission Validating Admission Persist data to etcd Webhook Webhook Webhook Webhook Kyverno

Slide 7

Slide 7 text

Copyright © Dell Inc. All Rights Reserved. 7 of Y Kyvernoの利点 1. 学習コストが低い他のOPAやjsPolicyなどでは、固有の言語を覚える必要がります。一方で、Kyvernoでは、Kubernetesのマニフェストをベースに記載することができます。 OPA Gatekeeper (Rego) jsPolicy (JavaScript or TypeScript) Kyverno

Slide 8

Slide 8 text

Copyright © Dell Inc. All Rights Reserved. 8 of Y Kyvernoの利点 2. 豊富な機能他のツールでは実装されていない機能が、Kyvernoでは使うことができます。 Name Validation Mutation Generation Image Verification Metric Exposed Policy Engine OPA Gatekeeper Yes Yes No Yes (via extensions) Yes jsPolicy Yes Yes No No No Kyverno Yes Yes Yes Yes Yes

Slide 9

Slide 9 text

Copyright © Dell Inc. All Rights Reserved. 9 of Y Kyvernoの利点 3. 開発が活発他ツールと比べ開発が活発であり、新機能の追加や改善のサイクルが早い。 Name Star Fork Release Contributor Commit Policy Engine OPA Gatekeeper 2.9k 21 9 174 1,174 jsPolicy 249 637 73 9 124 Kyverno 3.4k 489 158 197 5,312

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Copyright © Dell Inc. All Rights Reserved. 12 of Y Kyvernoによるポリシーの適用 Kyvernoを用いてポリシーを適用する際に用いるリソースは2つあります。 1. Cluster Policy: クラスター全体にポリシーを適用する際に用いる。 2. Policy: Namespace内に閉じたポリシーを適用する際に用いる。注意点としては、ポリシー間での順序性が存在しないため、複数のポリシーを組み合わせたルールの拡張しかできません。すなわちPolicy間での上書きができないので、Cluster Policyで厳しめのPolicyを設定しておいて、あるNamespaceにおいてはPolicyを用いて制限を緩めるということができません。

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Copyright © Dell Inc. All Rights Reserved. 15 of Y 詳しい記述方法について Cloud Native Days Tokyo 2022 にて、ポリシーの詳細な記述方法等について紹介しています。登壇資料は、Twitter(@Uryo_0213) の固定ツイートにもあります。 https://event.cloudnativedays.jp/cndt2022/talks/1568

Slide 15

Slide 15 text

Copyright © Dell Inc. All Rights Reserved. 16 of Y 対象の決定 Match (必須) ルールを適用するリソースを指定する。 Exclude Preconditions 以下の3つの表現を用いて、ポリシーを適用する対象を決めていきます。 (オプショナル) Matchで指定したリソースに対し例外を指定する。 (オプショナル) Match等による対象決定のフェーズに進むどうかかを判断する。

Slide 16

Slide 16 text

Copyright © Dell Inc. All Rights Reserved. 17 of Y Validate Resources ユーザーまたはプロセスによって新しいリソースが作成される場合に、そのリソースを作成してよいか否かを判断するために用います。 spec.rules[*].validateを用いて記述していくことになります。ルールに違反するリソースに対する挙動はspec.validationFailureActionによって制御することが可能です。 • enforce – ルールに違反した場合、作成をブロックする。 • audit – ルールに違反した場合に作成は許可する – ポリシーレポートに違反するリソースとして記録する。

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Copyright © Dell Inc. All Rights Reserved. 20 of Y Validate Resources ユースケース① spec.rules[0].matchにおいてPodを指定し、 spec.rules[0].validateにおいて、作成されるPodの metadata.labelsに「managed-by: cicd-pipeline」があるのかを検証しています。 validationFailureActionを「enforce」にすることで、作成を拒否します。

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Copyright © Dell Inc. All Rights Reserved. 22 of Y Validate Resources ユースケース② spec.rules[0].matchにおいてPodを指定し、 spec.rules[0].validateにおいて、作成されるPodの spec.containers[*].resourcesにおいて、CPUとMemory に対するlimitsとrequestsが設定されているのかを検証しています。 validationFailureActionを「audit」にすることで、作成は拒否せず、Policy Reportに違反を記録します。 (PolicyReport)

Slide 22

Slide 22 text

Copyright © Dell Inc. All Rights Reserved. 23 of Y Mutate Resources ルールに一致したリソースに対して、パラメータに変更を加える際に用います。 spec.rules[*].mutateを用いて記述していくことになります。以下の項目を用いてルールを適用することができます。 • RFC 6902 JSONPatch • Strategic Merge Patch • Foreach

Slide 23

Slide 23 text

Copyright © Dell Inc. All Rights Reserved. 24 of Y Manifest Repository Mutate Resources ユースケース GitOps等を実施していくうえで、シークレット情報の管理は複雑です。 Secretは手動で適用するようにすると、運用上のミスに気づけません。 Deployment Service PVC CD Tool Kubernetes Secret

Slide 24

Slide 24 text

Copyright © Dell Inc. All Rights Reserved. 25 of Y Manifest Repository Mutate Resources ユースケース変更をトレースできるように、Manifest Repository上で管理するようにすると、セキュリティの観点においてリスクになってしまいます。 Deployment Service PVC CD Tool Kubernetes Secret

Slide 25

Slide 25 text

Copyright © Dell Inc. All Rights Reserved. 26 of Y Manifest Repository Mutate Resources ユースケース対策としてExternal Secretなどがありますが、これも結果的にSecretに関する情報をレポジトリに置いてしまっていたり、環境的な制約があったりします。 Deployment Service PVC CD Tool Kubernetes External Secret Secret Store External Secret Secret

Slide 26

Slide 26 text

Copyright © Dell Inc. All Rights Reserved. 27 of Y Mutate Resources ユースケース Hashicorp Vaultを用いることで、シークレット情報の一元管理ができ、Podにシークレット情報を容易に引き渡すことができます。以下のようにアノテーションを設定することで、Init Containerが挿入され、特定のディレクトリにシークレット情報を格納してくれます。この機能を利用して、Podにラベルを仕込んでおくだけで、シークレット情報に関係するものをレポジトリに載せることなく、Podに引き渡すことができます。

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Copyright © Dell Inc. All Rights Reserved. 30 of Y Mutate Resources ユースケース ③ 付与したラベルを事前に設定しておいたPolicyが認識し、アノテーションを付与する。 Manifest Repository Pod Kubernetes CD Tool label Pod label Pod label Kyverno Policy annotation

Slide 30

Slide 30 text

Copyright © Dell Inc. All Rights Reserved. 31 of Y Mutate Resources ユースケース ④ このアノテーションをトリガーに、VaultがPodにInit Containerを挿入する。 Manifest Repository Pod Kubernetes CD Tool label Pod label Pod label Kyverno Policy annotation Vault Pod label annotation Init Container

Slide 31

Slide 31 text

Copyright © Dell Inc. All Rights Reserved. 32 of Y Namespace app1 Mutate Resources ユースケース ⑤ Init Containerが、アノテーションを基に、シークレット情報を格納する。 Manifest Repository Pod Kubernetes CD Tool label Pod label Pod label Kyverno Policy annotation Vault Pod label annotation Init Container Pod Secret file

Slide 32

Slide 32 text

Copyright © Dell Inc. All Rights Reserved. 33 of Y Mutate Resources ユースケースこのルールでは、osrun-vault-injection: “true”というラベルを持つPodが作成された際に、Vaultに登録をした特定のシークレットデータを、Pod内に指定のフォーマットで配置するためのアノテーションとサービスアカウントを付与しています。

Slide 33

Slide 33 text

Copyright © Dell Inc. All Rights Reserved. 34 of Y Mutate Resources ユースケース $ vault secrets enable -path=secret kv-v2 $ vault kv put secret/osrun/config username="static-user" password="static-password" $ vault policy write osrun - <

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Copyright © Dell Inc. All Rights Reserved. 36 of Y Mutate Resources ユースケース $ kubectl apply –f strategicMerge.yaml $ kubectl create sa osrun -n default $ kubectl run osrun-app --image nginx:alpine -l osrun-vault-injection="true“ $ kubectl exec -it osrun-app -- cat /vault/secrets/osrun-credentials Defaulted container "osrun-app" out of: osrun-app, vault-agent, vault-agent-init (init) USERNAME=static-user PASSWORD=static-password

Slide 36

Slide 36 text

Copyright © Dell Inc. All Rights Reserved. 37 of Y Generate Resources 新しいリソースが作成された際、追加のリソースを作成する場合に用います。 spec.rules[*].generateを用いて記述していくことになります。作成するリソースの情報を、以下の2つを用いて記述することができる。 • data: 作成するリソースの情報を記述する • clone: 既に存在するリソースをクローンする

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Copyright © Dell Inc. All Rights Reserved. 39 of Y Generate Resources ユースケース (clone) Namespace app3 Namespace app2 Namespace app1 imagePullSecret imagePullSecret imagePullSecret Policy Kubernetes Namespace credential Label private-reg: “true” Label private-reg: “true” Label private-reg: “true” imagePullSecret

Slide 39

Slide 39 text

Copyright © Dell Inc. All Rights Reserved. 40 of Y Generate Resources ユースケース (clone) spec.rules[*].generate下では、以下を記述します。 • synchronize: ソースリソースとの同期 – true:同期をし、更新や削除ができない – false: 同期はせず、生成されたリソースを直接更新または削除できる • apiVersion: 生成するリソースのapiVersion • kind: 生成するリソース • name: 生成するリソース名 • namespace: リソースを生成するNamespace • clone: Namespace及びリソース名を記述

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Copyright © Dell Inc. All Rights Reserved. 42 of Y Verify Images Example imageReferencesにおいて、指定されているイメージがattestors下で指定されているキーを用いて署名がされているということを検証します。署名をされていないイメージ及び、指定したキーと対ではないキーによって署名されたイメージがこの検証によって拒否されることになります。

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Copyright © Dell Inc. All Rights Reserved. 44 of Y Redhat Advanced Cluster Management for Kubernetes Redhat Advanced Cluster Management for Kubernetes (以下、ACMという)では、単一のコンソールで、クラスター管理や管理対象へのアプリケーションのデプロイ、ポリシー制御などをすることができます。

Slide 44

Slide 44 text

Copyright © Dell Inc. All Rights Reserved. 45 of Y Cloud Redhat Advanced Cluster Management for Kubernetes ACMは、OpenShift上に構築されます。 ACMを構築したクラスターをHub Cluster、管理されるクラスターをManaged Clusterと呼びます。 Support Matrix for ver.2.6 (https://access.redhat.com/articles/6968787) OpenShift Container Platform Redhat ACM for k8s OpenShift on vSphere OpenShift on AWS (ROSA) OpenShift on Azure (ARO) On Premise Managed Cluster Hub Cluster

Slide 45

Slide 45 text

Copyright © Dell Inc. All Rights Reserved. 46 of Y マルチクラスターに対するポリシー制御各ステージごとにクラスターを作り、アプリケーションのネームスペースに、組織として定めたポリシーを設定していくような場合に、初期においてはあまり問題がありません。 Dev Cluster Stg Cluster Prd Cluster Policy A Policy A app1 app1 Policy A app1

Slide 46

Slide 46 text

Copyright © Dell Inc. All Rights Reserved. 47 of Y マルチクラスターに対するポリシー制御アプリケーションやクラスターがスケールしていった場合、だんだんとこれらを管理していくことが難しくなっていきます。これに対し、CDツール等を使う場合、様々な考慮点が発生します。 Dev Cluster Stg Cluster Prd Cluster Policy A Policy A app1 app1 app2 app2 Policy A Policy A Policy A Dev Cluster (HA) Stg Cluster (HA) Prd Cluster (HA) Policy A Policy A app1 app1 app2 app2 Policy A Policy A Policy A app1 app1

Slide 47

Slide 47 text

Copyright © Dell Inc. All Rights Reserved. 48 of Y Redhat ACM for k8s Policy A マルチクラスターに対するポリシー制御 ACMを用いると、ACM内でPolicyを管理することで、管理対象のクラスターにそのポリシーを伝播させることができます。 Dev Cluster Stg Cluster Prd Cluster Policy A Policy A app1 app1 app2 app2 Policy A Policy A Policy A Dev Cluster (HA) Stg Cluster (HA) Prd Cluster (HA) Policy A Policy A app1 app1 app2 app2 Policy A Policy A Policy A app1 app1

Slide 48

Slide 48 text

Copyright © Dell Inc. All Rights Reserved. 49 of Y Governance on ACM ACMでは、以下のようなリソースを用いてポリシーの制御を行います。 Redhat ACM for k8s PlacementBinding PlacementRule Policy / PolicySet Dev Cluster Policy app1 Policy app1 Hub Cluster Stg Cluster Prd Cluster

Slide 49

Slide 49 text

Copyright © Dell Inc. All Rights Reserved. 50 of Y Governance on ACM PolicyとKyvernoを連携させることが可能です。 Redhat ACM for k8s PlacementBinding PlacementRule Policy / PolicySet Dev Cluster Policy app1 Policy app1 Kyverno Kyverno Kyverno ※ Hub ClusterとManaged Clusterの双方に Kyvernoをインストールする必要があります。 Hub Cluster Stg Cluster Prd Cluster

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Copyright © Dell Inc. All Rights Reserved. 55 of Y Governance on ACM (再掲) PolicyとKyvernoを連携させることが可能です。 Redhat ACM for k8s PlacementBinding PlacementRule Policy / PolicySet Dev Cluster Policy app1 Policy app1 Kyverno Kyverno Kyverno ※ Hub ClusterとManaged Clusterの双方に Kyvernoをインストールする必要があります。 Hub Cluster Stg Cluster Prd Cluster

Slide 55

Slide 55 text

Copyright © Dell Inc. All Rights Reserved. 56 of Y Governance on ACM ACMの機能を用いて、配下のクラスターにアプリケーションをデプロイ可能です。 Redhat ACM for k8s PlacementBinding PlacementRule Policy / PolicySet Dev Cluster Stg Cluster Prd Cluster Policy app1 Policy app1 Kyverno Kyverno Kyverno Hub Cluster Subscription Channel Git Helm

Slide 56

Slide 56 text

Copyright © Dell Inc. All Rights Reserved. 57 of Y Governance on ACM ACM管理下のCluster間で同一のツールを持たせたい場合、OpenShift GitOpsとの連携が便利です。 Redhat ACM for k8s PlacementBinding PlacementRule Policy / PolicySet Dev Cluster Policy app1 Policy app1 Stg Cluster Prd Cluster Hub Cluster Kyverno Kyverno Kyverno OpenShift GitOps ClusterSet

Slide 57

Slide 57 text

Copyright © Dell Inc. All Rights Reserved. 58 of Y OpenShift GitOpsによるKyvernoのデプロイ ArgoCDのApplicationSetリソースを用いることで、 Cluster Decision Resource Generator という機能によって、どのClusterにデプロイするかを選定したうえで、 template以下に記述したApplicationリソースをクラスター毎に払い出すということをしています。途中に出てくる {{name}} や {{server}} には、今回対象となるClusterの名前や、API URLが入ってきます。

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Copyright © Dell Inc. All Rights Reserved. 60 of Y ACMにおけるマルチクラスターへのKyvernoポリシー適用手順 (前提条件) Hub Cluster及びManaged ClusterにKyvernoをインストール (ステップ) 1. 各クラスターにラベルを付与 2. Policy作成 (及びPolicySet作成) 3. PlacementRule作成 4. PlacementBinding作成

Slide 60

Slide 60 text

Copyright © Dell Inc. All Rights Reserved. 61 of Y ACMにおけるマルチクラスターへのKyvernoポリシー適用手順 (前提条件) Hub Cluster及びManaged ClusterにKyvernoをインストール (ステップ) 1. 各クラスターにラベルを付与 2. Policy作成 (及びPolicySet作成) 3. PlacementRule作成 4. PlacementBinding作成

Slide 61

Slide 61 text

Copyright © Dell Inc. All Rights Reserved. 62 of Y ACMにおけるマルチクラスターへのKyvernoポリシー適用手順 (前提条件) Hub Cluster及びManaged ClusterにKyvernoをインストール (ステップ) 1. 各クラスターにラベルを付与 2. Policy作成 (及びPolicySet作成) 3. PlacementRule作成 4. PlacementBinding作成

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Copyright © Dell Inc. All Rights Reserved. 65 of Y セッションのまとめ • Kyvernoでは、Kubernetesのマニフェストベースでポリシーを記述することができます。 • Kyvernoでは、ほかのポリシーエンジンにはない機能が実装されています。 • ポリシーには、以下の4種類の”アクション”が用意されています。 – Validate Resources – Mutate Resources – Generate Resources – Verify Images • マルチクラスターに対してポリシーを適用及び管理する際は、 Red Hat ACM for Kubernetesを用いることで、運用コストを下げることができます。 • Red Hat ACM for KubernetesとKyvernoを活用することで、マルチクラスターに対し、柔軟にポリシーを定義し適用することが可能です。

Slide 64

Slide 64 text

No content