Kustomize v5 を含む最新機能と テクニックの紹介 koba1t Kubernetes Meetup Tokyo #56 1

自己紹介 name: 小林優吾 github: koba1t twitter: 0x6b6f62 Reviewer of kubernetes-sigs/kustomize 所属: ヤフー株式会社 (Engineer for CaaS, OSSデベロッパー) 2

kustomizeとは k8sに適用するyamlファイルをカスタマイズするcliツール - kubectlにサブコマンドとして入っている - `kubectl kustomize` や `kubectl apply -k` で実行できる - configMapの生成やk8sのyamlにpatchをすることができる 3

kustomizeとは k8sに適用するyamlファイルをカスタマイズするcliツール - kubectlにサブコマンドとして入っている - `kubectl kustomize` や `kubectl apply -k` で実行できる - configMapの生成やk8sのyamlにpatchをすることができる 4

kustomizeとは k8sに適用するyamlファイルをカスタマイズするcliツール - kubectlにサブコマンドとして入っている - `kubectl kustomize` や `kubectl apply -k` で実行できる - configMapの生成やk8sのyamlにpatchをすることができる 5

kustomizeとは k8sに適用するyamlファイルをカスタマイズするcliツール - kubectlにサブコマンドとして入っている - `kubectl kustomize` や `kubectl apply -k` で実行できる - configMapの生成やk8sのyamlにpatchをすることができる 6

Kustomize v5 7

8 https://github.com/kubernetes-sigs/kustomize/releases/tag/kustomize%2Fv5.0.0

kustomize localize サブコマンド 9 - urlをダウンロードして、参照をローカルのpathに置き換える https://kubectl.docs.kubernetes.io/references/kustomize/cmd/localize/

kustomize localize サブコマンド 10 - urlをダウンロードして、参照をローカルのpathに置き換える https://kubectl.docs.kubernetes.io/references/kustomize/cmd/localize/

kustomize localize サブコマンド 11 - urlをダウンロードして、参照をローカルのpathに置き換える https://kubectl.docs.kubernetes.io/references/kustomize/cmd/localize/

sortOptions 12 - kustomize build で出力されるリソースの順番を変更できる https://kubectl.docs.kubernetes.io/references/kustomize/kustomization/sortoptions/

sortOptions 13 - kustomize build で出力されるリソースの順番を変更できる - order: fifo - `resources` で読まれた順番に出力する - order: legacy - `orderFirst` : 最初に出力すべきリソース - `orderLast` : 最後に出力すべきリソース - この二種類の指定方法が可能 https://kubectl.docs.kubernetes.io/references/kustomize/kustomization/sortoptions/

sortOptions 14 - kustomize build で出力されるリソースの順番を変更できる - order: fifo - `resources` で読まれた順番に出力する - order: legacy - `orderFirst` : 最初に出力すべきリソース - `orderLast` : 最後に出力すべきリソース - この二種類の指定方法が可能 https://kubectl.docs.kubernetes.io/references/kustomize/kustomization/sortoptions/

replacementのwildcardサポート 15 - 値を置き換える機能にwildcardがサポートされた https://kubectl.docs.kubernetes.io/references/kustomize/kustomization/replacements/

replacementのwildcardサポート 16 - 値を置き換える機能にwildcardがサポートされた

その他 17 - 内部で使ってるopenapiの形式変更やリファクタによって kustomize build が高速 化(#4568, #4791, #4944, #4809) - kustomize version の出力結果が短くなった(#5000) - - kubectl version が出力形式を変更する計画があるので、それに合わせた形 - `helmCharts` でより多くの引数をサポート(#4926 #4808) - krm exec functionで実行可能ファイルを検索するworking dirが、exec functionを 実行したkustomization.yamlが存在するディレクトリに変更 - どちらかというとバグ修正の範囲かも https://github.com/kubernetes-sigs/kustomize/releases/tag/kustomize%2Fv5.0.0

非推奨な機能 18 - 長い間非推奨だった古い `patch` syntax が削除(#4911) - kustomize v4のリリース時に`patchStrategicMerge` へリネームされた方 - これは完全削除 - 使われていなかったサブコマンド(`kustomize fn`, `kustomize cfg`)が削除(#4930) - いくつかのsyntaxが非推奨化(#4723, #4923:) - patchesStrategicMerge, patchesJson6902, vars, imageTags など - こっちは Warning メッセージが出力されるだけでまだ使える。 - `kustomize edit fix` を実行すると(vars 以外は) 自動的に修正してくれます

非推奨な機能 19 - 長い間非推奨だった古い `patch` syntax が削除(#4911) - kustomize v4のリリース時に`patchStrategicMerge` へリネームされた方 - これは完全削除 - 使われていなかったサブコマンド(`kustomize fn`, `kustomize cfg`)が削除(#4930) - いくつかのsyntaxが非推奨化(#4723, #4923:) - patchesStrategicMerge, patchesJson6902, vars, imageTags など - こっちは Warning メッセージが出力されるだけでまだ使える。 - `kustomize edit fix` を実行すると(vars 以外は) 自動的に修正してくれます

非推奨な機能 20 - 長い間非推奨だった古い `patch` syntax が削除(#4911) - kustomize v4のリリース時に`patchStrategicMerge` へリネームされた方 - これは完全削除 - 使われていなかったサブコマンド(`kustomize fn`, `kustomize cfg`)が削除(#4930) - いくつかのsyntaxが非推奨化(#4723, #4923:) - patchesStrategicMerge, patchesJson6902, vars, imageTags など - こっちは Warning メッセージが出力されるだけでまだ使える。 - `kustomize edit fix` を実行すると(vars 以外は) 自動的に修正してくれます

Mastering YAML Engineering with Kustomize 21

Demo: https://github.com/koba1t/kustomize-demo 22

何にkustomizeを使っているか 23 - CaaS(KaaS) Platformに管理用 component をデプロイするため - 1200 over のk8sクラスタに共通コンポーネントをデプロイする際の設定の差分管理に使用 - 規模の詳細は `[SRE NEXT 2022]KaaS桶狭間の戦い 〜Yahoo! JAPANのSLI/SLOを用いた統合監視〜 ` を https://speakerdeck.com/srenext/slowoyong-itatong-he-jian-shi

何にkustomizeを使っているか 24 - base <- 環境別base <- クラスタ別config - の構成になっている - 環境(dev,prodの用途, DCの位置など)の組み合わせ が多い - 単純にクラスタ数が多い

何にkustomizeを使っているか 25 - base <- 環境別base <- クラスタ別config - の構成になっている - 環境(dev,prodの用途, DCの位置など)の組み合わせ が多い - 単純にクラスタ数が多い

merge configMap - base と overlay で設定した値をmergeして configMap を作成 26

merge configMap - base と overlay で設定した値をmergeして configMap を作成 27

merge configMap - base と overlay で設定した値をmergeして configMap を作成 28 https://kubectl.docs.kubernetes.io/references/kustomize/kustomization/configmapgenerator/

edit inline domain - 文字列の中の一部だけを変えたい -> replacements の delimiter で可能 - ingressのサブドメインだけ変えたいとか 29

edit inline domain - 文字列の中の一部だけを変えたい -> replacements の delimiter で可能 - ingressのサブドメインだけ変えたいとか 30

edit inline domain - 文字列の中の一部だけを変えたい -> replacements の delimiter で可能 - ingressのサブドメインだけ変えたいとか 31

(tips) kustomize build のした結果に表示しない - `config.kubernetes.io/local-config: "true"` という annotation を付けたリソースは `kustomize build` の output に表示されない 32 https://github.com/kubernetes-sigs/kustomize/blob/dd520f8889a52ddd592bb4773fe512b9 90fea698/cmd/config/docs/api-conventions/manifest-annotations.md

fill data from cluster info - `components` を利用するとより自在に操作できる - configuration logic を再利用可能にする物 - 複数箇所へyamlを操作するロジックを適用できる - これを利用すると string を変えるだけで様々な場所を変更できる 33 https://kubectl.docs.kubernetes.io/guides/config_management/components/

fill data from cluster info - `components` を利用するとより自在に操作できる - configuration logic を再利用可能にする物 - 複数箇所へyamlを操作するロジックを適用できる - これを利用すると string を変えるだけで様々な場所を変更できる 34 https://kubectl.docs.kubernetes.io/guides/config_management/components/

fill data from cluster info - `components` を利用するとより自在に操作できる 35 クラスタの情報を持たせたconfigMapを各クラスタに読ませる

fill data from cluster info - `components` を利用するとより自在に操作できる 36 components にドメインの一部を置き換える処理を replacements で記載する

fill data from cluster info - `components` を利用するとより自在に操作できる 37 各クラスタの kustomization.yamlから components と configMap を参照する (kustomization.yaml の内容は同じ物になる)

fill data from cluster info - `components` を利用するとより自在に操作できる 38 kustomize build すると各クラスタの情報が共通のreplacements で埋め込まれる

fill data from cluster info - `components` を利用するとより自在に操作できる 39 kustomize build すると各クラスタの情報が共通のreplacements で埋め込まれる

kustomize を使いこなして senior yaml engineer になろう!!! 40 https://speakerdeck.com/koba1t/kustomizefalseamarizhi-rareteinaiga-bian-li-naji-neng-kust omize-edit-create-falseshao-jie

参考 - demo: https://github.com/koba1t/kustomize-demo - https://github.com/kubernetes-sigs/kustomize - https://github.com/kubernetes-sigs/kustomize/releases/tag/kustomize%2Fv5.0.0 - https://kubectl.docs.kubernetes.io/references/kustomize/cmd/localize/ - https://kubectl.docs.kubernetes.io/references/kustomize/kustomization/sortoptions/ - https://kubectl.docs.kubernetes.io/references/kustomize/kustomization/replacements/ - - SRENEXT2022 の講演: https://speakerdeck.com/srenext/slowoyong-itatong-he-jian-shi - https://kubectl.docs.kubernetes.io/references/kustomize/kustomization/configmapgenerator/ - local-config : https://github.com/kubernetes-sigs/kustomize/blob/dd520f8889a52ddd592bb4773fe512b990fea698/cmd/config/docs/api-conve ntions/manifest-annotations.md - https://kubectl.docs.kubernetes.io/guides/config_management/components/ - https://speakerdeck.com/koba1t/kustomizefalseamarizhi-rareteinaiga-bian-li-naji-neng-kustomize-edit-create-falseshao-jie 41