ZOZOTOWNにおけるKubernetes Cluster Upgradeのこれまでとこれから

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© ZOZO, Inc. 株式会社ZOZO 技術本部 SRE部 ECプラットフォーム基盤SREブロック巣立健太郎 / Kentaro Sudate 新卒SRE3年目。 EKS上で稼働するマイクロサービス基盤の運用に従事。最近は、CI/CDの改善も頑張っています。ついに最強のCI/CDが完成した〜巨大リポジトリで各チームが独立して・安全に・高速にリリースする〜 - ZOZO TECH BLOG Twitter: @ksudate  2

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© ZOZO, Inc. ZOZOTOWNのEKS Upgradeのこれまで 2020/4 2020/7 EKS Cluster 誕生構築当初のEKS Versionはv1.15 でした。 Nodegroup B/G Upgrade 初のEKS Upgradeを実施した。 Control PlaneはIn-place Upgrade、Nodegroupは Blue/Green Upgradeを採用した。 2021/9 In-place Upgrade 工数削減のためv1.19からは NodegroupについてもIn-place Upgradeを実施した。 Nodegroup B/G Upgradeでは、 NodeAﬃnity切り替えの作業コストがアプリケーションが増えるにつれ高まっていた。現在新たな手法模索中

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© ZOZO, Inc. それぞれの手法を比較するサービス影響 Nodegroup B/G Upgrade In-place Upgrade Cluster Migration Upgrade NodeAﬃnityの修正を行なってアップグレードするためアプリケーションごとにリリースできる。 In-placeでNodegroup ごとにUpgradeが実施されるため、 Nodegroup B/G Upgradeに比べて障害発生時の影響範囲が大きい。クラスタごと移行するため事前に新しいクラスタで動作確認ができる。そのため、他の手法に比べて安全。

Slide 31

Slide 31 text

Slide 32

Slide 32 text

© ZOZO, Inc. それぞれの手法を比較するロールバック Nodegroup B/G Upgrade In-place Upgrade Cluster Migration Upgrade Control planeのロールバックができない Data planeは、 NodeAﬃnityの切り替えにより古い Nodegroupに移動することでロールバック可能 Control planeのロールバックができない Data planeは、 Nodegroupの更新中に問題が発生すると自動的にロールバックが実施される Control planeのロールバックが可能 Traﬃcの切り替え方法によってロールバックの方法も異なる

Slide 33

Slide 33 text

© ZOZO, Inc. それぞれの手法を比較する頻度 Nodegroup B/G Upgrade In-place Upgrade Cluster Migration Upgrade Control plane・Data planeのどちらも 1versionずつしかアップグレードできないため、アップグレードの頻度も多くなる Control plane・Data planeのどちらも 1versionずつしかアップグレードできないため、アップグレードの頻度も多くなる新規クラスタを構築するため、1度にアップグレードできるバージョンに上限がないそのため、他の手法に比べてアップグレードの頻度を少なくできる

Slide 34

Slide 34 text

© ZOZO, Inc. それぞれの手法を比較する実行時間 Nodegroup B/G Upgrade In-place Upgrade Cluster Migration Upgrade Control planeの Upgradeは、10分程度 Data planeは、 NodeAffinityの変更なのでImage更新などのリリース時間と同じ Control planeの Upgradeは10分程度 Data planeについては、updateConfigの設定で変動 Trafficの切り替え方法で実行時間は変動

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

© ZOZO, Inc. EKS Upgradeを少しだけ楽にする取り組み updateConfigの設定 updateConfigでは、並列でアップグレードするNodeの最大数を決める。一度に最大100Nodeまで並列でアップグレードが可能になる。デフォルト値が1NodeなのでIn-placeでアップグレードを実施している大規模なクラスタでは、updateConfigを設定することで、高速化が期待できる。 NodegroupUpdateConfig - Amazon EKS

Slide 41

Slide 41 text

© ZOZO, Inc. EKS Upgradeを少しだけ楽にする取り組み EKS Addonの導入 kube-proxyやamazon-vpc-cni、corednsなどをAWSが管理してくれる。 EKS Addonで管理されるリソースは、Server-side Applyを利用している。そのため、ユーザーがアドオンに対して独自の設定を追加できる。 Kubernetes フィールド管理 - Amazon EKS

Slide 42

Slide 42 text

© ZOZO, Inc. EKS Upgradeを少しだけ楽にする取り組み Plutoによる非推奨APIの確認 K8sはバージョンアップに伴い、非推奨・廃止予定のAPIが発生する。 Plutoは静的マニフェストをチェックし、非推奨・廃止予定のAPIを出力する。 Plutoの類似ツールとしてKube-no-troubleなどがある。 Plutoを使えば、Upgradeの度にRelease Noteを見て、変更のあるAPIを修正する手間が省ける。

Slide 43

Slide 43 text

Slide 44

Slide 44 text

© ZOZO, Inc. EKS Upgradeを少しだけ楽にする取り組み RenovateによるEcosystemのバージョンアップ EKSのアップグレードに伴い、クラスタ上で稼働するアプリケーション (cluster-autoscaler、cert-managerなど)のバージョンアップも必要になる。 Renovateを利用すると、バージョンアップが必要なアプリケーションに対して修正を行いGitHub上にPull Requestを作成してくれる。