プライベートクラウドで動くKubernetesクラスタの運用とこれから

GMOペパボのNyah Kubernetes Engine（NKE）は、プライベートクラウドのKubernetesエンジンとして活用されています。このセッションでは、NKEでクラスタを運用する際に生じる固有の課題や、パブリッククラウドとの組み合わせによるハイブリッドクラウド構成を考慮する際に得られた知見についてお話しします。

Transcript

1. 1 プライベートクラウドで動く Kubernetesクラスタの運⽤とこれから 新宮 隆太 GMOペパボ株式会社 技術部プラットフォームグループ 2023/8 Cloud Operator Days Tokyo 2023
2. 2 ⾃⼰紹介 技術部 プラットフォームグループ 2021年 新卒⼊社 新宮 隆太 Shingu Ryuta • カラーミーショップのSREとインフラを担当 • 最近はポータブルオーディオにハマっています • あだ名: ほみるん • 𝕏(Twitter) : @h0mirun_deux
3. 3 アジェンダ 1. ペパボのプライベートクラウド環境について 2. NKE環境におけるKubernetesクラスタの運⽤について 2.1. 事例紹介 - 1 2.2. 事例紹介 - 2 3. おわりに
4. 1. プライベートクラウド環境について 4
5. プライベートクラウド環境について 5 • ペパボのプライベートクラウド • OpenStackベース • LBaaSもある Nyah 詳しくは「OpenStackからKubernetesへNyahとAWSをつないだ GMOペパボのインフラの歴史 」を御覧ください
6. プライベートクラウド環境について 6 • Nyahを使ったクラスタの構築‧管理 ◦ 各サービスごとにクラスタを構築し運⽤している • よく使われるコンポーネントや全社統⼀監査基盤(Wazuh)をbuilt-in提供 • TOMLでクラスタの構成管理 Nyah Kubernetes Engine - NKE
7. プライベートクラウド環境について 7 • ⾦銭的コストが安い(運⽤⼯数を除く) • ⾃由度が⾼い プライベートクラウドのメリット
8. 2. NKE環境における Kubernetesクラスタの運⽤について 8
9. NKE環境におけるKubernetesクラスタの運⽤について 9 カラーミーショップのKubernetes環境 • マルチクラスタ構成 • Blue/Greenデプロイメントを採⽤ • ArgoCDを利⽤してGitOpsを実現
10. NKE環境におけるKubernetesクラスタの運⽤について 10 カラーミーショップのKubernetes環境
11. NKE環境におけるKubernetesクラスタの運⽤について 11 • クラスタアップデート • クラスタの可⽤性確保 • インフラコスト • 属⼈化 Kubernetesクラスタを運⽤する上で⼤変なこと など
12. NKE環境におけるKubernetesクラスタの運⽤について 12 • クラスタアップデート • クラスタの可⽤性確保 • インフラコスト • 属⼈化 Kubernetesクラスタを運⽤する上で⼤変なこと など
13. NKE環境におけるKubernetesクラスタの運⽤について 13 事例紹介
14. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その1 • 3〜4ヶ⽉おきにリリースされ、3世代サポート • サポート終了後は脆弱性のパッチなどが配信されない • 最新は1.27 14 Kubernetesのアップデート
15. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その1 • Kubernetesのサポートバージョンに準拠 • CLIツールが⽤意されており、それを利⽤する ◦ 基本的にはGitHubActionsから実⾏する 15 NKEにおけるクラスタアップデート
16. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その1 • アップデートによるKubernetesのAPI廃⽌を⾒落とす • SealedSecretやNGINX Ingress等のバージョンサポートを⾒落とす • アップデート中にkube-apiserverが全滅する • ⼀部etcdノードのメンバー情報がおかしくなる 16 今までのアップデートで経験したこと など
17. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その1 17 廃⽌されるAPIバージョンの⾒落とし
18. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その1 18 廃⽌されるAPIバージョンの⾒落とし
19. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その1 FairwindsOps/plutoを利⽤する • マニフェストを⾒てDeprecated APIやRemove APIを検出 • クラスタバージョンを指定することでより最適な通知が可能 19 ⾒落としを未然に防ぐ
20. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その1 PRに実⾏結果をコメントさせたことで、⽬につくので気が付きやすい 20 ⾒落としを未然に防ぐ
21. 3. ハイブリッドクラウド化 21
22. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 22 • カラーミーショップで利⽤するオブジェクトストレージをS3へ移⾏ ◦ 今まではS3互換のプライベートなオブジェクトストレージを利⽤ • 画像圧縮アプリケーションがNKEで動いているためS3のトラフィックにか かるコストが⾼くなってしまう ハイブリッドクラウド化
23. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 23 元々の構成 ハイブリッドクラウド化 *Oyaki: 画像の最適化を行うアプリケーション *Bayt: S3互換のプライベートオブジェクトストレージ
24. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 S3移設後の構成 24 ハイブリッドクラウド化 *Oyaki: 画像の最適化を行うアプリケーション AWS AWS Nyah
25. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 S3移設後の構成 25 ハイブリッドクラウド化 *Oyaki: 画像の最適化を行うアプリケーション AWS AWS Nyah
26. プライベートクラウド環境について 26 • カラーミーショップで利⽤している画像をS3に移設 • CloudFront -> Oyaki(NKE) -NATGW-> S3 • CloudFront -> Oyaki(EKS) -VPC Endpoint-> S3 • 画像が⾒えないと困る 冗⻑化 なぜハイブリッドクラウド化
27. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 27 • 今回EKSで動かすのはOyakiだけ • NKEとEKSはACTIVE:ACTIVE ◦ 重み付けラウンドロビンでOyakiの流量の⽐率を1:99に • NKEとEKSでできるだけ差分を⼩さく 要件
28. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 28 要件
29. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 29 • Kustomizeを駆使してNKEとEKSの設定差分が⽣まれないようにする • EKSでも全社統⼀監視基盤をインストールできるようにする ハイブリッドクラウド化に向けて
30. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 Kustomize • Kubernetesのマニフェストを管理するツール • マニフェストにPatchを当てることができる 30 Kustomizeの活⽤
31. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 31 ArgoCDで各クラスタのデプロイを管理している 今まで... • baseをoverlays以下でパッチを当てていた Kustomizeの活⽤
32. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 32 EKSクラスタもoverlay/productionを適⽤すればよい？ Kustomizeの活⽤
33. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 33 EKSクラスタもoverlay/productionを適⽤すればよい？ EKSで⼀部固有の設定を⼊れたいので難しい ただしNKEとEKSで差が⽣まれにくい状態にしたい Kustomizeの活⽤
34. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 34 • EKS⽤のディレクトリを切ってproductionを参照 ◦ base‧productionに⼊った変更を適⽤できる ◦ NKEとEKSの差分を仕組みで⽣み出しにくく • delete-patchを利⽤して不要なリソースを削除 Kustomizeの活⽤ $patch: delete apiVersion: argoproj.io/v1alpha1 kind: Application ...
35. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 • 全社統⼀で利⽤している監査基盤WazuhをEKSノードで利⽤したい • EKSはTerraformで管理されているため⼿動での変更はしたくない 35 EKSで統⼀監査基盤を使えるように
36. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 • 既に社内で同じ悩みがあって解決されていた • デフォルトのEKSのAMIにPacker + Ansibleでカスタム • GitHub Actionsを⾛らせればAMIが作られる • cloudinitでWazuhを⽴ち上がらせるだけ 36 EKSで統⼀監査基盤を使えるように 特有の課題を仕組みで解決されていたことで、 とても簡単に進めることができた
37. NKE環境におけるKubernetesクラスタの運⽤について - 事例紹介 その2 • クラスタ間でできるだけ設定差分を減らしたい ◦ NKEではNGINX Ingress Controllerを利⽤ ◦ Amazon Loadbalancer ControllerでALBを利⽤されていることが多い 37 IngressControllerの設定
38. 3. 終わりに 38
39. 終わりに 39 • ペパボのプライベートクラウド環境について紹介 • Kubernetesクラスタを運⽤していて詰まりがちな事例を2つ紹介 ◦ クラスタのアップデートについて ◦ EKSとのハイブリッドクラウド化について 話したこと
40. プライベートクラウド環境について 40 • ハイブリッドクラウド化することで、プライベートクラウド‧パブリック クラウドの良いところを補うことができる。 • プライベートクラウド特有の課題は仕組みで解決することで、組織全体の 開発効率を向上させることができる。 まとめ
41. ご清聴ありがとうございました！ 41