オンプレミスKubernetesへのサービス移行

https://conference.pixiv.co.jp/2024/dev-meetup

Transcript

1. オンプレミス Kubernetesへの サービス移行 lyluck
2. • 2022年12月 ピクシブ中途入社 • 技術開発本部 インフラ部 ソリューションアーキテクト チーム • ピアノと音ゲーが趣味 lyluck
3. • なぜオンプレミスKubernetes? • クラスタ構築 • 良かった点と悪かった点 話すこと
4. なぜオンプレミス Kubernetes?
5. サーバーの準備には 時間がかかる!
6. サーバーの準備 1. 見積もり(1ヶ月) 2. 調達(半年) 3. セットアップ 4. テスト 5. 監視設定 6. アプリケーション が動く
7. Kubernetesの場合 1. コンテナを用意する 2. マニフェストファイルを書く 3. アプリケーションが動く
8. メンテナンスが大変
9. サーバーのメンテナンス • サーバーの入れ替え • スケールアウト・スケールイン
10. サーバーのメンテナンス • 開発チームとの調整が必要 • どのサーバーが対象? • デプロイ禁止の時間帯
11. Kubernetesの場合 • 調整不要 • アプリケーションを 自動で適切なノードへ割り当て
12. クラウドじゃダメ?
13. 実例をみてみよう
14. オンプレKubernetes実例 • VRoid Hub • pixiv Sketch • FANBOXプリント • Airflow (バッチ) • Rendertron (SEO)
15. クラウド(GKEなど)実例 • pixiv Ads (広告) • Sentry (監視) • IAP (認証プロキシ) • GitLab Runner (CI/CD) • Rendertron (SEO)
16. オンプレ vs クラウド
17. オンプレ クラウド スケーラビリティ ✅ 管理工数 ✅ 費用 ✅ カスタマイズ ✅ クラウド連携 ✅ オンプレ通信コスト ✅
18. pixiv Ads (広告): クラウド • トラフィックの激しい増加がある • オンプレと通信しない
19. Airflow (バッチ): オンプレ • オンプレと通信する • セキュリティの観点でインターネットを 通したくない
20. Rendertron (SEO): ハイブリッド • 元々はクラウド • オンプレと通信しない • クラウドの料金を削減したい
21. オンプレKubernetesが 有効な場合もある!
22. VRoid Hub の移行事例
23. もともとの構成 • 手動スケール • スパイクがある • オンプレと通信する > オンプレK8s
24. 移行後 • スケール対象をK8s化 • オートスケール • サーバー数が減った
25. クラスタ構築
26. 使ったもの • kubespray • k0s, k0sctl • MetalLB
27. kubespray https://github.com/kubernetes-sigs/kubespray
28. kubespray使ってみた • Kubernetes SIGs管理 • 中身はAnsible • Ansibleは社内実績が多い
29. kubespray合わなかった • 実行に時間がかかる • Ansible二重管理が辛い ◦ pixivではホストセットアップにも Ansibleを使う
30. k0s https://github.com/k0sproject/k0s
31. k0sを採用 • バイナリひとつで大体動く • Kubernetes本体への変更がない • 起動がはやい
32. k0sctl • k0sを使ってクラスタのIaC • 簡単にk0sクラスタを構築できる
33. k0sctl.yaml – クラスタ設定ファイル
34. • kustomizeで複数クラスタを差分で管理 • GitLab CIからデプロイ k0sctl
35. MetalLB https://github.com/metallb/metallb
36. MetalLB • 外部ロードバランサーの実装 • サービスをクラスタ外部へ公開する • オンプレだと標準実装がない
37. クラスタ運用
38. product A product B product C Argo CD namespace A namespace B namespace C
39. マルチテナント • プロダクトごとのnamespace • プロダクトごとのマニフェストrepo
40. 権限管理: 権限分離 • 複数の部署が同一クラスタを使うので 権限を分割する • namespace単位で分離
41. 権限管理: OneLogin • pixivではOneLoginを利用する ◦ SSO, ID管理 • OneLoginと連携して所属部署から 自動権限割り当て
42. アプリケーション管理: Argo CD • Kubernetesリソースの確認・操作 • アプリケーションログ
43. アプリケーション管理: Datadog • pixivでは監視をDatadogに統一している • CPU, メモリ, パフォーマンス
44. アプリケーション管理: kubectl • クラスタ管理者のみ
45. アップグレード • Kubernetes本体 • エコシステム ◦ Argo CD, Datadogなどいろいろ
46. アップグレード: Kubernetes • k0sctlがいい感じにやってくれる
47. アップグレード: Kubernetes 1. k0sctl.yamlを書き換える 2. k0sctl apply name: my-k0s-cluster spec: k0s: - version: "v1.28.12+k0s.0" + version: "v1.29.7+k0s.0" hosts: - role: controller installFlags:
48. k0sctl applyで起きること • controlplaneのアップグレード • workerを1台ずつ drain > アップグレード > uncordon
49. アップグレード: エコシステム • GitLab CIから定期的にRenovate • エコシステムのリリースを検知+MR作成 • 自動マージはしない
50. 良かった点と悪かった点
51. 良かった点
52. 良かった点 • 開発側と無調整でメンテできる • 構成変更が簡単
53. 開発側と無調整でメンテできる • クラスタのホストのメンテナンス • 開発側はインフラを気にせずデプロイ可
54. 構成変更が簡単 • ほぼコミットのみで変更(IaC) • 適用が早い • ロールバックが簡単ですみやか
55. 悪かった点
56. 悪かった点 • わからないことが多い • アップグレードが大変
57. わからないことが多い • 問題が発生した時、だいたい初見 • K8sだけでも複雑だが オンプレとK8sの組み合わせで さらに難解
58. アップグレードが大変 • 回数が多い • EOLまでが短い • チェンジログは小さくない
59. まとめ
60. まとめ • オンプレミスKubernetes運用を始めた • 管理工数は大きいが費用削減や オンプレミスと通信する場合、有効