WEAR のワークフロー実行基盤コストを何とかしたい

ZOZO Kubernetes Night 登壇資料
https://zozotech-inc.connpass.com/event/299357/

Transcript

1. WEAR のワークフロー実行基盤コストを何とかしたい 株式会社ZOZO ブランドソリューション開発本部 WEARバックエンド部 SREブロック 小林 未来 Copyright © ZOZO, Inc. ZOZO Kubernetes Night
2. © ZOZO, Inc. 本日お話しすること
 自己紹介
3. © ZOZO, Inc. 株式会社ZOZO ブランドソリューション開発本部 WEARバックエンド部 SREブロック 小林 未来 • @mirai_kobaaaaaa • ゆるふわ系SRE • 最近シェル芸にハマる
4. © ZOZO, Inc. 本日お話しすること
 本日お話しすること
5. © ZOZO, Inc. 本日お話しすること • WEAR ワークフロー実行基盤のリプレイスについて ◦ 課題解決へのアプローチ ◦ ワークフロー実行基盤の課題 ◦ WEAR のワークフロー ◦ リプレイス後の効果 本日お話ししないこと • EKS (Amazon Elastic Kubernetes Service) の細かな仕様 • Kubernetes の概要、詳細 • Digdag についての概要、詳細
6. © ZOZO, Inc. WEAR のワークフロー
7. © ZOZO, Inc. WEAR のワークフロー ワークフローで処理している主な内容 • 各種ユーザー情報の登録、更新 • ユーザーコーディネート情報の更新 • 各種アイテム情報の連携、状態の更新 • ランキング関連情報の更新 • ショップ様情報の更新
8. © ZOZO, Inc. WEAR のワークフロー WEAR ワークフロー実行基盤の主要コンポーネント ワークフロー自体を実行する EKS Cluster ワークフローエンジン ワークフローエンジン用のデータベース
9. © ZOZO, Inc. WEAR のワークフロー
10. © ZOZO, Inc. WEAR のワークフロー
11. © ZOZO, Inc. WEAR のワークフロー
12. © ZOZO, Inc. WEAR のワークフロー
13. © ZOZO, Inc. WEAR のワークフロー 今回お話しする範囲
14. © ZOZO, Inc. ワークフロー実行基盤の課題
15. © ZOZO, Inc. ワークフロー実行基盤の課題 サービス拡大と共にワークフロー数が飛躍的に増加
16. © ZOZO, Inc. ワークフロー実行基盤の課題 サービス拡大と共にワークフロー数が飛躍的に増加 Job の増加と比例し Fargate Node が大量に起動
17. © ZOZO, Inc. ワークフロー実行基盤の課題 サービス拡大と共にワークフロー数が飛躍的に増加 Job の増加と比例し Fargate Node が大量に起動 コスト効率性が課題に
18. © ZOZO, Inc. 課題解決へのアプローチ
19. © ZOZO, Inc. 課題解決へのアプローチ • 実測値に基づくリソース設定の見直し • ワークフロー実行基盤に適した基盤構成への変更
20. © ZOZO, Inc. 課題解決へのアプローチ 実測値に基づくリソース設定の見直し
21. © ZOZO, Inc. 課題解決へのアプローチ 実測値に基づくリソース設定の見直し • Datadog Metrics から直近数ヶ月の推移を確認
22. © ZOZO, Inc. 課題解決へのアプローチ 実測値に基づくリソース設定の見直し • 計測したデータを元に必要リソースを再計算 • 全ての Kubernetes Manifest に反映し設定を更新
23. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更
24. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 EKS
25. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 ➕ EKS Fargate
26. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 ➕ 今の WEAR では本当に最適なのか？ EKS Fargate
27. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • ワークフロー実行の流れを再考
28. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • ワークフロー実行の流れを再考 複数の workflow 実行中
29. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • ワークフロー実行の流れを再考 workflow2,4 が完了
30. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • ワークフロー実行の流れを再考 workflow5 が完了 workflow6 が開始
31. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • ワークフロー毎に起動する Pod タイミングはばらばら ◦ 実は同時実行 Pod 数は多くない • Node が Job 毎に作成されている ◦ Fargate で Node = Pod 数で作成される ◦ Fargate は 1Node(Pod) 毎に課金が発生する EC2 に複数 Pod をまとめればコストを最適化できるのでは？
32. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • EKS on EC2 への変更懸念点 ◦ 運用負荷が上がるのでは？ ◦ Job Node のオートスケールはどうする？
33. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 運用負荷抑制へのアプローチ
34. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 運用負荷抑制へのアプローチ ◦ EC2 Node はどのようにプロビジョニングする？ ◦ EC2 起動テンプレートの管理はどうする？ ◦ EKS バージョンアップ時の挙動制御は？
35. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 運用負荷抑制へのアプローチ ◦ EC2 Node はどのようにプロビジョニングする？ ◦ EC2 起動テンプレートの管理はどうする？ ◦ EKS バージョンアップ時の挙動制御は？ ▪ Fargate はスケール時に自動でプロビジョニング
36. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 運用負荷抑制へのアプローチ ◦ EC2 Node はどのようにプロビジョニングする？ ◦ EC2 起動テンプレートの管理はどうする？ ◦ EKS バージョンアップ時の挙動制御は？ ▪ Fargate はスケール時に自動でプロビジョニング ▪ 自前でゴールデンイメージを作るのは大変
37. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 運用負荷抑制へのアプローチ ◦ EC2 Node はどのようにプロビジョニングする？ ◦ EC2 起動テンプレートの管理はどうする？ ◦ EKS バージョンアップ時の挙動制御は？ ▪ Fargate はスケール時に自動でプロビジョニング ▪ 自前でゴールデンイメージを作るのは大変 ▪ Fargate は次起動時に新バージョン準拠になる
38. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 運用負荷抑制へのアプローチ ◦ Managed Node Group を採用
39. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 運用負荷抑制へのアプローチ ◦ Managed Node Group を採用 起動テンプレートを AWS 側で自動的に用意
40. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 運用負荷抑制へのアプローチ ◦ Managed Node Group を採用 EKS バージョンアップ時に自 動で B/G アップデート
41. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • Job Node のオートスケール
42. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • Job Node のオートスケール ◦ Job Node のスケールイン / アウトはどうする？ ◦ Node レベルのスケールアウトに時間がかかるのでは？
43. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • Job Node のオートスケール ◦ Job Node のスケールイン / アウトはどうする？ ◦ Node レベルのスケールアウトに時間がかかるのでは？ ▪ Fargate は Pod スケール時に自動でプロビジョニング
44. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • Job Node のオートスケール ◦ Job Node のスケールイン / アウトはどうする？ ◦ Node レベルのスケールアウトに時間がかかるのでは？ ▪ Fargate は Pod スケール時に自動でプロビジョニング ▪ Fargate と EC2 で時間の違いが発生する？
45. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • Job Node のオートスケール ◦ Karpenter を採用 https://karpenter.sh/より引用
46. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • Job Node のオートスケール ◦ Karpenter を採用 https://karpenter.sh/より引用 空き容量を計算して Node に Pod を配置
47. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • Job Node のオートスケール ◦ Karpenter を採用 https://karpenter.sh/より引用 Node に空きがない時は 必要な Node を追加起動
48. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • Job Node のオートスケール ◦ Karpenter を採用 https://karpenter.sh/より引用 Fargate とほぼ同等の Node スケール速度
49. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 最終的な EKS on EC2 構成
50. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 最終的な EKS on EC2 構成
51. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 最終的な EKS on EC2 構成 役割ごとに Node Group を作成
52. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 最終的な EKS on EC2 構成
53. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 最終的な EKS on EC2 構成 空き Node に Job を配置
54. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 最終的な EKS on EC2 構成
55. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 最終的な EKS on EC2 構成 Node 容量が足りない場合 新規 Node を追加
56. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 最終的な EKS on EC2 構成
57. © ZOZO, Inc. 課題解決へのアプローチ ワークフロー実行基盤に適した基盤構成への変更 • 最終的な EKS on EC2 構成 DaemonSet 以外の Pod が無い時は終了
58. © ZOZO, Inc. リプレイス後の効果
59. © ZOZO, Inc. リプレイス後の効果 リプレイス前とリプレイス後のコスト比較 30%程のコスト削減に成功
60. © ZOZO, Inc. リプレイス後の効果 パフォーマンスの変化 • ワークフロー実行自体が平均 20% 高速化 ◦ 連続して実行される Job の起動が速くなっていた ◦ EC2 変更によるイメージキャッシュ影響が大きい
61. © ZOZO, Inc. まとめ
62. © ZOZO, Inc. まとめ • コスト効率性はとても大事 • リソースを最適化し続けるのも大事 • 「今」のサービスにとって最適か？を考え続けるのも大事
63. © ZOZO, Inc. まとめ 本日お話しした内容を Tech Blog でも公開しています。 詳しい設定や Terraform コードなども記載していますので是非ご一読ください！ ワークフロー実行基盤をFargateからEC2へ変更したらコストもパフォーマンスも改善できて幸せになった話
64. © ZOZO, Inc. We are hiring!

65. © ZOZO, Inc. ご清聴ありがとうございました！