明日、業務で使える Scheduler Extender #cloudnativejp / Cloud Native Meetup Tokyo 7th

Cloud Native Meetup Tokyo #7 で使用したスライドです。Kubernetes の Scheduler を Webhook で拡張する仕組み、Extender について解説しています。

イベント概要：https://cloudnative.connpass.com/event/123324/

Transcript

1. 明日、業務で使える Scheduler Extender チェシャ猫 (@y_taka_23) Cloud Native Meetup Tokyo #7 (2019/03/29) #cloudnativejp
2. Extender、初めて聞いた人？ #cloudnativejp
3. 明日には「使える」状態に #cloudnativejp
4. Scheduling のサイクル • Node のフィルタリング ◦ リソース不足等、条件に合わない Node を除外 ◦ 候補が残らなければ preemption へ • Node のランキング ◦ 残った各 Node のスコアを算出して順位付け • Node への Pod のバインディング ◦ Pod ごとに独立した goroutine を生成 #cloudnativejp
5. 2 1 3 Rank Nodes Filter Nodes Dequeue Preempt Per-Pod Goroutines Bind to Node Main Loop #cloudnativejp
6. Scheduler Extender • Webhook による処理の追加 ◦ 指定した外部サーバと JSON をやり取り • 拡張できるポイントは 4 つ ◦ Filter - Node の候補をさらに絞る ◦ Prioritize - Node のスコアリング関数を追加 ◦ Preempt - 追い出される Pod の候補を絞る ◦ Bind - Pod と Node の紐づけを委譲 #cloudnativejp
7. 2 1 3 Rank Nodes Filter Nodes Dequeue Preempt Per-Pod Goroutines Bind to Node Main Loop #cloudnativejp
8. Scheduling Policy の設定 • Extender 以外も設定可能 ◦ デフォルトのフィルタ・スコアリングの指し替え ◦ ExtendedResources の扱いなど • policy.cfg を ConfigMap にしておく ◦ Scheduler 起動時フラグで設定ファイルを指定 ◦ 設定ファイル内でさらに ConfigMap を指定 ◦ 直接 policy.cfg を指定するフラグは非推奨 #cloudnativejp
9. ConfigMap 内の policy.cfg #cloudnativejp
10. 起動時に設定ファイルを指定 policy.cfg を含む ConfigMap #cloudnativejp
11. ウチ、マネージドなんだけど？ #cloudnativejp
12. 追加 Scheduler の指定 • 通常の Pod として Scheduler を追加 ◦ マネージドだと kube-scheduler に触れない ◦ kube-scheduler イメージを使いまわせる ◦ 追加した Scheduler に Policy を読み込ませる • 特定の Pod だけが Scheduling 対象に ◦ Scheduler 側で schedulerName を設定 ◦ Pod の schedulerName 属性で担当決め #cloudnativejp
13. Scheduler に schedulerName を設定 #cloudnativejp
14. Pod で schedulerName を指定 #cloudnativejp
15. 具体的に何ができるの？ #cloudnativejp
16. 2 1 3 Rank Nodes Filter Nodes Dequeue Preempt Per-Pod Goroutines Bind to Node Main Loop #cloudnativejp
17. 拡張点 1 : Filter • Node のフィルタ条件を追加できる ◦ 入力 : Pod、候補 Node のリスト ◦ 出力 : 残った / 落選した Node のリスト • その Pod を載せたくない Node を選べる ◦ NodeAntiAffinity より複雑な条件が書ける ◦ 時間経過で変化する条件も考慮できる #cloudnativejp
18. 2 1 3 Rank Nodes Filter Nodes Dequeue Preempt Per-Pod Goroutines Bind to Node Main Loop #cloudnativejp
19. 拡張点 2 : Prioritize • Node のスコアリング関数を追加できる ◦ 入力 : Pod、候補として残った Node のリスト ◦ 出力 : 各 Node のホスト名とスコアの組 • スコアが大きい Node ほど選ばれやすい ◦ 各スコアリング関数が 0 から 10 で採点 ◦ weight をかけて合計したものが最終スコアに #cloudnativejp
20. 2 1 3 Rank Nodes Filter Nodes Dequeue Preempt Per-Pod Goroutines Bind to Node Main Loop #cloudnativejp
21. 拡張点 3 : Preempt • Preempt の犠牲になる Pod を選択できる ◦ 入力 : Pod、犠牲 Pod のリスト、PDB 違反個数 ◦ 出力 : 犠牲にしてよい Pod のリスト • Pod は自由に指定できず、候補から選択 ◦ 通常の preemption の結果が送られてくる ◦ 犠牲にしたくない Pod は外してから送り返す #cloudnativejp
22. Preempt Extender の重要性 • Preemption で殺されない Pod ◦ 現状 Preemption を制御する数少ない方法 ◦ あとは Scheduler ごと自作しかない • PodPriority だけでは制御できない ◦ PodPriority はキュー内の優先度も兼ねる ◦ 後回しでもいいが中断されたくない Job が困る ◦ https://github.com/kubernetes/kubernetes/pull/73331 #cloudnativejp
23. 2 1 3 Rank Nodes Filter Nodes Dequeue Preempt Per-Pod Goroutines Bind to Node Main Loop #cloudnativejp
24. 拡張点 4 : Bind • Pod を Node に紐づける操作を委譲 ◦ 入力 : Pod 名と UID、Namespace、Node 名 ◦ 出力 : なし • Node 上で時間のかかる前処理ができる ◦ 個別の goroutine 内で実行 ◦ Webhook 送信後 Scheduler は何もしない ◦ Extender 自身が Binding オブジェクトを作成 #cloudnativejp
25. kubernetes/pkg/scheduler/api/types.go #cloudnativejp
26. まとめ • Scheduler Extender による拡張 ◦ JSON Webhook による処理の差し込み ◦ ConfigMap に記述、設定ファイルから参照 • マネージド環境でも使用可能 ◦ 追加で Scheduler をもう一つデプロイして設定 • API 定義さえ見つかれば単純な仕組み ◦ Preempt Extender がメリットを得やすい #cloudnativejp
27. Let’s Extend Your Ideas! Presented by チェシャ猫 (@y_taka_23) #cloudnativejp