Share
Embed
Kubernetesのソースコードリーディング入門
「APC勉強会#34 Kubernetesのソースコードリーディング入門」の発表資料です。
ShinMatsuzaki
August 23, 2019
Transcript
94 slides
-
本日のアジェンダ 前半: k8sのソースコード入門 - ソースコードを読むと幸せになれますか? - レポジトリの紹介とゆるふわに入門するためのTIPS 後半: k8sぷちDeepdive -
kube-schedulerを読もうとしてみる - CustomControllerを題材に学ぶ、k8sのイベント通知 -
アジェンダ 前半: k8sのソースコード入門 - ソースコードを読むと幸せになれますか? - レポジトリの紹介とゆるふわに入門するためのTIPS 後半: k8sぷちDeepdive -
kube-schedulerを読もうとしてみる - CustomControllerを題材に学ぶ、k8sのイベント通知 -
コードが読めると.... • 仕様に強くなれる • トラブルシュート力が向上 • 試験設計に強くなれる • Deepな技術解説記事が書けるかも? •
Operator*1 の開発者になれるかも? *1 CustomControllerを使って運用を自動化しよう という手法、開発されるCustomControllerのこと https://coreos.com/blog/introducing-operators.html -
アジェンダ 前半: k8sのソースコード入門 - ソースコードを読むと幸せになれますか? - レポジトリの紹介とゆるふわに入門するためのTIPS 後半: k8sぷちDeepdive -
kube-schedulerを読もうとしてみる - CustomControllerを題材に学ぶ、k8sのイベント通知 -
kubernetes / apimachinery • APIオブジェクトのSchemaを定義するレポジトリ • k8s v1.8より、APIオブジェクトは kubernetes/apimachinery にて定義されるデータ構造とコード
の自動生成機能(code generation)を使って、実装される仕様に変わった。[1] kubernetes / api • Kubernetes / apimachinery にて定義のSchemaを元に実際のAPIオブジェクトを定義 kubernetes / client-go • kube-apisererと通信を行うclient生成用の各種関数(i.e. ) + 構造体(i.e. struct Clientset) • イベント通知エンジンである informer framework を構成する関数, キュー, キャッシュ機構etc [1] Kubernetes Deep Dive: Code Generation for CustomResources https://blog.openshift.com/kubernetes-deep-dive-code-generation-customresources/ 主要なレポジトリ(2) -
Specification = DesiredStateを定義 CurrentState. Reconciliation Loopの評価に使用される Kind(str型)とAIPVersion(str型)をメンバに持つ構造体 Interface. kind情報生成用の関数 &
APIオブジェクトの複製用の関数の実装を強制する https://github.com/kubernetes/api/blob/0772a1bdf941dcf775fef01dd13d667ea3031902/core/v1/types.go#L3488 お勧め(3): 構造体を読む Pod metav1.TypeMeta metav1.ObjectMeta PodSpec PodStatus -
Piyo Hoge M ( int型 ) Hoge N ( int型
) 参考: go言語の構造体の埋め込みパターン • 構造体メンバに別の構造体を追加できる ※ 構造体へのポインタ型としても埋め込みが可能 • 以下の場合、Piyo.Hoge.N でもアクセスできるし、埋め込まれた構造名を省略し、 Piyo.N でもアクセスできる ↑構造体名 ↑構造体メンバ -
アジェンダ 前半: k8sのソースコード入門 - ソースコードを読むと幸せになれますか? - レポジトリの紹介とゆるふわに入門するためのTIPS 後半: k8sぷちDeepdive -
kube-schedulerを読もうとしてみる - CustomControllerを題材に学ぶ、k8sのイベント通知 -
初期化処理 メインループ 終了処理 podのeventをwatchし、podの作成イベントを検知したら 以下のループを回す kube-schedulerのバイナリを起動 メインループとして無限ループを開始 Stopシグナルを受け付けると、ハンドラ実行し停止シーケンス開始 目標設定:アプリケーションの起動からメインルーチンまでを読む Processが終了
読 む 範 囲 ※具体的には、以下のscheduling処理の実装内容と、 そこに至るまでの処理の流れをざっくり追いかけたい -
struct Command Use string Long string 参考:cobra.Command.Execute() -> cobra.Command.Run() Run
func(cmd *Command, args []string) Run (c *Command) Execute() error Run (c *Command) ExecuteC() (cmd *Command, err error) Run (c *Command) execute(a []string) (err error) (1)call ポインタ レシーバ (2)call (3)call -
実際にkube-schedulerのコードを読んでみる https://github.com/kubernetes/kubernetes/blob/2d3c76f9091b6bec110a5e63777c332469e0cba2/cmd/kube-scheduler/app/server.go#L109 *completedConfig struct CompletedConfig //public *Config struct completedConfig //private
// CustomControllerが必要とする諸々の // コンテキスト情報 - ComponentConfig - LoopbackClientConfig - InsecureServing - InsecureMetricsServing - Authentication - Authorization - SecureServing - Client - InformerFactory - PodInformer - EventClient - Recorder - Broadcaster - LeaderElection struct Config 埋込 埋込 -
実際にkube-schedulerのコードを読んでみる https://github.com/kubernetes/kubernetes/blob/2d3c76f9091b6bec110a5e63777c332469e0cba2/pkg/scheduler/scheduler.go#L254 停止シグナルを受け付けるまで、 無限ループで、scheduleOne()を実行し続ける つまり、以降の処理がメインルーチンとなる 受信専用チャネルにエンキューされると、無限ループが止まる。 つまり、ストップシグナルの受付をキューがしている https://github.com/kubernetes/kubernetes/blob/2d3c76f9 091b6bec110a5e63777c332469e0cba2/pkg/scheduler/fact ory/factory.go#L118
https://github.com/kubernetes/apimachinery/blob/f2f3a405f61d6c2cdc0d00687c1b5d90de91e9f0/pkg/util/wait/wait.go#L87 -
Scheduler構造体を初期化 sched.config.Argorithm.Scheduleすると、実際には何が実行されるのか? config *Config struct Scheduler struct Config struct genericScheduler
埋込 埋込 Algorithm: algo https://github.com/kubernetes/kubernetes/blob/2d3c76f9091b6bec110a5e63777c332469e0cba2/cmd/kube-scheduler/app/server.go#L159 func (g *genericScheduler) Schedule(pod *v1.Pod, nodeLister algorithm.NodeLister) (result ScheduleResult, err error) ポインタ レシーバ Scheduler構造体 生成時に、2種の 構造体が埋め込 まれている -
findNodesThatFit() : perdicate判定 Predicate Rule #1 Predicate Rule #2 Predicate
Rule #3 ✓ ✓ ✓ • findNodesThatFit() 及び podFitsOnNode() により 各ノードに対しpredicateルールに基づいたチェックが実行される。 • Nodeが全てのpredicateに適合する場合のみ、 ノードが filtered に追加され、次のprioritizeステージに進む filtered failedPredicateMap 全てのルールに適合? Yes No -
PrioritizeNodes : prioritize判定 • predicates判定を全てクリアしたノードは、次にprioritizeルールにより点数評価をされる ルール名 条件の合否 重み スコア ルール#1
0 (不合格) 1 0 ルール#2 1 (合格) 2 2 ルール#3 1 (合格) 1 1 ルール#4 0 (不合格) 0 0 ルール#5 1 (合格) 3 3 合計点 6 ← のようなイメージで ノード毎の総合得点が採点される -
/pkg /cmd 以上の処理の流れをまとめると.. main() *エントリーポイント ↓ cobra.Command.Execute() ↓ cobra.Command.Run() ↓
runCommand() ↓ Run ↓ func (sched *Scheduler) Run() ↓ (wait.Until) ↓ func (sched *Scheduler) scheduleOne() ※メインルーチン ↓ func (sched *Scheduler) schedule() ↓ func (g *genericScheduler) Schedule() ※実際のPredicate/Prioritize処理 -
構造体関係の情報をまとめると.. struct Scheduler struct Config Algorithm: algo struct genericScheduler func
(g *genericScheduler) Schedule(pod *v1.Pod, nodeLister algorithm.NodeLister) (result ScheduleResult, err error) ポインタ レシーバ func (sched *Scheduler) Run() func (sched *Scheduler) scheduleOne() func (sched *Scheduler) schedule() ポインタ レシーバ call call call ・実際のスケジューリングを行うメソッド -
よく出てくるパターン struct Config Hoge M ( int型 ) struct Hoge
N ( int型 ) ① Daemonを生成するために必要な変数や関数を Config として構造体にまとめる ② それをDaemon生成用の関数(例:newDaemon())に引数として渡し、 Daemonを表すインスタンス(構造体)を初期化/生成 struct Config Hoge M ( int型 ) Hoge N ( int型 ) struct Daemon Config ③ Daemonを表すインスタンス(構造体)に付属のRun()メソッドを実行し、Linux上でProcessを起動 例: Daemon.Run() -
関数を読む際 関数を読むときは、caller側とcallee側両方確認して、頭の中でマージする 呼び出し側(caller) 呼ばれている側(callee) sched に何が代入されるのかは、 callee側にて、戻り値を確認しな いとわからない 引数に渡される実際の値は、 呼び出し元を見ないとわからない
(左) https://github.com/kubernetes/kubernetes/blob/2d3c76f9091b6bec110a5e63777c332469e0cba2/cmd/kube-scheduler/app/server.go#L159 (右) https://github.com/kubernetes/kubernetes/blob/2d3c76f9091b6bec110a5e63777c332469e0cba2/pkg/scheduler/scheduler.go#L121 -
複数の構造をイメージしながら読む 処理の流れ 構造体とメソッド main() ↓ cobra.Command.Execute() ↓ cobra.Command.Run() ↓ runCommand()
↓ Run ↓ func (sched *Scheduler) Run() ↓ (wait.Until) ↓ func (sched *Scheduler) scheduleOne() ↓ func (sched *Scheduler) schedule() ↓ func (g *genericScheduler) Schedule() struct Scheduler Algorithm: algo func (sched *Scheduler) Run() func (sched *Scheduler) scheduleOne() func (sched *Scheduler) schedule() ポインタ レシーバ call call struct Config -
アジェンダ 前半: k8sのソースコード入門 - ソースコードを読むと幸せになれますか? - レポジトリの紹介とゆるふわに入門するためのTIPS 後半: k8sぷちDeepdive -
kube-schedulerを読もうとしてみる - CustomControllerを題材に学ぶ、k8sのイベント通知 -
custom controllerを構成する2つの実装 作成/更新/削除を検知するたびに、 イベントハンドラに従い対応する処理を実行 kube-apiserver custom controller watch ②APIオブジェクト の変更イベントが
通知される方法 client set ①各種controllerが apiserverと通信を 行う方法 -
custom controllerを構成する2つの実装 作成/更新/削除を検知するたびに、イベ ントハンドラに従い対応する処理を実行 kube-apiserver custom controller watch ②APIオブジェクト の変更イベントが
通知される方法 client set ①各種controllerが apiserverと通信を 行う方法 -
• client-goにて定義のClientset構造体を利用することで、kube-apiserverにAPIリクエスト を送信することができるので、controller等APIサーバと通信するdaemonを実装する際はこれを利用する APIサーバとの通信の実装方法 https://github.com/kubernetes/client-go/blob/637fc595d17acea6ce5f5b894b0a3ab301bf674e/kubernetes/clientset.go#L105 corev1 = apiVersion: v1 に相当する
※httpsエンドポイントとしては、/api/v1 ※API の階層構造については kubernetes.io の Kubernetes API Conceptsを 参照 https://bit.ly/2Z8mpxS -
• Clienset構造体は各APIオブジェクトに対応の構造体をメンバに持つ。 構造体に付属のメソッドを実行することで、RESTClientをメンバに持つ構造体が得られる (1) “apiVersion: v1” 用の構造体 (2) “kind: Nodes”
用のメソッド Clientset構造体 (3) メソッドを実行すると、restClientをメンバ に持つnodes構造体が生成される [1] [1] c.restClientの中身はRESTClient構造体。 NewForConfigによりClientset生成時に、 RESTClientFor()-> NewRESTClient() により生成される https://github.com/kubernetes/client-go/blob/a240a565b073d748b78933afa3ea43fc922367b3/rest/client.go#L119-L127 -
$HOME 配下の kubecofngを 元にconfigを生成 1. ~/.kube/config を元に Config構造体 を生成 NewForConfig()
でclientset構造体 を生成 CoreV1().Nodes(). List()でAPIオブジェ クトを取得 -> GetName() メソッドで名前を 取得 参考: BuildConfigFromFlags() https://github.com/kubernetes/client-go/blob/a240a565b073d748b78933afa3ea43fc922367b3/tools/clientcmd/client_config.go#L539 ★ -
$HOME 配下の kubecofngを 元にconfigを生成 2. Config構造体を元にClientset構造体を作る NewForConfig() でclientset構造体 を生成 CoreV1().Nodes().
List()でAPIオブジェ クトを取得 -> GetName() メソッドで名前を 取得 参考: NewForConfig() https://github.com/kubernetes/client-go/blob/a240a565b073d748b78933afa3ea43fc922367b3/kubernetes/clientset.go#L346 ★ -
$HOME 配下の kubecofngを 元にconfigを生成 3. Clientのメソッド経由でAPI情報を取得 NewForConfig() でclientsetを 生成 CoreV1().Nodes().
List()でAPIオブジェ クトを取得 -> GetName() メソッドで名前を 取得 CoreV1上のKind: Nodeオブジェクトを全て取得 取得したAPIオブジェクトに具備の メソッドを実行し名前を取得 -
custom controllerを構成する2つの実装 kube-apiserver custom controller watch 作成/更新/削除を検知するたびに、イベ ントハンドラに従い対応する処理を実行 ①各種controllerが apiserverと通信を
行う方法 ②APIオブジェクト の変更イベントが 通知される方法 client set -
informer framework • k8sの各controllerは、APIオブジェクトに対する変更を watch と呼ばれる機能で監視し、 イベントが検知されると、イベントハンドラに従い処理を行う • イベント情報を流通させるパイプラインは、informer framework
と呼ばれており、 client-goライブラリにより実装されている 画像の出展 https://github.com/kubernetes/sample-controller/blob/master/docs/controller-client-go.md APIオブジェクト 変更イベントの データフロー celint-goにて、 実装が提供されている 部分 個別の実装が必要な 部分 ※workqueue除く -
- string - Deltas - string - Deltas - string
- Deltas - string - Deltas enqueue enqueue type Deltas []Delta Type Object DeltaFIFO.items Delta FIFO Queueの上は何が流れている? https://github.com/kubernetes/client-go/blob/master/tools/cache/delta_fifo.go Delta.Typeは、 DeltaType型(=string) 型であり、addition, deletion, etc が入る • k8sのAPIオブジェクトは、Delta FIFO と呼ばれるQueueを通じて流通される(※注1) • Delta = APIオブジェクトの変更イベントを指す • キュー内部にDeltas というスライスが用意されており、1つのキューで複数のイベント情報を流通できる Type Object Type Object 注1:実際は、struct DeltaFIFO のメンバのitemsというmapに格納される interface{} 型、 実際のAPIオブジェク トの情報が格納される -
⑤Informerはdequeueした イベントをObjectのStateという形 式でcache storeに保存する。 この際、Indexerがインデックスを 付与する ③Informerと呼ばれる機能は DeltaFIFO Queueをsubscribeして おり、Refrectorがenqueueすると
反対側でdequeue(Pop())する 変更 イベント ④Informerはdequeue(Pop())の 結果得られたオブジェクトを Indexerに渡す -
⑥Informer側に、任意のCallBack 関数をイベントハンドラして登録す ると、イベントがDeltaFifoQueue からdequeueされる度に発火をさせ ることができる。 変更 イベント ※イベントハンドラのイメージ ⑦これを利用して、APIオブジェク トからkeyを抽出し、「APIの変更
イベント」としてControllerが持つ 別のQueue(WorkQueue)への enqueueを行う。 ↑ APIオブジェクトから、 <namespace>/<object name> 形式のkeyを生成する ↑ workqueueにpush <namespace> / <object name> 形式 -
⑧Custom controllerの メインルーチーンは、 controller専用のQueueから イベントを取り出し、 処理を行う ※Pop() ⑨APIオブジェクトのStateの取得が 必要な場合、Indexer に対しkeyを使ってオブジェクトの
取得要求を発行 変更 イベント <namespace> / <object name> 形式 -
これらを組み合わせるとcustom controllerができる kube-apiserver custom controller watch 作成/更新/削除を検知するたびに、イベ ントハンドラに従い対応する処理を実行 ①各種controllerが apiserverと通信を
行う方法 ②APIオブジェクト の変更イベントが 通知される方法 client set -
Workqueue example(pod event notifier) 以下に少し改造したコードを載せています https://gist.github.com/shinmatsuzaki/4b2b10fefb1f9fa18e18be109ee32784 • client-goのレポジトリにて提供されているリファレンス実装 https://github.com/kubernetes/client-go/blob/master/examples/workqueue/main.go •
CRDは使わず、単にpodの何らかのevent(Sync/Add/Update)が発生したことのみを通知 • sig-api-machinery にて策定のcontrollerのデザインのサンプル実装でもある https://github.com/kubernetes/community/blob/master/contributors/devel/sig-api-machinery/controllers.md • 1 File, 約200行のみで動く! ⇒ 学習に最適 -
main() の処理の流れ(1) • BuildConfigFromFlags() により、kubeconfigをインプットにConfig構造体を生成 • Config構造体をNewForConfig() の引数に渡し、Clientset構造体を生成 • 後段で生成されるreflectorが、kube-apiserverからAPIオブジェクトを取得するための関数を、
ListWatch構造体として生成 • Controller用のWorkqueueを生成 ListWatch Clientset workqueue -
main() の処理の流れ(2) • indexerは、CacheStoreとkey funcを持つ cache構造体 として生成される https://github.com/kubernetes/client-go/blob/a240a565b073d748b78933afa3ea43fc922367b3///tools/cache/store.go#L239-L244 • informerは、reflectorをメンバに持つ、controller構造体として生成される。
この際に、DeltaFIFOも併せて生成される https://github.com/kubernetes/client-go/blob/a240a565b073d748b78933afa3ea43fc922367b3///tools/cache/controller.go#L75-L126 https://github.com/kubernetes/client-go/blob/a240a565b073d748b78933afa3ea43fc922367b3///tools/cache/controller.go#L345 informer indexer DeltaFIFO -
Run以降の処理(1) ① informer / reflectorを起動 ② 1秒毎に run.Worker() を実行し続ける ①
② reflector informer -
Workqueue example(pod event notifier) 以下に少し改造したコードを載せています https://gist.github.com/shinmatsuzaki/4b2b10fefb1f9fa18e18be109ee32784 • client-goのレポジトリにて提供されているリファレンス実装 https://github.com/kubernetes/client-go/blob/master/examples/workqueue/main.go •
CRDは使わず、単にpodのevent(Sync/Add/Update)のみを通知 • sig-api-machinery にて策定のcontrollerのデザインのサンプル実装でもある https://github.com/kubernetes/community/blob/master/contributors/devel/sig-api-machinery/controllers.md • 1 File, 約200行のみで動く! ⇒ 学習に最適 -
参考:k8sの標準のControllerのArchitecture 出展:https://www.slideshare.net/harryzhang735/kubernetes-beyond-a-black-box-part-1 P28 Reflector ThreadSafeStore EventHandler 各Controllerが 持つ独自の WorkQueue shared
infromerは、 各APIリソースの変更を検知するた めのkube-controller-managerによ り起動される共用Infomer, 複数のControllerで別個にinformer を持つことが無駄のだめ、共用I/F として提供されている -
kube-schedulerも同様の仕組みを採用している pop() event handler informer Delta FIFO Scheduling Queue *
1 スケジューリング処理 • informerでpodをwatch ⇒ add eventが発生の場合のみ、Pod Queueにenqueueし、schedulingを実行 pop() Shedulerのメインルーチン =無限ループ *1 pod priorityが有効な場合は、 PriorityQueue -
参考書籍 • Operator Patternを主題にした本 • Chapter 3 Basics of clien-go
にて、後半で解説の Client-go, Clientset, Informer等の解説がされています。