Kubernetesソースコードリーディング入門

Kubernetes   ソースコードリーディング⼊⾨ Kubernetes
Novice Tokyo # 2 7 ( 2 0 2 3 / 0 9 / 1 2 ) @bells 1 7

▶ @bells 1 7 ▶ Software Engineer@ 3 -shake inc.
▶ kubernetes & kubernetes-csi member ▶ Kubernetes Internal Organizer ▶ #kubenews ▶ X(Twitter): @bells 1 7 _ ▶ GitHub: @bells 1 7

今⽇話すこと ▶ Kubernetesのソースコードリーディングを始める上で知っておくべき基礎知識をまとめて紹介します ▶ Kubernetes本体以外にも「こんなアプリケーションもあるよ」みたいなのを含めてザックリ紹介できればと思ってます ▶ 以前ブログで書いた「Kubernetesのコードリーディングをする上で知っておくと良さそうなこと」をベースとした内容になっているので、
よければこちらもご覧くださいざっくり発表なので  気楽に聞いてもらえれば

まずはKubernetesを触ってみる

Kubernetes とは？ ▶ Kubernetesはコンテナオーケストレーターの1つ ▶ etcd/control plane/worker nodeによって構成されたクラスターを構築し、様々なコンテナをKubernetes上のnodeで動作させたり、動作させてるコンテナとネットワークをいい感じに連携できるようにすることができる
▶ デプロイするコンテナなどをmanifestファイルで宣⾔的に記述することで、宣⾔した状態になるようにKubernetesがいい感じに調整処理を⾏ってくれる ▶ Googleが内部で運⽤していたコンテナ基盤であるBorgをOSS向けに作り直したコンテナオーケストレーター ▶ また、KubernetesはCloud Native Computing Foundation(CNCF)に寄贈されており、CNCFのGraduatedプロジェクトとしてコミュニティベースで管理されている

manifestをKubernetesに適⽤することで宣⾔されたmanifestの通りにコンテナが作成される

これからKubernetesを学ぶ場合まだKubernetesを触ったことがない⼈は何はともあれ触ってみましょう ▶ Deploymentを使ってPod(コンテナグループ)がクラスター内で⾃動的に分散配置されるのを検証する ▶ Podを削除してもSelf-healing機能によりDeploymentに設定したreplica の数に⾃動的に調整されるのを確認する ▶ Con
fi gmap/Secretを利⽤してコンテナに各種設定や秘密情報を環境変数/ ボリュームとして渡せることを確認する ▶ Service/Ingressを使うことでロードバランサーなどを介して外部からコンテナに接続できることを確認する ▶ etc …

⼊⾨にオススメの書籍画像引⽤元: https://www.amazon.co.jp/dp/ 4 2 9 7 1 0 4
3 8 5 / https://www.amazon.co.jp/dp/ 4 2 9 7 1 1 8 3 7 8 /

Go⾔語を学ぶ

Go⾔語を学ぶ KubernetesはGo⾔語で実装されているため ▶ Go⾔語の基本的な⽂法を学ぶ ▶ Go⾔語を実⾏できる環境を整える ▶ Go⾔語で書かれたプログラムを読みやすいエディタ環境を整えるあたりができているとコードリーディングに⼊りやすいです

Go⾔語を学ぶには Go⾔語はインターネット上で良質な学習コンテンツが公開されているので、個⼈的には下記のコンテンツを学んでおけば⼗分かとは思います ▶ A Tour of Go ▶ Gopher道場
⾃習室⾃分の場合はサンプルコードを書きながらわからないところを   書籍の『プログラミング⾔語Go』を読んで、という感じで覚えていきました

Go⾔語の実⾏環境を整える Go⾔語の実⾏環境については公式ドキュメントの「Download and install」ページにある通りにインストールするだけで実⾏可能です   ⾃分の場合エディタにはVSCodeを使っているのですが、その場合はGo⾔語⾃体がインストールされていれば、あとはこちらのドキュメントにあるようにGoのプラグインをインストールするだけでOKです  

Kubernetesのアーキテクチャを知る

https://github.com/kubernetes/website/blob/fb 6 3 6 4 da 0 afd 1 9
e 8 a 9 5 1 5 aaae 2 de 9 bc 7 4 a 0 a 6 abd/static/images/docs/components-of-kubernetes.png

https://github.com/kubernetes/sample-controller/blob/master/docs/images/client-go-controller-interaction.jpeg

Kubernetesのコンポーネントについて

Kubelet ▶ Kubernetesクラスターの各ノードで動作するコンポーネント ▶ コンテナランタイムと連携しWorker Nodeで動かすコンテナとその関連   リソースを管理する

Kubeletによるコンテナ管理(ちょっと情報が古い)

kube-proxy ▶ Kubernetesクラスターの各ノードで動作するコンポーネント ▶ KubernetesのServiceリソースを元に⽣成されるEndpointSliceリソースを元に、ノードのネットワークプロキシを設定してPodにリクエストを分散できるようにしてくれる ▶ ネットワークプロキシの設定はiptablesなどを利⽤して⾏われる

Kube API Server ▶ Control Planeとして動作するコンポーネント ▶ Kubernetesの様々なデータ保存や取得、イベント通知を⾏うAPI Server ▶
Rest APIを中⼼としたAPI Serverを提供する ▶ API定義はProtocol Bu ff ersによって⾏われる ▶ 定義したAPIはAPI Server側でOpenAPI形式に変換され、APIからスキーマ定義が   取得可能 ▶ etcdをデータ永続のためのデータストアとして使⽤ ▶ リソース操作時の⾃動的なデータ改変/バリデーションを可能にするWebhookを提供 ▶ 独⾃リソース管理のための機能を提供 ▶ Extension API Server ▶ Custom Resource De fi nition(CRD)

Kube API Serverの全体像

Kube Scheduler ▶ Control Planeとして動作するコンポーネント ▶ 各PodをどのNodeで実⾏するのかを決定する処理を⾏うコンポーネント ▶ どういう条件‧優先度でスケジュールするかはスケジューラーの設定ファイルで制御可能な他プラグイン形式で独⾃の条件‧優先度設定を組み込ん
でスケジューリングすることも可能

Kube Schedulerの全体像 https://github.com/kubernetes/website/blob/ 0 b 6 cfc 4 9 a
5 b 9 6 9 3 1 aa 3 d 6 9 d 4 f 3 7 0 5 8 ec 2 2 9 1 2 e 1 d/static/images/docs/scheduling-framework-extensions.png

Kube Controller Manager ▶ Control Planeとして動作するコンポーネント ▶ Reconciliation loopを実⾏する、約30種類程度のコントローラーの動作を束ねるコンポーネント
▶ 「あるべき状態」を実現するためのKubernetesの様々な仕組みの多くはこのコントローラー群によって⾏われている

Cloud Controller Manager ▶ Control Planeとして動作するコンポーネント ▶ Kube Controller Managerで動作するコントローラーの中から実⾏環境の
APIと連携して設定‧実現する機能を切り出したもの ▶ Cloud Providerと呼ばれる実⾏環境向けの実装を利⽤してL 4 ロードバランサー(ServiceのType: LoadBalancer)の設定や各ノードの設定などを⾏う

Cloud Controller Managerの全体像

▶ Kubeletから読み解くKubernetesのコンテナ管理の裏側 ▶ Serviceをたずねて3000⾏ ▶ Kube API Server ▶ ⾃作して学ぶKubernetes
Scheduler⼊⾨ ▶ Cloud Controller Manager Deep Dive 各コンポーネントについて詳しく知りたい⽅は   下記を参照してください

Reconciliation loopを体験してみよう

Reconciliation loopとは? ▶ Reconciliation loop(調整ループ)は各Kubernetesリソース(e.g. Deployment)に対して実⾏される ▶ リソースに設定された「あるべき状態」と「現在の状態」とを⽐較して、「現在の状態」を「あるべき状態」にするべく処理を⾏う
▶ Kubernetesの⼤半のロジックはこのReconciliation loopを⽤いて実現されているため、Reconciliation loopを⾃分で書いて体験しておくのがコードリーディングの近道にもなる ▶ 例えば下記のようなことがReconciliation loopによって実現されている ▶ Deploymentの設定に基づきReplicaSetを⽣成 ▶ ReplicaSetに設定されたreplica数に応じてPodを⽣成 ▶ etc … ▶ 参考情報: 「VM 時代の開発とKubernetes による Cloud Native な開発のこれから」

Reconciliation loopを体験する簡単にReconciliation loopを体験するには下記のような⽅法がある ▶ client-goのexampleである”Workqueue Example” ▶ kubernetes/sample-controller ▶
kubebuilder 特にkubebuilderについてはKubernetes Operator構築のSDKにもなっているのでKubernetes Operator⾃作にも役⽴つ kubebuilderについては「作って学ぶ kubebuilder⼊⾨」というスライドで kubebuilderを使ったデモをやってみてるので参考にしてもらえれば

本格的に学ぶには？実際にKubernetes Operatorを⾃作するなど、Reconciliation loopを本格的に学ぶ場合は下記のような⽅法がオススメ ▶ サイボウズの池添さんが公開されているコンテンツで学ぶ ▶ 実際のKubernetes Operatorの実装を⾒て学ぶ
サイボウズさんは⾃作のKubernetes OperatorをいくつもOSSで公開されているので実装を⾒る際にもオススメ

Kubernetesのリポジトリを⾒てみよう

Kuberneteのリポジトリ Kubernetesに関するGitHub Organizationは下記のようになっている ▶ kubernetes: 主にKubernetes本体に関するorg ▶ Kubernetes-sigs: Kubernetesコミュニティが管理しているコア以外のorg ▶
Kubernetes-csi: CSIに関するorg ▶ kubernetes-client: 各⾔語でのKubernetesのクライアント実装があるorg ▶ kubernetes-retired: アーカイブされたリポジトリを設置するorg ▶ kubernetes-incubator ▶ kubernetes-nightly ※上記説明は著者による主観なので注意(Orgに関する説明が⾒当たらなかった)

Kubernetes本体は kubernetes/kubernetes にある

Kuberneteリポジトリの構成 Kuberneteリポジトリの構成はだいたい下記のようになっています ▶ cmd: kubeletやkubectlなど各種バイナリのエントリーポイント ▶ pkg: 各プログラムの本体 ▶ staging/src/k
8 s.io/: Kubernetes本体から切り出されたライブラリ群   (ライブラリはkubernetes org内にコピーとなるリポジトリがある)

主なライブラリについて下記の3つのライブラリについてはソースコードを読む際にも、Kubernetes Operatorを実装する際にも⽬にすることが多くなるライブラリとなります ▶ api: 各種Kubernetesリソースの型定義など ▶ apimachinery: Kubernetesリソースのベースとなる型定義など ▶
client-go: Kubernetesのクライアントライブラリなど

client-goについて client-goには下記のようなコントローラー実装のための基本的な実装が⼊っています ▶ Kubernetes APIに触れるためのクライアントライブラリ ▶ Kubernetes ControllerでReconciliation loopを実装するための基礎実装
▶ その他Kubernetes Controllerを作る上での共通のユーティリティ

Kubernetesリポジトリの解説は   コミュニティの「Meet out contributors」でも⾏われています https://www.youtube.com/watch?v=yqB_le-N 6 EE

Kubernetesで読むコードのネタ探しをしよう

KEPからネタを探す KuberenetesコミュニティではKubernetes Enhancement Proposals (KEP) という仕組みでKubernetesの機能追加や変更に関する提案を⾏うルールになっています新しく実装された機能やこれから実装されるかもしれない機能について、このKEPを読むことで詳しくしることができるかもしれません KEPを読んで興味を持ったら実装を探してみるのも良いかもしれません

e.g.   Structured Logging KEP ▶ 構造化ロギングのKEP例 ▶ ⽬標とすること/しないことや実装⽅法、設計の詳細などが書かれている
https://github.com/kubernetes/enhancements/blob/master/keps/sig-instrumentation/ 1 6 0 2 -structured-logging/README.md

KEPのIssue https://github.com/kubernetes/enhancements/issues/ 1 6 0 2

KEPのIssueに紐付けられたklogのIssue   (Kubernetesのログライブラリ) https://github.com/kubernetes/klog/issues/ 1 2 5

klogのIssueに紐付けられたPRから実装を調べられる https://github.com/kubernetes/klog/pull/ 1 2 6

エントリーポイントを1から読む Kubernetesではコアコンポーネントだけで下記のようなプログラム   が存在します ▶ Kubelet ▶ Kube-proxy ▶ Kube
API Server ▶ Kube Scheduler ▶ Kube Controller Manager ▶ Cloud Controller Manager これらを1から読んでいくのもやり⽅の⼀つ

1からプログラムを読む 1からプログラムを読むのは結構⼤変だけど、1度読むと全体像が頭に⼊るし、ほとんどの箇所は軽くは⽬を通していることになるので中でどういった処理を⾏っているのかがなんとなく覚えてられるようになる Kubernetesの処理で分からない箇所とか、エラーで詰まった際にあたりがつけやすくなる

著者の場合読んだ内容を   技術同⼈誌で出したりスライドで発表してたりする

Kubernetes本体以外のアプリケーション達

CSI Driver Kubernetesでボリュームを使うプラグインとしてCSI Driverがあります ▶ Kubernetesと連携してドライバーを動作させるためのサイドカーが kubernetes-csi orgにあります ▶ CSI
Driver実装の⼀覧についてはこちらから探すことができます CSI Driverについては「CSI⼊⾨」というセッションで以前発表してるので、気になる⽅はこちらも参考にしてください

CSI Driverの全体像 https://github.com/kubernetes/community/blob/d 8 3 cd 5 3 9 7
9 d 0 8 ac 0 e 0 e 3 3 7 0 4 c 6 aec 6 b 1 c 3 cb 7 c 8 d/contributors/design-proposals/storage/container-storage-interface_diagram 1 .png

kubeadm Kubernetesコミュニティが提供するKubernetesクラスター構築ツール Kubernetesのアーキテクチャを学ぶという⽬的とは違うかもしれないですが、Kubernetes Hard WayをやらなくてもKubernetesクラスターの構築プロセスを学べるかも!? kubeadmについては「kubeadmに学ぶクラスター構築」というセッション
でクラスター構築までの流れについて発表してるので、気になる⽅はこちらも参考にしてください

kubeadmは下記のようにクラスター構築処理が分割されている

Metrics Server Metrics Serverはnode/podのメトリクスをKubernetes APIとして公開できるようになるアプリケーション KubernetesのHPA/VPAを利⽤するためのデータソースとして利⽤される他、kubectl topコマンドを通してメトリクスデータを⾒ることができるようになる拡張API Serverという仕組みを使っており、拡張API
Serverの仕組みを学ぶのに最適かも Metrics Serverについては「Metrics Server」というセッションで仕組みについて発表してるので、気になる⽅はこちらも参考にしてください

Metrics Serverの全体像

Accuate サイボウズ社が公開しているOSSで、ソフトマルチテナンシー向けのテナント管理を⾏うためのKubernetes Operator アプリケーションサイズもそこまで⼤きくなく、kubebuilderを使って実装されたKubernetes Operatorの実装例として学ぶには最適かも kubeadmについては「Accurate で始めるKubernetesのマルチテナント管
理」というセッションで発表してるので、気になる⽅はこちらも参考にしてください

Kubernetesコミュニティに参加しよう

Kubernetesコミュニティ Kubernetesコミュニティについて知っておくと、いざというときに質問できたりコントリビューションのネタ探しにもなることがあるので便利参加するのはSlackに⼊るだけ: https://slack.k 8 s.io/ 下記のような⽇本語のコミュニティも存在するので、気軽に参加しよう ▶ #jp-users
▶ #jp-events ▶ #jp-dev ▶ #jp-users-novice

Special Interest Group(SIG) Kubernetesコミュニティは基本SIGと呼ばれる単位で分かれて活動している ▶ sig-docs: Kubernetesドキュメントやその翻訳などを管理 ▶ sig-node: Kubeletなどノードに関するものを管理
▶ sig-cloudprovider: Kubernetesの実⾏基盤との連携機能周りを管理 ▶ sig-storage: CSIなどストレージに関するものを管理 ▶ Etc …

Working Group(WGs) sigで管理しきれないものについてはWorking Groupで管理 ▶ wg-lts: Kubernetesの⻑期サポートに関するグループ ▶ wg-structured-logging: 構造化ロギングに関するグループ
▶ wg-data-protection: データ保護に関するグループ ▶ etc …

Kubernetesコミュニティに関する説明は   「Intermediate Contributor Workshop」がわかりやすいかも https://www.youtube.com/watch?v=Ayo 5 w-CSmP 0

コミュニティの詳細 Kubernetesコミュニティの詳細について知りたい場合は   kubernetes/community にアクセスすると調べることができます ▶ どんなSIGがあるのか？ ▶ WGについては？ ▶
いつどんなミーティングをしているのか？ ▶ SIGの主な構成メンバーについて ▶ SIGごとの開発をスケジュールについて

まとめ

まとめ ▶ ザックリと1からKubernetesのソースコードに⼊るまでに知っておいた⽅が良いことについて紹介しました ▶ ソースコードを読むのはそこそこコストが掛かるので、やる⽬的は⼈それぞれですが、何か疑問が出たときに「気軽にソースコードから調べる」という選択肢が増やせると良いなと思っています

参考資料 ▶ https://bells 1 7 .medium.com/things-you-should-know-about-reading- kubernetes-codes- 9 3 3
b 0 ee 6 1 8 1 d ▶ https://www.amazon.co.jp/dp/ 4 2 9 7 1 0 4 3 8 5 / ▶ https://www.amazon.co.jp/dp/ 4 2 9 7 1 1 8 3 7 8 / ▶ https://go.dev/tour/welcome/ 1 ▶ https://gopherdojo.org/studyroom/ ▶ https://www.amazon.co.jp/dp/ 4 6 2 1 3 0 0 2 5 3 / ▶ https://speakerdeck.com/bells 1 7 /kubelet-and-containers ▶ https://speakerdeck.com/ryusa/servicewotazunete 3 0 0 0 xing- kuberneteskodorideingufalselu ▶ https://speakerdeck.com/bells 1 7 /kube-api-server-k 8 sjp ▶ https://speakerdeck.com/sanposhiho/zi-zuo-sitexue-bukubernetes- schedulerru-men ▶ https://speakerdeck.com/bells 1 7 /cloud-controller-manager-deep-dive ▶ https://speakerdeck.com/masayaaoyama/infrastudy 2 -k 8 s ▶ https://github.com/kubernetes/client-go/tree/master/examples/workqueue ▶ https://github.com/kubernetes/sample-controller/blob/master/controller.go ▶ https://github.com/kubernetes-sigs/kubebuilder ▶ https://speakerdeck.com/bells 1 7 /kubebuilder-introduction ▶ https://zoetrope.github.io/kubebuilder-training/ ▶ https://github.com/cybozu-go ▶ https://www.youtube.com/watch?v=yqB_le-N 6 EE ▶ https://github.com/kubernetes/enhancements/blob/master/keps/sig- instrumentation/ 1 6 0 2 -structured-logging/README.md ▶ https://github.com/kubernetes/enhancements/issues/ 1 6 0 2 ▶ https://github.com/kubernetes/klog/issues/ 1 2 5 ▶ https://github.com/kubernetes/klog/pull/ 1 2 6 ▶ https://github.com/kubernetes-csi ▶ https://kubernetes-csi.github.io/docs/drivers.html ▶ https://speakerdeck.com/bells 1 7 /introduction-to-csi ▶ https://github.com/kubernetes/kubeadm ▶ https://speakerdeck.com/bells 1 7 /implementation-of-kubeadm-init ▶ https://github.com/kubernetes-sigs/metrics-server ▶ https://speakerdeck.com/bells 1 7 /metrics-server ▶ https://speakerdeck.com/bells 1 7 /accurate-introduction ▶ https://github.com/cybozu-go/accurate ▶ https://slack.k 8 s.io/ ▶ https://www.youtube.com/watch?v=Ayo 5 w-CSmP 0 ▶ https://github.com/kubernetes/community

画像引⽤元 ▶ https://github.com/kubernetes/community/tree/master/icons ▶ https://github.com/kubernetes/kubernetes/tree/master/logo ▶ https://github.com/cncf/artwork/tree/master/projects/kubernetes ▶ https://github.com/kubernetes/kubeadm/tree/main/logos

Thanks / Question? ▶ @bells 1 7 ▶ Slide: https://speakerdeck.com/bells
1 7 ▶ @bells 1 7 _

Kubernetesソースコードリーディング入門

Kubernetesソースコードリーディング入門

More Decks by bells17

Other Decks in Programming

Featured

Transcript