Kubernetesソースコードリーディング入門

Kubernetes
 
ソースコー
ド
リー
デ
ィン
グ
⼊⾨
Kubernetes Novice Tokyo #
2 7
(
2 0 2 3
/
0 9
/
1 2
)

@bells
1 7

View Slide

▶ @bells
1
7

▶ Software Engineer@
3
-shake inc.

▶ kubernetes & kubernetes-csi member

▶ Kubernetes Internal Organizer

▶ #kubenews

▶ X(Twitter): @bells
1
7
_

▶ GitHub: @bells
1
7

View Slide

今⽇話すこと
▶ Kubernetesのソースコードリーディングを始める上で知っておくべき
基礎知識をまとめて紹介します

▶ Kubernetes本体以外にも「こんなアプリケーションもあるよ」みたい
なのを含めてザックリ紹介できればと思ってます

▶ 以前ブログで書いた「Kubernetesのコードリーディングをする上で
知っておくと良さそうなこと」をベースとした内容になっているので、
よければこちらもご覧ください
ざっくり発表なので 
気楽に聞いてもらえれば

View Slide

まずはKubernetesを触ってみる

View Slide

Kubernetes とは？
▶ Kubernetesはコンテナオーケストレーターの1つ

▶ etcd/control plane/worker nodeによって構成されたクラスターを構築し、
様々なコンテナをKubernetes上のnodeで動作させたり、動作させてるコン
テナとネットワークをいい感じに連携できるようにすることができる

▶ デプロイするコンテナなどをmanifestファイルで宣⾔的に記述することで、
宣⾔した状態になるようにKubernetesがいい感じに調整処理を⾏ってくれる

▶ Googleが内部で運⽤していたコンテナ基盤であるBorgをOSS向けに作り直
したコンテナオーケストレーター

▶ また、KubernetesはCloud Native Computing Foundation(CNCF)に寄贈さ
れており、CNCFのGraduatedプロジェクトとしてコミュニティベースで管理
されている

View Slide

manifestをKubernetesに適⽤することで

宣⾔されたmanifestの通りにコンテナが作成される

View Slide

これからKubernetesを学ぶ場合
まだKubernetesを触ったことがない⼈は何はともあれ触ってみましょう

▶ Deploymentを使ってPod(コンテナグループ)がクラスター内で⾃動的に
分散配置されるのを検証する

▶ Podを削除してもSelf-healing機能によりDeploymentに設定したreplica
の数に⾃動的に調整されるのを確認する

▶ Con
fi
gmap/Secretを利⽤してコンテナに各種設定や秘密情報を環境変数/
ボリュームとして渡せることを確認する

▶ Service/Ingressを使うことでロードバランサーなどを介して外部からコ
ンテナに接続できることを確認する

▶ etc
…

View Slide

⼊⾨にオススメの書籍
画像引⽤元: https://www.amazon.co.jp/dp/
4 2 9 7 1 0 4 3 8 5
/ https://www.amazon.co.jp/dp/
4 2 9 7 1 1 8 3 7 8
/

View Slide

Go⾔語を学ぶ

View Slide

Go⾔語を学ぶ
KubernetesはGo⾔語で実装されているため

▶ Go⾔語の基本的な⽂法を学ぶ

▶ Go⾔語を実⾏できる環境を整える

▶ Go⾔語で書かれたプログラムを読みやすいエディタ環境を整える

あたりができているとコードリーディングに⼊りやすいです

View Slide

Go⾔語を学ぶには
Go⾔語はインターネット上で良質な学習コンテンツが公開されているので、
個⼈的には下記のコンテンツを学んでおけば⼗分かとは思います

▶ A Tour of Go

▶ Gopher道場⾃習室

⾃分の場合はサンプルコードを書きながらわからないところを
 
書籍の『プログラミング⾔語Go』を読んで、という感じで覚えていきました

View Slide

Go⾔語の実⾏環境を整える
Go⾔語の実⾏環境については公式ドキュメントの「Download and install」
ページにある通りにインストールするだけで実⾏可能です
 
⾃分の場合エディタにはVSCodeを使っているのですが、その場合はGo⾔語
⾃体がインストールされていれば、あとはこちらのドキュメントにあるよう
にGoのプラグインをインストールするだけでOKです

 

View Slide

Kubernetesのアーキテクチャを知る

View Slide

https://github.com/kubernetes/website/blob/fb
6 3 6 4
da
0
afd
1 9
e
8
a
9 5 1 5
aaae
2
de
9
bc
7 4
a
0
a
6
abd/static/images/docs/components-of-kubernetes.png

View Slide

View Slide

https://github.com/kubernetes/sample-controller/blob/master/docs/images/client-go-controller-interaction.jpeg

View Slide

View Slide

Kubernetesのコンポーネントについて

View Slide

Kubelet
▶ Kubernetesクラスターの各ノードで動作するコンポーネント

▶ コンテナランタイムと連携しWorker Nodeで動かすコンテナとその関連
 
リソースを管理する

View Slide

Kubeletによるコンテナ管理(ちょっと情報が古い)

View Slide

kube-proxy
▶ Kubernetesクラスターの各ノードで動作するコンポーネント

▶ KubernetesのServiceリソースを元に⽣成されるEndpointSliceリソース
を元に、ノードのネットワークプロキシを設定してPodにリクエストを
分散できるようにしてくれる

▶ ネットワークプロキシの設定はiptablesなどを利⽤して⾏われる

View Slide

Kube API Server
▶ Control Planeとして動作するコンポーネント

▶ Kubernetesの様々なデータ保存や取得、イベント通知を⾏うAPI Server

▶ Rest APIを中⼼としたAPI Serverを提供する

▶ API定義はProtocol Bu
ff
ersによって⾏われる

▶ 定義したAPIはAPI Server側でOpenAPI形式に変換され、APIからスキーマ定義が
 
取得可能

▶ etcdをデータ永続のためのデータストアとして使⽤

▶ リソース操作時の⾃動的なデータ改変/バリデーションを可能にするWebhookを提供

▶ 独⾃リソース管理のための機能を提供

▶ Extension API Server

▶ Custom Resource De
fi
nition(CRD)

View Slide

Kube API Serverの全体像

View Slide

Kube Scheduler

▶ 各PodをどのNodeで実⾏するのかを決定する処理を⾏うコンポーネント

▶ どういう条件‧優先度でスケジュールするかはスケジューラーの設定ファ
イルで制御可能な他プラグイン形式で独⾃の条件‧優先度設定を組み込ん
でスケジューリングすることも可能

View Slide

Kube Schedulerの全体像
https://github.com/kubernetes/website/blob/
0
b
6
cfc
4 9
a
5
b
9 6 9 3 1
aa
3
d
6 9
d
4
f
3 7 0 5 8
ec
2 2 9 1 2
e
1
d/static/images/docs/scheduling-framework-extensions.png

View Slide

Kube Controller Manager

▶ Reconciliation loopを実⾏する、約30種類程度のコントローラーの動作
を束ねるコンポーネント

▶ 「あるべき状態」を実現するためのKubernetesの様々な仕組みの多くは
このコントローラー群によって⾏われている

View Slide

Cloud Controller Manager

▶ Kube Controller Managerで動作するコントローラーの中から実⾏環境の
APIと連携して設定‧実現する機能を切り出したもの

▶ Cloud Providerと呼ばれる実⾏環境向けの実装を利⽤してL
4
ロードバラン
サー(ServiceのType: LoadBalancer)の設定や各ノードの設定などを⾏う

View Slide

Cloud Controller Managerの全体像

View Slide

▶ Kubeletから読み解くKubernetesのコンテナ管理の裏側

▶ Serviceをたずねて3000⾏

▶ Kube API Server

▶ ⾃作して学ぶKubernetes Scheduler⼊⾨

▶ Cloud Controller Manager Deep Dive
各コンポーネントについて詳しく知りたい⽅は
 
下記を参照してください

View Slide

Reconciliation loopを体験してみよう

View Slide

Reconciliation loopとは?
▶ Reconciliation loop(調整ループ)は各Kubernetesリソース(e.g. Deployment)に
対して実⾏される

▶ リソースに設定された「あるべき状態」と「現在の状態」とを⽐較して、「現在
の状態」を「あるべき状態」にするべく処理を⾏う

▶ Kubernetesの⼤半のロジックはこのReconciliation loopを⽤いて実現されてい
るため、Reconciliation loopを⾃分で書いて体験しておくのがコードリーディン
グの近道にもなる

▶ 例えば下記のようなことがReconciliation loopによって実現されている

▶ Deploymentの設定に基づきReplicaSetを⽣成

▶ ReplicaSetに設定されたreplica数に応じてPodを⽣成

▶ etc
…

▶ 参考情報: 「VM 時代の開発とKubernetes による Cloud Native な開発のこれから」

View Slide

Reconciliation loopを体験する
簡単にReconciliation loopを体験するには下記のような⽅法がある

▶ client-goのexampleである”Workqueue Example”

▶ kubernetes/sample-controller

▶ kubebuilder

特にkubebuilderについてはKubernetes Operator構築のSDKにもなっている
のでKubernetes Operator⾃作にも役⽴つ

kubebuilderについては「作って学
ぶ
kubebuilder⼊⾨」というスライドで
kubebuilderを使ったデモをやってみてるので参考にしてもらえれば

View Slide

本格的に学ぶには？
実際にKubernetes Operatorを⾃作するなど、Reconciliation loopを本格的
に学ぶ場合は下記のような⽅法がオススメ

▶ サイボウズの池添さんが公開されているコンテンツで学ぶ

▶ 実際のKubernetes Operatorの実装を⾒て学ぶ

サイボウズさんは⾃作のKubernetes OperatorをいくつもOSSで公開されて
いるので実装を⾒る際にもオススメ

View Slide

Kubernetesのリポジトリを⾒てみよう

View Slide

Kuberneteのリポジトリ
Kubernetesに関するGitHub Organizationは下記のようになっている

▶ kubernetes: 主にKubernetes本体に関するorg

▶ Kubernetes-sigs: Kubernetesコミュニティが管理しているコア以外のorg

▶ Kubernetes-csi: CSIに関するorg

▶ kubernetes-client: 各⾔語でのKubernetesのクライアント実装があるorg

▶ kubernetes-retired: アーカイブされたリポジトリを設置するorg

▶ kubernetes-incubator

▶ kubernetes-nightly

※上記説明は著者による主観なので注意(Orgに関する説明が⾒当たらなかった)

View Slide

Kubernetes本体は kubernetes/kubernetes にある

View Slide

Kuberneteリポジトリの構成
Kuberneteリポジトリの構成はだいたい下記のようになっています

▶ cmd: kubeletやkubectlなど各種バイナリのエントリーポイント

▶ pkg: 各プログラムの本体

▶ staging/src/k
8
s.io/: Kubernetes本体から切り出されたライブラリ群
 
(ライブラリはkubernetes org内にコピーとなるリポジトリがある)

View Slide

主なライブラリについて
下記の3つのライブラリについてはソースコードを読む際にも、Kubernetes
Operatorを実装する際にも⽬にすることが多くなるライブラリとなります

▶ api: 各種Kubernetesリソースの型定義など

▶ apimachinery: Kubernetesリソースのベースとなる型定義など

▶ client-go: Kubernetesのクライアントライブラリなど

View Slide

client-goについて
client-goには下記のようなコントローラー実装のための基本的な実装が⼊っ
ています

▶ Kubernetes APIに触れるためのクライアントライブラリ

▶ Kubernetes ControllerでReconciliation loopを実装するための基礎実装

▶ その他Kubernetes Controllerを作る上での共通のユーティリティ

View Slide

Kubernetesリポジトリの解説は
 
コミュニティの「Meet out contributors」でも⾏われています
https://www.youtube.com/watch?v=yqB_le-N
6
EE

View Slide

Kubernetesで読むコードのネタ探しをしよう

View Slide

KEPからネタを探す
KuberenetesコミュニティではKubernetes Enhancement Proposals (KEP)
という仕組みでKubernetesの機能追加や変更に関する提案を⾏うルールに
なっています

新しく実装された機能やこれから実装されるかもしれない機能について、こ
のKEPを読むことで詳しくしることができるかもしれません

KEPを読んで興味を持ったら実装を探してみるのも良いかもしれません

View Slide

e.g.
 
Structured Logging KEP
▶ 構造化ロギングのKEP例

▶ ⽬標とすること/しないことや実装⽅
法、設計の詳細などが書かれている

https://github.com/kubernetes/enhancements/blob/master/keps/sig-instrumentation/
1 6 0 2
-structured-logging/README.md

View Slide

KEPのIssue
https://github.com/kubernetes/enhancements/issues/
1 6 0 2

View Slide

KEPのIssueに紐付けられたklogのIssue
 
(Kubernetesのログライブラリ)
https://github.com/kubernetes/klog/issues/
1 2 5

View Slide

klogのIssueに紐付けられたPRから実装を調べられる
https://github.com/kubernetes/klog/pull/
1 2 6

View Slide

エントリーポイントを1から読む
Kubernetesではコアコンポーネントだけで下記のようなプログラム
 
が存在します

▶ Kubelet

▶ Kube-proxy

▶ Kube API Server

▶ Kube Scheduler

▶ Kube Controller Manager

▶ Cloud Controller Manager

これらを1から読んでいくのもやり⽅の⼀つ

View Slide

1からプログラムを読む
1からプログラムを読むのは結構⼤変だけど、1度読むと全体像が頭に⼊る
し、ほとんどの箇所は軽くは⽬を通していることになるので中でどういった
処理を⾏っているのかがなんとなく覚えてられるようになる

Kubernetesの処理で分からない箇所とか、エラーで詰まった際にあたりがつ
けやすくなる

View Slide

著者の場合読んだ内容を
 
技術同⼈誌で出したりスライドで発表してたりする

View Slide

Kubernetes本体以外のアプリケーション達

View Slide

CSI Driver
Kubernetesでボリュームを使うプラグインとしてCSI Driverがあります

▶ Kubernetesと連携してドライバーを動作させるためのサイドカーが
kubernetes-csi orgにあります

▶ CSI Driver実装の⼀覧についてはこちらから探すことができます

CSI Driverについては「CSI⼊⾨」というセッションで以前発表してるので、
気になる⽅はこちらも参考にしてください

View Slide

CSI Driverの全体像
https://github.com/kubernetes/community/blob/d
8 3
cd
5 3 9 7 9
d
0 8
ac
0
e
0
e
3 3 7 0 4
c
6
aec
6
b
1
c
3
cb
7
c
8
d/contributors/design-proposals/storage/container-storage-interface_diagram
1
.png

View Slide

kubeadm
Kubernetesコミュニティが提供するKubernetesクラスター構築ツール

Kubernetesのアーキテクチャを学ぶという⽬的とは違うかもしれないです
が、Kubernetes Hard WayをやらなくてもKubernetesクラスターの構築プロ
セスを学べるかも!?

kubeadmについては「kubeadmに学
ぶ
クラスター構築」というセッション
でクラスター構築までの流れについて発表してるので、気になる⽅はこちら
も参考にしてください

View Slide

kubeadmは下記のようにクラスター構築処理が分割されている

View Slide

Metrics Server
Metrics Serverはnode/podのメトリクスをKubernetes APIとして公開できるようになる
アプリケーション

KubernetesのHPA/VPAを利⽤するためのデータソースとして利⽤される他、kubectl
topコマンドを通してメトリクスデータを⾒ることができるようになる

拡張API Serverという仕組みを使っており、拡張API Serverの仕組みを学ぶのに最適かも

Metrics Serverについては「Metrics Server」というセッションで仕組みについて発表し
てるので、気になる⽅はこちらも参考にしてください

View Slide

Metrics Serverの全体像

View Slide

Accuate
サイボウズ社が公開しているOSSで、ソフトマルチテナンシー向けのテナン
ト管理を⾏うためのKubernetes Operator

アプリケーションサイズもそこまで⼤きくなく、kubebuilderを使って実装
されたKubernetes Operatorの実装例として学ぶには最適かも

kubeadmについては「Accurate
で
始めるKubernetesのマルチテナント管
理」というセッションで発表してるので、気になる⽅はこちらも参考にして
ください

View Slide

Kubernetesコミュニティに参加しよう

View Slide

Kubernetesコミュニティ
Kubernetesコミュニティについて知っておくと、いざというときに質問でき
たりコントリビューションのネタ探しにもなることがあるので便利

参加するのはSlackに⼊るだけ: https://slack.k
8
s.io/

下記のような⽇本語のコミュニティも存在するので、気軽に参加しよう

▶ #jp-users

▶ #jp-events

▶ #jp-dev

▶ #jp-users-novice

View Slide

Special Interest Group(SIG)
Kubernetesコミュニティは基本SIGと呼ばれる単位で分かれて活動している

▶ sig-docs: Kubernetesドキュメントやその翻訳などを管理

▶ sig-node: Kubeletなどノードに関するものを管理

▶ sig-cloudprovider: Kubernetesの実⾏基盤との連携機能周りを管理

▶ sig-storage: CSIなどストレージに関するものを管理

▶ Etc
…

View Slide

Working Group(WGs)
sigで管理しきれないものについてはWorking Groupで管理

▶ wg-lts: Kubernetesの⻑期サポートに関するグループ

▶ wg-structured-logging: 構造化ロギングに関するグループ

▶ wg-data-protection: データ保護に関するグループ

▶ etc
…

View Slide

Kubernetesコミュニティに関する説明は
 
「Intermediate Contributor Workshop」がわかりやすいかも
https://www.youtube.com/watch?v=Ayo
5
w-CSmP
0

View Slide

コミュニティの詳細
Kubernetesコミュニティの詳細について知りたい場合は
 
kubernetes/community にアクセスすると調べることができます

▶ どんなSIGがあるのか？

▶ WGについては？

▶ いつどんなミーティングをしているのか？

▶ SIGの主な構成メンバーについて

▶ SIGごとの開発をスケジュールについて

View Slide

まとめ

View Slide

まとめ
▶ ザックリと1からKubernetesのソースコードに⼊るまでに知っておいた⽅が良いことにつ
いて紹介しました

▶ ソースコードを読むのはそこそこコストが掛かるので、やる⽬的は⼈それぞれですが、何
か疑問が出たときに「気軽にソースコードから調べる」という選択肢が増やせると良いな
と思っています

View Slide

参考資料
▶ https://bells
1 7
.medium.com/things-you-should-know-about-reading-
kubernetes-codes-
9 3 3
b
0
ee
6 1 8 1
d

▶ https://www.amazon.co.jp/dp/
4 2 9 7 1 0 4 3 8 5
/

4 2 9 7 1 1 8 3 7 8
/

▶ https://go.dev/tour/welcome/
1

▶ https://gopherdojo.org/studyroom/

4 6 2 1 3 0 0 2 5 3
/

▶ https://speakerdeck.com/bells
1 7
/kubelet-and-containers

▶ https://speakerdeck.com/ryusa/servicewotazunete
3 0 0 0
xing-
kuberneteskodorideingufalselu

1 7
/kube-api-server-k
8
sjp

▶ https://speakerdeck.com/sanposhiho/zi-zuo-sitexue-bukubernetes-
schedulerru-men

1 7
/cloud-controller-manager-deep-dive

▶ https://speakerdeck.com/masayaaoyama/infrastudy
2
-k
8
s

▶ https://github.com/kubernetes/client-go/tree/master/examples/workqueue

▶ https://github.com/kubernetes/sample-controller/blob/master/controller.go

▶ https://github.com/kubernetes-sigs/kubebuilder

1 7
/kubebuilder-introduction

▶ https://zoetrope.github.io/kubebuilder-training/

▶ https://github.com/cybozu-go

▶ https://www.youtube.com/watch?v=yqB_le-N
6
EE

▶ https://github.com/kubernetes/enhancements/blob/master/keps/sig-
instrumentation/
1 6 0 2
-structured-logging/README.md

▶ https://github.com/kubernetes/enhancements/issues/
1 6 0 2

▶ https://github.com/kubernetes/klog/issues/
1 2 5

▶ https://github.com/kubernetes/klog/pull/
1 2 6

▶ https://github.com/kubernetes-csi

▶ https://kubernetes-csi.github.io/docs/drivers.html

1 7
/introduction-to-csi

▶ https://github.com/kubernetes/kubeadm

1 7
/implementation-of-kubeadm-init

▶ https://github.com/kubernetes-sigs/metrics-server

1 7
/metrics-server

1 7
/accurate-introduction

▶ https://github.com/cybozu-go/accurate

▶ https://slack.k
8
s.io/

▶ https://www.youtube.com/watch?v=Ayo
5
w-CSmP
0

▶ https://github.com/kubernetes/community

View Slide

画像引⽤元
▶ https://github.com/kubernetes/community/tree/master/icons

▶ https://github.com/kubernetes/kubernetes/tree/master/logo

▶ https://github.com/cncf/artwork/tree/master/projects/kubernetes

▶ https://github.com/kubernetes/kubeadm/tree/main/logos

View Slide

Thanks / Question?
▶ @bells
1 7

▶ Slide: https://speakerdeck.com/bells
1 7

▶ @bells
1 7
_

View Slide

Kubernetesソースコードリーディング入門

Kubernetesソースコードリーディング入門

bells17

More Decks by bells17

Other Decks in Programming

Featured

Transcript