K8s@home#1 OTSUKA, Motohiro / Yuanying Kubernetes at home #1

Who am I ? ● OTSUKA, Motohiro / @yuanying ○ Z Lab Corporation ○ 趣味 ■ 🚴 ロードバイク (2009 - ) ■ 🏊 トライアスロン (2010 - ) ■ 🏠 自宅サーバ (2002 -) ● VIA C3 Ezra 866MHz - ● Transmeta Efficeon - ● Pentium M 1.5GHz (Banias) - ● Mac mini - ● NUC Core i3 3217U - ● Kubernetes on Hetero Node -

🏠 K8s@home とは 🌲 k8s@home

1. 自宅クラスタ特有のノウハウを 共有 2. 仕事でできない遊びを発表 3. 業務における真面目な発表は 「Kubernetes Meetup Tokyo」

ちなみに

🎉 10/10 自宅k8sクラスタ満5歳 🎉

No content

No content

🏃クラスタ構成の基本方針 💻 ハードウェア構成 🍦 ソフトウェア構成 🏗 クラスタ構築、アップデート方法 📢 アピールポイント 🆕 自宅クラスタのこれから

🏃クラスタ構成の基本方針

1. できるだけ省電力で”使える” 2. できるだけ冗長化 3. できるだけKubernetesに載せる

💻 ハードウェア構成

Role Model CPU Memory cp-111 Control Plane Raspberry Pi 4 Cortex A72 1.5GHz 4GB cp-112 Control Plane Raspberry Pi 4 Cortex A72 1.5GHz 4GB cp-113 Control Plane Raspberry Pi 4 Cortex A72 1.5GHz 4GB pablo Worker NUC 7i3BNH Core i3 7300U 32GB duchamp Worker NUC 8i5BEH Core i5 8269U 32GB oeilvert Worker DeskMini A300 Ryzen 5 3400G 64GB chirico Worker Minisforum UM480 Ryzen 7 4800U 64GB braque Storage Liva Z N4200 Pentium N4200 16GB

No content

EdgeRouter X Web 16 Port Switch cp 113 cp 112 cp 111 duchamp pablo oeilvert braque 8TBHDD 8TBHDD 8TBHDD 2TB SSD 2TB SSD 2TB SSD HW構成 UPS

UPS EdgeRouter X Web 16 Port Switch cp 113 cp 112 cp 111 duchamp pablo oeilvert braque 8TBHDD 8TBHDD 8TBHDD 2TB SSD 2TB SSD 2TB SSD 1. 光回線終端装置(ONU)直結 ○ IPv6: DHCPv6 で 56bit プレフィック スを直接もらえる 2. 設定ファイルでDeclaretiveに設定をコント ロールできる ○ 設定をテストした後にロールバック が簡単！ ■ 😌 Managed by Git ■ ❌ No more Web UI !! ■ ❌ No more Imprative !! 3. BGPも使えるがまだ使っていない と言っても、YAMAHA や CISCO と比べたアドバンテージ は価格くらい？ ルーターの冗長化は …？ VIOLATION (2) VIOLATION (3)

$ git diff diff --git a/fraction/config.boot b/fraction/config.boot index f7374d7..7fde7a5 100644 --- a/fraction/config.boot +++ b/fraction/config.boot @@ -615,8 +615,8 @@ service { listen-on switch0 listen-on lo name-server 8.8.8.8 - name-server 1.1.1.1 - name-server 2606:4700:4700::1001 + name-server 8.8.4.4 + name-server 2001:4860:4860::8888 name-server 2001:4860:4860::8844 options enable-ra options dhcp-range=::,constructor:switch0,slaac,64,24h $ congigure [edit] # load /fraction.config.boot # commit; save

EdgeRouter X Web 16 Port Switch cp 113 cp 112 cp 111 duchamp pablo oeilvert braque 8TBHDD 8TBHDD 8TBHDD 2TB SSD 2TB SSD 2TB SSD 1. メモリは4GB無いと辛い ○ リソースが少ないとクラスター再起動時に etcdの負荷 が捌けずそのまま死ぬ 💀 2. 起動ディスクは外付け USBのSSD 128GB ○ SDカードでetcd動かすのは若干不安 3. etcd ノードとして 3台構成 (冗長化！ SSDを追加すると電源が不安だが、こ の拡張ボードには別に電源供給用の DC 55x25 ジャックがついてくる。 (AC アダプタは別売り

UPS EdgeRouter X Web 16 Port Switch cp 113 cp 112 cp 111 duchamp pablo oeilvert braque 8TBHDD 8TBHDD 8TBHDD 2TB SSD 2TB SSD 2TB SSD 1. メモリは 32GB + 32GB + 64GB とそれなり に潤沢にあるが、CPUコア数がメモリに比 べると不足気味 ○ `resource.requests.cpu = 1` とかや りすぎると死ぬ 💀 ○ Core i3がいらない子…。 2. 🐄 Workerノードと言いつつ、2TB SSD x3 で Longhorn クラスタを組んで Block デバ イスをクラスタに供給 ○ Cephをやるには人生が短かった … ○ ストレージに興味がない人にはお手 軽でお薦め。 1. Longhorn自体が死んでもディスクからデータ 復旧が比較的簡単 ○ 基本的にストレージのコントローラが死 ぬとデータ復旧辛くない？ 2. 基本的にミラーリングなのでわかりやすい

UPS EdgeRouter X Web 16 Port Switch cp 113 cp 112 cp 111 duchamp pablo oeilvert braque 8TBHDD 8TBHDD 8TBHDD 2TB SSD 2TB SSD 2TB SSD 1. ZFSでRaidZ (冗長化！ ○ 16TBのストレージとして利用中。 2. メモリ16GBあるのでよくキャッシュが効いてる気がする。 ○ 普通のNASと比べて性能が良いと信じたい。 3. NFSをDaemonSetとして配備 ○ 主にLonghornに置いたファイルのバックアップ用途。 ○ minioとかにしても良いかもしれない。 StorageもK8sの一員！

UPS EdgeRouter X Web 16 Port Switch cp 113 cp 112 cp 111 duchamp pablo oeilvert braque 8TBHDD 8TBHDD 8TBHDD 2TB SSD 2TB SSD 2TB SSD 1. 停電に怯えなくて良い、お守り的存在。 ○ 千葉は都心と比べて停電率高め …。 ○ 停電で落ちた後のクラスタ復旧は大変。 ○ 適当に買ったのでメーカーとか覚えてない。 もちろんk8sクラスタの一員で はない VIOLATION (3)

🍦 ソフトウェア構成

　　 Kubernetes

control-plane control-plane control-plane Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd kube-apiserver kube-apiserver kube-apiserver kube-proxy kube-proxy kube-proxy kube-cm kube-cm kube-scheduler kube-scheduler kube-proxy kube-proxy kube-proxy 凡例 Systemd Unit Static Pod DaemonSet Deployment Flannel Flannel Flannel Flannel Flannel Flannel metallb metallb metallb coredns metallb metallb metallb

control-plane control-plane control-plane Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd kube-apiserver kube-apiserver kube-apiserver kube-proxy kube-proxy kube-proxy kube-cm kube-cm kube-scheduler kube-scheduler kube-proxy kube-proxy kube-proxy 凡例 Systemd Unit Static Pod DaemonSet Deployment Flannel Flannel Flannel Flannel Flannel Flannel metallb metallb metallb coredns metallb metallb metallb kubeadm

自作スクリプト kubeadm kubelet Systemd Unit Systemd Unit kubeletをDaemonSetは可能？ etcd Static Pod Static Pod etcd operatorに制御は移譲可能。 apiserver DaemonSet Static Pod DaemonSet可は比較的容易。 controller-manager Deployment Static Pod Static Podにする意味がわからない。 scheduler Deployment Static Pod 同上。 proxy DaemonSet DaemonSet coredns Deployment Deployment 1. Policy (3): できるだけKubernetesに載せる！ ○ 「Self-hosted Kubernetes」

　🕷 Network

Pod Network CNI: Flannel host-gw Dual Stack Service iptables Loadbalancer MetalLB: ARP mode Ingress nginx-ingress ● そろそろFlannelから移行したい ○ できればオンラインマイグレーション

　💾 Storage

Block Storage ● Longhorn ● メインのデータ置き場 ● ブロックデバイスとして切り出し ● RWXが必要な場合は別途NFS File System ● Plain Old NFS ● ZFS raidz2 ● バックアップ用途 Object Storage ● MinIO ● Docker registry / Log ● 二年ほど前に ZFS から Volume を切り出して iSCSI PV を作る “zvol-iscsi-pv-provisioner” を作ったが、取り回し が悪いので Longhorn or NFS に移行。 ○ yuanying/tgtd-operator ○ yuanying/zfs-operator ○ yuanying/zvol-iscsi-pv-provisioner

　👀 Observability

Logs `kubectl logs`... Metrics kube-prometheus https://speakerdeck.com/yuanying/kube-prometheuswoqi-qing-nikustomize Traces Currently Not Available… ● Loki導入予定 ○ その前にminio…

　🎁 その他

● nginx ● Minecraft ● CodiMD ● Homegallery ● Headless-Chrome ● KubeVirt ● Infra用ミドルウェアに比べてアプリケーションは 少なめ…。 ○ どうしてこうなった／ (^o^)＼ ● 最近はAIを用いたアプリケーションが多くなって きたのでGPUノードが欲しい。 ○ Jetson Orin Nano…

🏗 クラスタ構築、アップデート方法

　🏗 クラスタ構築 ● Self-hosted Kubernetes ○ できるだけk8sに載せる ● 元アイディアは coreos/bootkube ○ https://github.com/kubernetes-retired/bootkube ○ アーカイブされている …。

デプロイ手順 0. Manifest を作成 1. ノードに kubelet 起動 2. kubelet 上で etcd 起動 3. bootstrap 用 kubernetes 制御系起動 4. bootstrap を利用して kubernetes 起動 5. bootstrap 削除

Working PC 自作スクリプト Control Plane Control Plane Control Plane Worker Worker Worker 凡例 Systemd Unit Static Pod DaemonSet Deployment

Working PC 自作スクリプト Manifest Manifest Manifest Control Plane Control Plane Control Plane Worker Worker Worker Manifest Manifest Systemd Unit 凡例 Systemd Unit Static Pod DaemonSet Deployment Certs Certs Certs Kubernetes 構築に必 要な asset を生成

Working PC 自作スクリプト Manifest Manifest Manifest Control Plane Control Plane Control Plane Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet Systemd Unit 凡例 Systemd Unit Static Pod DaemonSet Deployment Certs Certs Certs Systemd Unit Systemd Unit Systemd Unit Systemd Unit Systemd Unit kubelet を各ノードで systemd unit として起動

Certs Certs Certs Working PC 自作スクリプト Manifest Manifest Manifest Master Master Master Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd 凡例 Systemd Unit Static Pod DaemonSet Deployment Certs Certs Certs Control Plane Control Plane Control Plane kubelet kubelet kubelet Certs Certs Certs etcd Manifest etcd Manifest etcd Manifest Master 各ノードで etcd を Static Pod として起動

Working PC 自作スクリプト Manifest Manifest Manifest Control Plane Control Plane Control Plane Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd bootstrap kube-apiserver bootstrap kube-cm bootstrap kube-scheduler 凡例 Systemd Unit Static Pod DaemonSet Deployment Certs bootstr ap Manifest bootstrap で利用する、完全に動 作する Kubernetes Control Plane を 1 ノードで起動

Working PC 自作スクリプト Manifest Manifest Manifest Control Plane Control Plane Control Plane Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd bootstrap kube-apiserver bootstrap kube-cm bootstrap kube-scheduler 凡例 Systemd Unit Static Pod DaemonSet Deployment bootstrap kubernetes に ノードがJoin

Working PC 自作スクリプト Control Plane Control Plane Control Plane Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd bootstrap kube-apiserver bootstrap kube-cm bootstrap kube-scheduler kube-apiserver kube-apiserver kube-apiserver kube-proxy kube-proxy kube-proxy kube-cm kube-cm kube-scheduler kube-scheduler kube-proxy kube-proxy kube-proxy 凡例 Systemd Unit Static Pod DaemonSet Deployment k8s Manifest bootstrap の Kubernetes に対して Kubernetes 構築を指示する

Working PC 自作スクリプト Control Plane Control Plane Control Plane Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd kube-apiserver kube-apiserver kube-apiserver kube-proxy kube-proxy kube-proxy kube-cm kube-cm kube-scheduler kube-scheduler kube-proxy kube-proxy kube-proxy 凡例 Systemd Unit Static Pod DaemonSet Deployment 必要なくなった bootstrap を削除

Control Plane Control Plane Control Plane Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd kube-apiserver kube-apiserver kube-apiserver kube-proxy kube-proxy kube-proxy kube-cm kube-cm kube-scheduler kube-scheduler kube-proxy kube-proxy kube-proxy 凡例 Systemd Unit Static Pod DaemonSet Deployment Flannel Flannel Flannel Flannel Flannel Flannel coredns

　🏗 アップデート方法 ● Update Node (kubelet) ● Apply Manifest

● Update Node (kubelet) ○ ノードごとにkubeletのバイナリをアップデート ○ systemd restart ● Apply Manifest ○ etcd バックアップ ○ マニフェストのバージョン更新 ○ Apply

🤔 アップデート失敗しないの？

Control Plane Control Plane Control Plane Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd kube-apiserver kube-apiserver kube-apiserver kube-proxy kube-proxy kube-proxy kube-cm kube-cm kube-scheduler kube-scheduler kube-proxy kube-proxy kube-proxy Flannel Flannel Flannel Flannel Flannel Flannel Control Plane Control Plane Control Plane Worker Worker Worker kubelet kubelet kubelet kubelet kubelet kubelet etcd etcd etcd kube-apiserver kube-apiserver kube-apiserver kube-proxy kube-proxy kube-proxy kube-cm kube-cm kube-scheduler kube-scheduler kube-proxy kube-proxy kube-proxy Flannel Flannel Flannel Flannel Flannel Flannel kubevirt でテスト環境構築！ 本番環境のServiceとして アクセス可能！

📢 アピールポイント

　🚫 No more haproxy/keepalived

kube-apiserver kube-apiserver kube-apiserver scheduler controller manager kubernetes.default.svc haproxy keepalived VIP kubelet kubelet haproxy keepalived ● 一般的な control-plane 冗長化構成 ● Kubernetesにはせっかく”Service” という 仕組みがあるのでそれを使いたい VIOLATION (3)

kube-apiserver kube-apiserver kube-apiserver scheduler controller manager kubernetes.default.svc kubelet kubelet porkadot-kubernetes External IP ● MetalLB を使って Service 越しに アクセス！

● デプロイ時にひと工夫いるが、クライアント 側からもService越しにアクセスできた！

🆕 自宅クラスタのこれから

1. 開発環境をK8sに載せる 2. クラスタネットワーク改善 すでにコンテナ化されているので、 k8sに載せるだけだが、その前に開発 環境のコンテナイメージを保存するレジストリが欲しい …。 kubevirt が Flannel の pod network を利用しているので、 取り回しが悪い。IPv6… Multus… OVS… VLAN…

📖 まとめ

自宅K8sクラスタは良いぞ。 ● 仕事ではできない自分ならではのこだわりを詰め込める！ ○ 人によって違うこだわりがみたい！

Thanks!