kube-vipとkube-proxy置き換えCiliumを積んだ究極のK3sクラスタを建てる

2024/10/01 Kubernetes Novice Tokyo #34にて発表した際の資料です。
kube-vipとkube-proxy置き換えCiliumをK3sに乗せる際引っかかったポイントを、前提となるHAコントロールプレーンの事情と合わせて解説しています。

Transcript

1. logica X: @logica0419 GitHub: @logica0419 kube-vipと kube-proxy置き換え Ciliumを積んだ究極の K3sクラスタを建てる
2. 自己紹介 • logica (ろじか) • 千葉工業大学 情報科学部 情報ネットワーク学科 3年 • ネットワークコンテンツ研究会 所属 ◦ 数人の自宅サーバーをVPNで繋いでクラウド基盤 作ろうとしてます • 最近はKWOKへのコントリビューションや セキュリティ・ミニキャンプ講師などを やってました
3. HAクラスタの Control Plane ロードバランシング問題
4. Control Planeが複数あるクラスタ Plane Plane Plane
5. どこ接続すればいいか、わからない Plane Plane Plane ？？？
6. 固定してしまったら Plane Plane Plane
7. 死んだとき Plane Plane Plane
8. 一巻の終わり Plane Plane Plane 💥
9. 死んだときには Plane Plane Plane
10. 別の所に接続できるように欲しい Plane Plane Plane
11. Control Planeのロードバランシング • コントロールプレーンを冗長化した際、外部から apiserverに常に接続できる状態を維持する ◦ どこかのノードが死んだらフォールバックする ◦ 同一のIPアドレスで常に接続できる • Kubernetesエコシステムの中にはツールが無い ◦ “Since this is not part of Kubernetes or kubeadm, this must be taken care of separately.” とドキュメントに書いてある
12. ロードバランサーの選択肢 https://github.com/kubernetes/kubeadm/blob/main /docs/ha-considerations.md#options-for-software- load-balancing で取れる選択肢が提示されている 1. Keepalived と HAProxy 2. kube-vip
13. Keepalived と HAProxy keepalived keepalived keepalived keepalived
14. Keepalived と HAProxy keepalived keepalived keepalived keepalived 仮想 IP
15. Keepalived と HAProxy keepalived keepalived keepalived keepalived 仮想 IP
16. Keepalived と HAProxy keepalived keepalived keepalived keepalived 仮想 IP
17. Keepalived と HAProxy keepalived keepalived keepalived keepalived 仮想 IP 仮想 IP
18. Keepalived と HAProxy 仮想IP HAProxy Plane Plane Plane
19. Keepalived と HAProxy HAProxy Plane Plane Plane keepalived 仮想IP HAProxy keepalived HAProxy keepalived
20. kube-vip • Kubernetes用に設計された、keepalivedとHAProxyの 代替ソフトウェア ◦ どちらの機能も備えている • Keepalived & HAProxyと比べて設定が楽 ◦ Keepalived & HAProxy ▪ KeepalivedとHAProxyの設定をする知識が必要 ◦ kube-vip ▪ kube-vipのCLIによって設定の生成が可能
21. デプロイについて • Static Pod ◦ Kubeletベースの機能 (K3sとかは対応してない) ◦ Kubernetesと別のライフサイクルを持つコンテナ をKubeletが建てて、保全してくれる • それぞれのデプロイ事情 ◦ K & HA: スタンドアロン (Planeと別マシン) か Static Pod (Planeと同マシン) ◦ kube-vip: Static PodかDaemonset (同マシンのみ)
22. ICTSCの Kubernetesクラスタ これまでのあゆみ
23. ICTSC • ICTSC (ICTトラブルシューティングコンテスト) ◦ (主に) 学生が運営する、学生向けのIT大会 ◦ ネットワークやらOSやらにトラブルの起こった VM環境が与えられ、それを解決するコンテスト • Kubernetesクラスタの運用 ◦ 競技ポータルやVMを監視するためのOSSをホスト するためにクラスタを建てている ◦ (興味ベースなのであまり効率は考えてない)
24. 僕が運営になったころ Plane Plane Plane HAProxy + keepalived HAProxy + keepalived 仮想IP
25. VM、要らないんじゃね？ Plane Plane Plane HAProxy + keepalived HAProxy + keepalived 仮想IP
26. KeepalivedとHAProxyの設定が 全く理解できなかったため、 kube-vipの移行を決意 1年半くらい前のことなのでご勘弁を…
27. kube-vipに移行 Plane + kube-vip Plane + kube-vip Plane + kube-vip 仮想IP
28. kube-vipに移行 Plane + kube-vip Plane + kube-vip Plane + kube-vip 仮想IP これで良かったんです
29. kube-vipに移行 Plane + kube-vip Plane + kube-vip Plane + kube-vip 仮想IP v1.28までは
30. kube-vip、v1.29の悲劇
31. 唐突にv1.29で壊れたkube-vip https://github.com/kube-vip/kube-vip/issues/684
32. v1.29で何が起こったか • admin.confの権限変更と、super-admin.confの追加が 行われた ◦ 無駄に高い権限がついていた所なので良いこと 設定ファイル ユーザグループ 権限 備考 admin.conf kubeadm:cluster- admins cluster- admin system:masters だった super-admin .conf system:masters 組み込み 権限 新設
33. kube-vipからのapiserver参照 • kube-vipはkube-apiserverに接続する必要がある ◦ 通常Podからアクセスするときは、Podに置かれた 認証情報でアクセスできる ◦ Static Podはセットされない (K8s管理じゃない) • これまでの接続方法 ◦ kubeadmが生成するadmin.confを使っていた ◦ /etc/kubernetes/admin.conf に置かれる
34. admin.conf終了のお知らせ E1214 09:30:38.907904 1 leaderelection.go:332] error retrieving resource lock kube-system/plndr-cp-lock: leases.coordination.k8s.io "plndr-cp-lock" is forbidden: User "kubernetes-admin" cannot get resource "leases" in API group "coordination.k8s.io" in the namespace "kube-system" 権限が…！足りない…！！！！！！
35. super-admin.confを使えばいいのでは？ Plane + kube-vip Plane + kube-vip Plane + kube-vip admin.conf admin.conf admin.conf super- admin.conf super- admin.conf super- admin.conf
36. 残念ながら… Plane + kube-vip Plane + kube-vip Plane + kube-vip admin.conf admin.conf admin.conf super- admin.conf initしたやつ joinしたやつ joinしたやつ
37. これによって kube-vip on kubeadmは 非常に苦しくなった 😭😭😭😭😭😭😭😭😭😭😭😭😭😭😭😭😭😭😭
38. K3sへの移行
39. K3s • 皆さんご存知のKubernetesディストリビューション ◦ 動作も自身のバイナリも軽いK8s ◦ 自宅サーバーなど、計算リソースがあまり強くない 場面でよく使われている • containerdやCNIまで含め、全てのコンポーネントが 1つのバイナリに収められている ◦ デバッグ・カスタマイズがしにくい
40. kube-vip on K3s • Auto-Deploying Manifests ◦ あるフォルダに置いてあるマニフェストをクラスタ セットアップ後に自動でデプロイ ◦ Static Podと違い、Pod以外もOK ◦ K3s公式のアドオンもこれを使ってデプロイされる • kube-vipのDaemonsetデプロイ ◦ Daemonsetとしてのコンフィグ生成がkube-vip 公式からサポートされている
41. これで勝った！！！！！
42. これで勝った！！！！！ …と思っていました
43. Cilium CNI • 最近話題のeBPFをフルに用いたCNI実装 ◦ AWS / Google Cloudでも採用されている ◦ ICTSCもCiliumを採用 • kube-proxyの置き換えが最も大きな特徴 ◦ iptables実装の弱い部分をeBPFで解決 ◦ kube-proxyの無いクラスタを用意し、そこに Ciliumを投げ込む ◦ (置き換えないこともできるが、面白くない)
44. Internal API server hostname • Kubernetesには、内部にkube-apiserverに繋がる Serviceが存在する ◦ Podからのアクセスはこれが用いられる • Serviceなのでkube-proxy相当の物が必要 ◦ Ciliumデプロイ時、直にapiserverのアドレスを 示してやる必要がある ◦ Cilium内部のapiserverアドレスは勝手に書き 換わらないので、仮想IPを指定したい
45. とりあえずkubeadm時代と同じ感じで • kube-vipのマニュフェストを生成 ◦ Auto-Deployingのフォルダに置く • K3sをkube-proxy無しで立ち上げる ◦ --disable-kube-proxy というフラグで行ける ◦ ここでkube-vipが立ち上がっているはず • Ciliumに仮想IPを指定してデプロイ ◦ これでサービスが使用可能になり、カスタム コントローラーたちが正常に動くはず
46. とりあえずkubeadm時代と同じ感じで • kube-vipのマニュフェストを生成 ◦ Auto-Deployingのフォルダに置く • K3sをkube-proxy無しで立ち上げる ◦ --disable-kube-proxy というフラグで行ける ◦ ここでkube-vipが立ち上がっているはず • CiliumにVirtual IPを指定してデプロイ ◦ これでサービスが使用可能になり、カスタム コントローラーたちが正常に動くはず 一向にCiliumが 立ち上がってこない
47. 仮想IPアドレスが… サーバーに割り当たって… いない…！？ 敗北を喫した
48. おさらい • kube-vipはkube-apiserverに接続する必要がある ◦ 通常Podからアクセスするときは、Podに置かれた 認証情報でアクセスできる ◦ Static Podはセットされない (K8s管理じゃない) • Kubernetesには、内部にkube-apiserverに繋がる Serviceが存在する ◦ Podからのアクセスはこれが用いられる
49. おさらい • kube-vipはkube-apiserverに接続する必要がある ◦ 通常Podからアクセスするときは、Podに置かれた 認証情報でアクセスできる ◦ Static Podはセットされない (K8s管理じゃない) • Kubernetesには、内部にkube-apiserverに繋がる Serviceが存在する ◦ Podからのアクセスはこれが用いられる daemonsetのkube-vipは Service経由で apiserverに接続する
50. すなわち Cilium (kube-proxy 置き換え) Internal API server hostname kube-vip (付随して 仮想IP)
51. すなわち Cilium (kube-proxy 置き換え) Internal API server hostname kube-vip (付随して 仮想IP) 仮想IPが 欲しい
52. すなわち Cilium (kube-proxy 置き換え) Internal API server hostname kube-vip (付随して 仮想IP) 仮想IPが 欲しい Daemonset からの参照に 必要
53. すなわち Cilium (kube-proxy 置き換え) Internal API server hostname kube-vip (付随して 仮想IP) 仮想IPが 欲しい Serviceの 立ち上げに 必要 Daemonset からの参照に 必要
54. 永久機関が完成しちまった Cilium (kube-proxy 置き換え) Internal API server hostname kube-vip (付随して 仮想IP) 仮想IPが 欲しい Serviceの 立ち上げに 必要 Daemonset からの参照に 必要 Deadlock
55. どこかを一番最初に 立ち上げなければ どうにもならない 色々な手段を探した
56. 最終的に Cilium (kube-proxy 置き換え) Internal API server hostname kube-vip (付随して 仮想IP) Serviceの 立ち上げに 必要 Daemonset からの参照に 必要 「127.0.0.1」を指定して 立ち上げれば 常に自分のいるPlaneの apiserverを 参照するようになる (hostnetworkがtrueだから？)
57. デッドロック解消 Cilium (kube-proxy 置き換え) Internal API server hostname kube-vip (付随して 仮想IP) Serviceの 立ち上げに 必要 Daemonset からの参照に 必要
58. ここを妥協することで 無事にクラスタを立ち上げる ことができた！ めでたしめでたし
59. まとめ
60. ここまでK3sへの載せ替えを 頑張っていましたが…
61. 結論: kube-vipをやめて、 Static PodでKeepalivedと HAProxyを整備しよう！ 正直K3sは辛いので、我々もそっちにしようと思う
62. ありがとう ございました 参考になれば幸いです