Kubernetes CNI Migration

Transcript

1. CNI Migration OTSUKA, Motohiro / Yuanying Kubernetes at home #2
2. お家クラスタのCNIを変更したい
3. クラウド環境のKubernetesは気軽 にクラスターを移行できるが、お 家だとそうはいかない。
4. 🎉今年 10/10 自宅k8sクラスタ満5歳 🎉
6. 愛着が湧いてしまい、 気軽に壊せない！
7. Flannel から Cilium へ移行どうする…？
8. 検証した。
9. CNI 移行時の前提条件 1. 異なるIPAM方式を採用するCNI同士であること 2. 同時にVXLANを二つ以上設定しないこと この条件を満たせば、 意外と雑にイケる。
10. 雑にやる場合
11. 雑に`kubectl apply` 1. Pod をデプロイ (Flannel Network) 2. Cilium をデプロイ 3. Pod をロールアウト ◦ 順に Cilium Network に切り替えていく 4. Flannelを削除 ◦ 削除後にノードを再起動
12. どうなる？
13. 雑に`kubectl apply` 1. Pod をデプロイ (Flannel Network) 2. Cilium をデプロイ 3. Pod をロールアウト ◦ 順に Cilium Network に切り替えていく 4. Flannelを削除 ◦ 削除後にノードを再起動
14. Node 0 testapp-0 eth0: 10.242.2.2 Bridge: cni0 10.242.2.1 veth cni0 flannel.1 iptables Node 1 testapp-1 eth0: 10.242.3.3 Bridge: cni0 10.242.3.1 veth cni0 flannel.1 iptables flannel 10.242.0.0/16
15. Node 0 testapp-0 eth0: 10.242.2.2 Bridge: cni0 10.242.2.1 veth cni0 flannel.1 iptables Node 1 testapp-1 eth0: 10.242.3.3 Bridge: cni0 10.242.3.1 veth cni0 flannel.1 iptables flannel 10.242.0.0/16 flannel ネットワーク外への通信は NATされる ルールが書かれている。 -s 10.242.0.0/16 -d 10.242.0.0/16 -j RETURN -s 10.242.0.0/16 ! -d 224.0.0.0/4 -j MASQUERADE ! -s 10.242.0.0/16 -d 10.242.0.0/16 -j MASQUERADE
16. 雑に`kubectl apply` 1. Pod をデプロイ (Flannel Network) 2. Cilium をデプロイ 3. Pod をロールアウト ◦ 順に Cilium Network に切り替えていく 4. Flannelを削除 ◦ 削除後にノードを再起動
17. cilium 172.20.0.0/16 Node 1 testapp-1 eth0: 10.242.3.3 Bridge: cni0 10.242.3.1 veth cni0 flannel.1 iptables cilium_host eBPF flannel 10.242.0.0/16 Node 0 testapp-0 eth0: 10.242.2.2 Bridge: cni0 10.242.2.1 veth cni0 flannel.1 iptables cilium_host eBPF
18. cilium 172.20.0.0/16 Node 1 testapp-1 eth0: 10.242.3.3 Bridge: cni0 10.242.3.1 veth cni0 flannel.1 iptables cilium_host eBPF flannel 10.242.0.0/16 Node 0 testapp-0 eth0: 10.242.2.2 Bridge: cni0 10.242.2.1 veth cni0 flannel.1 iptables cilium_host eBPF cilium ネットワーク外への通信は NATされる ルールが書かれている。 ~~省略~~
19. 雑に`kubectl apply` 1. Pod をデプロイ (Flannel Network) 2. Cilium をデプロイ 3. Pod をロールアウト ◦ 順に Cilium Network に切り替えていく 4. Flannelを削除 ◦ 削除後にノードを再起動
20. cilium 172.20.0.0/16 Node 1 testapp-1 eth0: 10.242.3.3 Bridge: cni0 10.242.3.1 veth cni0 flannel.1 iptables cilium_host eBPF flannel 10.242.0.0/16 Node 0 Bridge: cni0 10.242.2.1 cni0 flannel.1 iptables cilium_host eBPF
21. cilium 172.20.0.0/16 Node 1 testapp-1 eth0: 10.242.3.3 Bridge: cni0 10.242.3.1 veth cni0 flannel.1 iptables cilium_host eBPF flannel 10.242.0.0/16 Node 0 testapp-0 Bridge: cni0 10.242.2.1 cni0 flannel.1 iptables cilium_host eBPF eth0: 172.20.2.2
22. cilium 172.20.0.0/16 Node 1 testapp-1 eth0: 10.242.3.3 Bridge: cni0 10.242.3.1 veth cni0 flannel.1 iptables cilium_host eBPF flannel 10.242.0.0/16 Node 0 testapp-0 Bridge: cni0 10.242.2.1 cni0 flannel.1 iptables cilium_host eBPF eth0: 172.20.2.2 もちろん、この状態で 双方向通信問題なし！
23. cilium 172.20.0.0/16 Node 1 Bridge: cni0 10.242.3.1 cni0 flannel.1 iptables cilium_host eBPF flannel 10.242.0.0/16 Node 0 testapp-0 Bridge: cni0 10.242.2.1 cni0 flannel.1 iptables cilium_host eBPF eth0: 172.20.2.2
24. cilium 172.20.0.0/16 Node 1 testapp-1 Bridge: cni0 10.242.3.1 cni0 flannel.1 iptables cilium_host eBPF flannel 10.242.0.0/16 Node 0 testapp-0 Bridge: cni0 10.242.2.1 cni0 flannel.1 iptables cilium_host eBPF eth0: 172.20.2.2 eth1: 172.20.3.3
25. 雑に`kubectl apply` 1. Pod をデプロイ (Flannel Network) 2. Cilium をデプロイ 3. Pod をロールアウト ◦ 順に Cilium Network に切り替えていく 4. Flannelを削除 ◦ 削除後にノードを再起動
26. cilium 172.20.0.0/16 Node 1 testapp-1 iptables cilium_host eBPF Node 0 testapp-0 iptables cilium_host eBPF eth0: 172.20.2.2 eth1: 172.20.3.3
27. 🤔 LGTM?
28. Kubernetes Network Model 1. Pods can communicate with all other pods on any other node without NAT 2. Agents on a node (e.g. system daemons, kubelet) can communicate with all pods on that node Note: For those platforms that support Pods running in the host network (e.g. Linux), when pods are attached to the host network of node they can still communicate with all pods on all nodes without NAT. https://kubernetes.io/docs/concepts/services-networking/
29. cilium 172.20.0.0/16 Node 1 testapp-1 eth0: 10.242.3.3 Bridge: cni0 10.242.3.1 veth cni0 flannel.1 iptables cilium_host eBPF flannel 10.242.0.0/16 Node 0 testapp-0 Bridge: cni0 10.242.2.1 cni0 flannel.1 iptables cilium_host eBPF eth0: 172.20.2.2 flannel ネットワーク外への通信は NATされる ルールが書かれている。 cilium ネットワーク外への通信は NATされる ルールが書かれている。
30. cilium 172.20.0.0/16 Node 1 testapp-1 eth0: 10.242.3.3 Bridge: cni0 10.242.3.1 veth cni0 flannel.1 iptables cilium_host eBPF flannel 10.242.0.0/16 Node 0 testapp-0 Bridge: cni0 10.242.2.1 cni0 flannel.1 iptables cilium_host eBPF eth0: 172.20.2.2 どうしても Flannel -> Cilium Cilium -> Flannel でNATが発生してしまう。
31. 🤔 どうすれば？
33. cilium 172.20.0.0/16 Node 0 testapp-0 eth0: 10.242.2.2 Bridge: cni0 10.242.2.1 veth cni0 flannel.1 iptables cilium_host eth1: 172.20.2.2 eBPF Node 1 testapp-1 eth0: 10.242.3.3 Bridge: cni0 10.242.3.1 veth cni0 flannel.1 iptables cilium_host eth1: 172.20.3.3 eBPF flannel 10.242.0.0/16
34. 1. コンテナ内のルーティングに気をつけよう 2. kube-proxy の設定にも気をつけてね！
35. 雑な方法の詳細は、 Kubernetes Advent Calendar 21日目の記事で！
36. 以上