Standards & Craftsmanship Cilium: one firewall to secure them all Pierre-Yves Aillet @pyaillet Eric Briand @eric_briand 

#ContainerDayFR 2 Eric Briand Dev’ touche à tout à Zenika Nantes Organisateur du CNCF Meetup Nantes @eric_briand @ebriand Pierre-Yves Aillet Consultant formateur à Zenika Nantes @pyaillet @pyaillet 

#ContainerDayFR 3 

#ContainerDayFR 4 

Architecture du SI #ContainerDayFR events internal api kafka kafka zookeeper internal-frontend api events-frontend 

Démo #ContainerDayFR 

Networking Kubernetes #ContainerDayFR eth0 eth0 eth0 eth0 

Network addons #ContainerDayFR Overlay ● Weave ● Flannel ● Calico… Routage natif ● GKE ● kube-router 

Network policy #ContainerDayFR kind: NetworkPolicy apiVersion: networking.k8s.io/v1 metadata: namespace: webapp name: only-backend spec: podSelector: matchLabels: role: db ingress: - from: - podSelector: matchLabels: role: backend Type de la ressource Méta-données Informations habituelles de toutes les ressources Kubernetes 

Network policy #ContainerDayFR kind: NetworkPolicy apiVersion: networking.k8s.io/v1 metadata: namespace: webapp name: only-backend spec: podSelector: matchLabels: role: db ingress: - from: - podSelector: matchLabels: role: backend Les pods ayant le label “db” À partir du moment où le(s) Pod(s) correspond à une règle : - Le traffic est bloqué par défaut 

Network policy #ContainerDayFR kind: NetworkPolicy apiVersion: networking.k8s.io/v1 metadata: namespace: webapp name: only-backend spec: podSelector: matchLabels: role: db ingress: - from: - podSelector: matchLabels: role: backend Sens du traffic Source du traffic Seul le traffic explicitement autorisé est passant 

Architecture de notre SI avec network policy #ContainerDayFR events internal api kafka kafka zookeeper internal-frontend api events-frontend 

Démo #ContainerDayFR 

Accès API #ContainerDayFR internal-frontend api events-frontend /heroes/* /identities/* /heroes/* /identities/* 

Cilium #ContainerDayFR ● https://github.com/cilium/cilium ● Go + C pour la partie eBPF ● Version 1.5 ● Network addon Kubernetes ● Sécurisation à différents niveaux ● S’intègre avec Istio, Docker, Mesos 

#ContainerDayFR Linux Kernel BPF Program BPF Virtual Machine syscall bpf(BPF_PROG_LOAD, ...); BPF Bytecode bcc eBPF 

#ContainerDayFR 

Cilium network policies #ContainerDayFR internal-frontend api events-frontend /heroes/* /identities/* /heroes/* /identities/* 

Cilium network policies apiVersion: [...] spec: endpointSelector: matchLabels: app: heroes-api ingress: - fromEndpoints: - matchLabels: k8s:io.kubernetes.pod.namespace: internal toPorts: - ports: - port: "80" protocol: TCP rules: http: - method: "GET" path: "/heroes/?.*" ● Structure similaire aux networks policies natives ● Labels spécifiques Cilium/Kubernetes ● Règles spécifiques au protocole L7 

Démo #ContainerDayFR 

Architecture de notre SI v2 #ContainerDayFR events internal api kafka kafka zookeeper internal-frontend api events-frontend 

Démo #ContainerDayFR 

Ok, mais en vrai il se passe quoi ? #ContainerDayFR Endpoint TC @ Endpoint bpf_lxc TC @ Endpoint bpf_netdev Endpoint L7 Policy Userspace Proxy Envoy 

C’était cool ? #ContainerDayFR ● Installation avec l’operator simple mais architecture complexe ● Le tooling pratique (ex : cilium policy trace) mais pas à tous les niveaux ! ● Utilisation et syntaxe simples 

Multicluster #ContainerDayFR Source : https://cilium.io/blog/2019/03/12/clustermesh 

Multicluster #ContainerDayFR 

Performances #ContainerDayFR -- Source : https://itnext.io/4a9886efe9c4 

Suppression kube-proxy #ContainerDayFR Rôle de kube-proxy: - ClusterIP - NodePort Aujourd’hui Cilium: ClusterIP - Demain: ClusterIP + NodePort et au revoir kube-proxy 

Démo #ContainerDayFR 

Extensibilité #ContainerDayFR -- Source : http://docs.cilium.io/en/v1.5/envoy/extensions/ 

Conclusion #ContainerDayFR ● Projet prometteur ○ Network policies++ ○ Remplacement de kube-proxy ● Usage intéressant de eBPF ○ Lien userspace/kernel par les maps ○ Affectation d’une identité k8s/docker/… aux src et dst des paquets 

Code & Références #ContainerDayFR Sources : ● https://github.com/ebriand/conf-cilium Références : ● https://cilium.io/ ● http://www.brendangregg.com/ebpf.html ● https://jvns.ca/blog/2017/06/28/notes-on-bpf---ebpf/ ● https://www.youtube.com/watch?v=_Iq1xxNZOAo ● https://cilium.io/blog/2018/12/03/cni-performance ● https://itnext.io/benchmark-results-of-kubernetes-network-plugins-cni-ov er-10gbit-s-network-updated-april-2019-4a9886efe9c4 

Merci ! Pierre-Yves Aillet @pyaillet Eric Briand @eric_briand #ContainerDayFR