Kubernetes 宇宙的網路 CNI/Ingress/Egress/API GW/Service Mesh/DNS Multi-Cluster/Multi-Cloud Mars Chen 

© 2022 F5 2 IT各部門的關注點 可靠 效能 彈性自動化 威脅 安全風險 更早的安全整合 業務問題的解決方案 應用價值 應用產品和 公司戰略契合度 簡化基礎設施 代碼化Code Pipeline 性能指標 自動化 協作 新工具和技術 生產效率 通過代碼解決問題 公司的雲遷移 未來科技 更快的自動化 陳舊的遺留系統 雲端最新消息 以合規為目標 多雲一致性 考慮不足的決定 快速更換工具 技術限制 市場壁壘的速度 混合環境 即時應用性能 可靠性差，工具集， 開發/測試環境。 舊代碼 不適合雲計算的系統 新工具投資回報率 雲文化轉型 雲技術變革 Super-NetOps Engineer SecOps Engineer 安全工程師 Enterprise Tech App Owner 應用的技術負責人 DevOps Engineer DevOps工程師 Enterprise App Dev 應用開發人員 Cloud Architect 雲架構師 網路工程師 

© 2022 F5 3 公有雲 VPC/IaC 地端網路 Connectivity/Protocol Kubernetes/程式開發 yaml/library 

© 2022 F5 4 基礎知識到架構 

© 2022 F5 5 Kubernetes 網路基本框架 內部網路 用戶 SLB Cloud LB Worker Node Master hostNetwork hostPort Port Forward Service NodePort ClusterIP LoadBalancer Ingress 服務暴露 pod CNI Node 

© 2022 F5 6 Kubernetes Network Model HTTPS://WWW.CNCF.IO/WP-CONTENT/UPLOADS/2020/08/CNCF_WEBINAR_-KUBERNETES_NETWORK_MODELS.PDF Flat Bridged/Island Fully isolated 

© 2022 F5 7 Comparison of network models used by GKE and other Kubernetes implementations HTTPS://CLOUD.GOOGLE.COM/ARCHITECTURE/GKE-COMPARE-NETWORK-MODELS 

© 2022 F5 8 邁入Cilium+BGP的雲原生網路時代 HTTP://ARTHURCHIAO.ART/BLOG/TRIP-STEPPING-INTO-CLOUD-NATIVE-NETWORKING-ERA-ZH/ 

© 2022 F5 9 地端推薦架構 網路/安全 系統/雲平臺/開發 智能調度層 DNS 用戶 • Hostname/URL路由 • TLS • 負載均衡 • WAF • BoT防護 • DDoS • 認證 • IP智能 • 應用視覺化 • 服務編排 • IPv6服務閘道 NGINX+ KIC Kubernetes Cluster F5 CIS F5 CIS動態發佈 NGINX+ KIC NGINX ingress 處理服務路由 BIG-IP提供 增強服務 F5 iQuery SERVICE1 SERVICE2 自動注入GSLB功能 變數名稱 

© 2021 F5 10 CNI(Container Network Interface) 

© 2022 F5 11 Kubernetes中的網路 • 所有Node可以不通過NAT直接和Pod通信 • 所有Pod之間可以不通過NAT直接通信 • Pod的IP位址與其他Pod看到的IP位址相同 K8S作為容器編排工具，並沒有對容器網路的實現，但是提出下面的原則 • OVS 系 • BGP 系 • 公有雲系 

© 2022 F5 12 CNI 發展趨勢 OpenShift SDN (OVS) Flannel Nuage Tigera Calico & CNX Juniper Contrail OpenShift SDN (OVN) Big Switch VMware NSX-T kuryr- kubernetes Open Daylight (CNI & Kuryr) KUBERNETES(分散式架構、微服務應用運行平臺) CNI Multus 網路外掛程式（--network-plugin=) Kubenet 原生實現方案 Cisco Contiv & Contiv-ACI • IP Address Management (IPAM) • Routing protocols • Encapsulation and tunneling • Workload routability • IPv4 and IPv6 • Encrypted workload traffic • Network policy 

© 2022 F5 13 Service • Service – how your deployment is exposed to the network • ClusterIP – cluster internal IP 1. 內部東西向服務調用 2. kube-controller-manager 通過--service- cluster-ip-range 定義的地址段來給 Cluster IP Service 分配 VIP 3. kube-proxy 實現資料平面轉發 4. 和 CoreDNS 結合實現服務發現 NodePort – Exposes the service on each Node at a static port 1. 無法進行源位址透傳（ExternalTrafficPolicy） 2. L7 應用交付能力弱，會話保持能力弱 3. 負載演算法少，健康檢查能力弱 4. 安全性差 & 運維複雜度高 5. 性能與資料平面的穩定性差 

© 2022 F5 14 Load Balancer • Service – how your deployment is exposed to the network • NodePort – Exposes the service on each Node at a static port • LoadBalancer – provisions a loadbalancer for your service 1. F5 CIS 實現的 Load Balancer 可以 bypass kube-proxy(大多數實現都是 kube-proxy 結合 外部負載) 2. Load Balancer Service 需要結合 IPAM 控制器, 不同 Service 不同入口入口 3. Load Balancer Service 適合 4 層流量入口處理 

© 2022 F5 15 容器網路與Kube-proxy 所需 K8S 關鍵元件 針對 K8S 對象 資料流程方向 說明 Cluster IP Service kube-proxy Service 東西向 內部 POD 和 Service 通信 Node Port Service kube-proxy Service 南北向 Load Balancer Service kube-proxy Service 南北向 F5 實現可 bypass kube- proxy Host Port kube-proxy POD 南北向 Host Network POD 南北向 DNS CoreDNS POD, Service 東西向，南北向 L3/L4 Security Policy(Network Policy) kube-proxy POD, Namespace 東西向，南北向 kube-proxy 是容器網路基本功能正常運行的關鍵元件: • 流量轉發 • 服務負載均衡 • 流量過濾 

© 2021 F5 16 Ingress 

© 2022 F5 17 Ingress Controller 控制器具體執行INGRESS資源定義，通常是一種反向代理軟體或硬體 圖片引自medium.com 

© 2022 F5 18 公有雲常用場景 • LoadBalancer(公有雲常用) – provisions a loadbalancer for your service • Ingress - An API object that manages external access to the services in a cluster 

© 2022 F5 19 單層Ingress 部署：NGINX KIC 或 BIG-IP CIS Nginx KIC (集群內/容器型式) BIG-IP CIS (集群外/硬體或軟體整合型式) Node 2 Node 1 F5 BIG-IP 應用性能和安全服務 應用視覺化 和分析 F5 CIS 

© 2022 F5 20 NGINK KIC(Kubernetes Ingress Controller) NGINX KIC Kubernetes Cluster NGINX KIC SERVICE1 SERVICE2 用戶 svc 1 svc 2 SLB 

© 2022 F5 21 F5 BIG-IP CIS (Container Ingress Service) Kubernetes Cluster SERVICE1 SERVICE2 用戶 svc 1 svc 2 F5 CIS F5 CIS動態發佈 單層部署，層次少 功能全面，性能強 自動配置，效率高 

© 2022 F5 22 非HTTP服務的發佈 內部網路 用戶 SLB Worker Node Master hostNetwork hostPort Port Forward Service NodePort ClusterIP LoadBalancer Ingress 服務暴露 pod CNI Node Non-http服務 通過NodePort 方式發佈 Non-http Kube-Proxy效能問題 動態埠不便管理 來源地址不便追蹤 http/https Ingress 灰度發佈 限速，etc. … 

© 2022 F5 23 SSL流量的處理 F5 VE 解密流量 加密流量 F5 VE F5 VE SSL閘道 模式一：外部SSL閘道 模式二：整合SSL閘道 模式三：整合SSL閘道 ，端到端加密 容器雲 Nginx KIC Nginx KIC Nginx KIC 網路/安全 系統/雲平臺/開發 

© 2022 F5 24 Kubernetes流量安全 認證和授權 WAF pod pod pod pod pod pod pod pod pod pod pod pod Applications pod NGINX IC pod External Services NGINX Ingress Controller 集群外部 集群內部 

© 2022 F5 25 雙層Ingress部署 網路/安全 系統/雲平臺/開發 智能調度層 DNS 用戶 • Hostname/URL路由 • TLS • 負載均衡 • WAF • BoT防護 • DDoS • 認證 • IP智能 • 應用視覺化 • 服務編排 • IPv6服務閘道 NGINX+ KIC Kubernetes Cluster F5 CIS F5 CIS動態發佈 NGINX+ KIC NGINX KIC處理 業務路由 BIG-IP提供 增強服務 F5 iQuery SERVICE1 SERVICE2 自動注入GSLB功能 變數名稱 

© 2022 F5 26 Ingress資源特點與缺點 1. 一種資源物 件，面向L7， 非常簡單 2. 不同產品實 現具體的資料 平面 3. 需要通過擴 展來增加功能 和易用性 4. 產品熟悉度、 擴展的方式決 定使用難易度 ⚫ 開發人員友好 ⚫ 角色不清 ⚫ 功能簡單 ⚫ 依賴不同廠商、產品實現擴展 

© 2022 F5 27 Annotations 太複雜複雜配置 – 沒有類型安全 CRs 直觀，可讀與符合 Kubernetes object semantics 更精細的控制與複雜的規則(允許blue/green deployments, A/B testing, API version-based routing) 支援 RBAC 和自助服務(delegation, namespaces, fault domain isolation) Circuit breakers (custom error page returned in case of upstream failures) Custom Resource: NGINX Ingress Resource (NIR) VIRTUALSERVER & VIRTUALSERVERROUTE RESOURCES 

© 2022 F5 28 • 特點： - 角色導向Role-oriented - 可移植Portable - 豐富的功能表達Expressive - 可擴展Extensible GA之後 – ServiceAPI – GatewayAPI 

© 2022 F5 29 NGINX announcement THE FUTURE OF NGINX: GETTING BACK TO OUR OPEN SOURCE ROOTS Earlier this year we launched NGINX Kubernetes Gateway, based on the Kubernetes Gateway API SIG’s reference architecture. This modernizes our product family and keeps us in line with the ongoing evolution of cloud native. The NGINX Kubernetes Gateway is also something of an olive branch we’re extending to the community. We realize it complicated matters when we created both a commercial and an open source Ingress controller for Kubernetes, both different from the community Ingress solution (also built on NGINX). The range of choices confused the community and put us in a bad position. It’s pretty clear that the Gateway API is going to take the place of the Ingress controller in the Kubernetes architecture. So we are changing our approach and will make the NGINX Kubernetes Gateway – which will be offered only as an open source product – the focal point of our Kubernetes networking efforts (in lockstep with the evolving standard). It will both integrate and extend into other NGINX products and optimize the developer experience on Kubernetes. 

© 2021 F5 30 Egress 

© 2022 F5 31 容器經由所運行的宿主機（node）訪問外部 Node可執行SNAT 一般的egress行為 c c c c node c c c c node 

© 2022 F5 32 egress管控的方式 c c c c node K8s集群內管控 c c c c node K8s集群外管控 優勢 劣勢 無需考慮外部防火牆限制 外部安全設施無法重用 對企業在安全角色與平臺關係上有要 求 無需考慮額外外部網路問題，不 受源位址轉換限制等 必須要採用特定的CNI，部分能力需 要企業版方可支援 原生性的管理方式 除錯、運維困難， 規則太多，效能可能會下降 • NetworkPolicy • 需特定支援network policy的CNI 優勢 劣勢 降低成本，重用設施 需要一定的網路對接考慮，例如 來源位址可見性 現有安全流程、安全運維可重用 轉型k8s安全管理成本低，易於角色融 合 一般傳統防火牆對高動態性環境 支援較弱 外部安全設施功能多，效能強，技術支 援 

© 2022 F5 33 Why K8s Egress Traffic Policy Control is Critical to Security Architecture- Part 1 HTTPS://COMMUNITY.F5.COM/T5/TECHNICAL-ARTICLES/WHY-K8S-EGRESS-TRAFFIC-POLICY-CONTROL-IS-CRITICAL-TO- SECURITY/TA-P/297887 Category Solutions or products Description Platform based Kubernetes Network policy Openshift EgressIP Openshift Egress Router pod Openshift Egress Firewall Openshift EgressNetworkPolicy A specific feature of a platform provider CNI based Calico Egress pod Calico Enhanced Network policy Cilium Enhanced Network policy Kube-ovn The capability of CNI Service Mesh NGINX Service Mesh Istio A function of Service Mesh Micro segmentation PrismaNeu Vector From ZTA perspective or use enforcer container to control egress Fusion F5 CES(Container Egress Service) Fortinet Use k8s native method to integrate exist security assets to k8s Others DNS interception Proxy pod Intercept coredns or use a proxy pod as forward proxy 

© 2022 F5 34 Why K8s Egress Traffic Policy Control is Critical to Security Architecture - Part 2 HTTPS://COMMUNITY.F5.COM/T5/TECHNICAL-ARTICLES/WHY-K8S-EGRESS-TRAFFIC-POLICY-CONTROL-IS-CRITICAL-TO- SECURITY/TA-P/297895 

© 2021 F5 35 Service Mesh 

© 2022 F5 36 E/W Traffic: What is a Service Mesh? Manages Internal Traffic (E/W) between pods: 1. Intercepts traffic using ‘sidecar proxy’ to gain control 2. Transparently provides security (mTLS), metrics and traces, and traffic control 3. Integrates with Ingress and Egress controllers for traffic to external services Kubernetes Cluster pod pod pod pod Service A pod pod pod pod Service B pod pod pod pod Service C Ingress Controllers Kubernetes API Traffic Policies Egress Controllers 

© 2022 F5 37 ISTIO (ENVOY AS DATA PLANE) F5 的 Service Mesh NGINX SERVICE MESH(NGINX AS DATA PLANE) 

© 2022 F5 38 NGINX Service Mesh Integrated Ingress/Egress and Service Mesh 

© 2022 F5 39 • BIG-IP SPK and Carrier-Grade Aspen Mesh (CGAM) work independently of each other solving similar but separate problems • There is no special integration between SPK and CGAM • Separate technology selection and buying decision by the SP Ingress/Egress vs Service Mesh Cloud Native vRAN Cloud Native DC Diameter SIP HTTP/2 TCP/UDP TCP TCP/SCTP AMF KUBERNETES CLUSTER Service Proxy Aspen Mesh Aspen Mesh Aspen Mesh http/2 Aspen Mesh AMF AMF SMF SMF AMF NRF NRF PCRF HSS SIP app app app PCF AUSF UDM N-S E-W E-W 

© 2022 F5 40 HTTPS://WWW.YOUTUBE.COM/WATCH?V=K0KQZ6JRKXC&T=612S future:net 2017 -Layer 7 is the New Layer 4: Cilium –Layer 7 Aware Networking & Security with BPF 當微服務與代理通 信時，流量會在進 出代理的過程中通 過 TCP 堆棧，從而 消耗處理資源並累 積延遲 

© 2022 F5 41 HTTPS://ISOVALENT.COM/BLOG/POST/2021-12-08-EBPF-SERVICEMESH/ eBPF, sidecars, and the future of the service mesh https://buoyant.io/blog/ebpf-sidecars-and-the-future- of-the-service-mesh 綜上所述，我們得出一個結論：無論 是 eBPF 還是沒有 eBPF，服務網格 的可預見未來都是由在用戶空間中運 行的 sidecar 代理構建的。 How eBPF will solve Service Mesh – Goodbye Sidecars Per Node Proxy vs Sidecar Proxy 

API Gateway 

© 2022 F5 43 API Gateway API Management API發佈與生命週期管理 API開發者入口 Devops/平臺整合 API監控、分析 API商業化 API運營 • 流量管理功能 • 資料平面性能 • 驗證與安全 • 生命週期管理 • 以應用為中心視角的API監控分析 • Devops整合 • RBAC • 開發者入口 

© 2022 F5 44 TLS termination Load Balancing Fine-grained access control Request routing Rate limiting Client authentication API Gateway 重要功能 

© 2022 F5 45 How Do I Choose? API Gateway vs. Ingress Controller vs. Service Mesh https://www.nginx.com/blog/how-do-i-choose-api-gateway-vs-ingress-controller-vs-service-mesh/ North-South API Gateway Use Cases: Use an Ingress Controller East-West API Gateway Use Cases: Use a Service Mesh 

DNS/Multi-Cluster/Multi-DC 

© 2022 F5 47 Kubernetes 基於 DNS 的服務發現規範 https://github.com/kubernetes/dns/blob/master/docs/specification.md RRs Records for Service with ClusterIP A/AAAA ..svc.. IN A ..svc.. IN A SRV _._...svc.. IN SRV ..svc.. PTR ....in-addr.arpa. IN PTR ..svc.. test01 SERVICE Name: nginx IP: 10.111.85.96 POD IP: 10.244.2.106 POD IP: 10.244.1.106 # kubectl exec busybox -- nslookup nginx.test01 Name: nginx.test01 Address 1: 10.111.85.96 nginx.test01.svc.cluster.local # kubectl exec busybox -- nslookup 10-244-2-106.nginx.test01 Name: 10-244-2-106.nginx.test01 Address 1: 10.244.2.106 10-244-2-106.nginx.test01.svc.cluster.local # kubectl exec busybox -- nslookup 10.111.85.96 Name: 10.111.85.96 Address 1: 10.111.85.96 nginx.test01.svc.cluster.local # kubectl exec busybox -- nslookup 10.244.2.106 Name: 10.244.2.106 Address 1: 10.244.2.106 10-244-2-106.nginx.test01.svc.cluster.local 

© 2022 F5 48 CoreDNS 默認 forward 到宿主機 Corefile: | .:53 { errors health kubernetes cluster.local in-addr.arpa ip6.arpa { pods insecure upstream fallthrough in-addr.arpa ip6.arpa ttl 30 } prometheus :9153 forward . /etc/resolv.conf log . { class denial class success class error class all } cache 30 loop reload loadbalance } Corefile: | .:53 { errors health kubernetes cluster.local in-addr.arpa ip6.arpa { pods insecure upstream fallthrough in-addr.arpa ip6.arpa ttl 30 } prometheus :9153 forward . 10.1.10.11 10.1.10.12 log . { class denial class success class error class all } cache 30 loop reload loadbalance } 默認使用宿主機 resolv.conf 配置 forward 到一個或多個 DNS伺服器 

© 2022 F5 49 POD DNS Policy 為 Default 則 POD 直接使用宿主機配置的 DNS 伺服器 DNS Policy 說明 Default 只使用宿主機的 DNS 配置 spec: dnsPolicy: Default ClusterFirst K8S 預設配置，先基於 CoreDNS，外部功能變數名稱請求轉發到外部 DNS 伺服器 spec: dnsPolicy: ClusterFirst ClusterFirstWithHostNet 使用 hostNetwork 的 POD 使用此項 None 忽略 DNS 的配置，依賴 dnsConfig 配置 spec: dnsPolicy: "None" dnsConfig: nameservers: - 1.2.3.4 searches: - ns1.svc.cluster-domain.example - my.dns.search.suffix options: - name: ndots value: "2" - name: edns0 

© 2022 F5 50 多集群的兩種思維模式 c c c c Cluster A Cluster B c c c c N N N c c c c c c c c N N N 統一管理面或統一API 集群管理面 集群管理面 c c c c Cluster A Cluster B c c c c N N N c c c c c c c c N N N 集群管理面 集群管理面 網路互連，服務互通，Pod互通 以集群或集群控制面為切入思維 以互連多集群間網路及資源互訪為切入思維 

© 2022 F5 51 統一管理面或統一API的相關技術或方案 c c c c Cluster A Cluster B c c c c N N N c c c c c c c c N N N 統一管理面或統一API 集群管理面 集群管理面 • Kubefed: K8s cluster federation project，獨立新控制面 • 採用gitops，通過CD工具來實現一致性管理， 無實際上層API抽象，將不同獨立集群以統一標準化方式管理 例如ArgoCD類工具 • 部分容器雲公司開發統一的管理介面，相容不同環境或類型 k8集群的管理，屬於多獨立集群的簡化管理思維，與gitops 思維類似，但圖形化更好，以及其它類如聚合指標，統一日誌 統一CI/CD流程做的更好 • 公有雲跨k8s集群管理模式: F5 Distributed Cloud ， Google Anthos, EKS anywhere， Azure Arc 根據應用部署模式的不同，可能需要額外的集群間網路資源互連互訪問題的考慮 

© 2022 F5 52 集群網路資源互訪相關技術方案 • Istio --gateway模式 （Istio本身控制面可以是單或多） • Consul – gateway模式 • Cilium （CNI） • Kube-ovn c c c c Cluster A Cluster B c c c c N N N c c c c c c c c N N N 集群管理面 集群管理面 網路互連，服務互通，Pod互通 

© 2022 F5 53 統一控制面方案快速對比 https://www.cncf.io/blog/2021/04/12/simplifying-multi-clusters-in-kubernetes/ 

© 2022 F5 54 跨集群網路資源互訪方案對比 

© 2022 F5 55 從F5流量引導角度看多集群模式 Cluster A Cluster B N N N N N N SVC對外發佈 SVC對外發佈 無論集群模式或是應用部署是如何 從應用外部訪問的角度看 只考慮是幾個入口 潛在的需要考慮問題： 是否各個集群控制面依然獨立工作 pod網路對接性 

© 2022 F5 56 GSLB IP Anycast DNS同步組 多集群/多中心的雙活部署模式 基於DNS的業務高可用架構 中心一 中心二 BIG-IP • Hostname/URL路由 • TLS端结 • 负载均衡 • WAF • BoT防护 • DDoS • 认证 • IP智能 • 大数据引擎 • 服务编排 • IPv6服务网关 NGINX+ KIC POD APP POD APP POD APP Kubernetes Cluster F5 CIS F5 CIS动态发布 NGINX+ KIC NGINX KIC处理 业务路由 BIG-IP提供增强 服务 BIG-IP • Hostname/URL路由 • TLS端结 • 负载均衡 • WAF • BoT防护 • DDoS • 认证 • IP智能 • 大数据引擎 • 服务编排 • IPv6服务网关 NGINX+ KIC POD APP POD APP POD APP Kubernetes Cluster F5 CIS F5 CIS动态发布 NGINX+ KIC NGINX KIC处理 业务路由 BIG-IP提供增强 服务 • GSLB統一功能變數名稱暴露服務，智慧分發到 多集群 • 業務連續性保障，用戶體驗 • 層層服務自動發現 • DNS與LTM聯動，指派LTM實現分散式健康探測 自動發現 自動發現 自動發現 自動發現 自動發現 自動發現 集群管理平面標準化部署應用 

© 2022 F5 57 集群的雙活部署：K8S CRD方式配置GSLB 基於DNS的業務高可用架構，自動注入GSLB功能變數名稱 容器業務發佈全自動化流程 • 雲原生方式 • 業務VS通過CRD發佈到 LTM上 • External DNS通過CRD 發佈到GTM上 • 支持多中心，多k8s集群 部署 • DNS記錄的自動創建，更 新和刪除 57 | © 2021 F5 NETWORKS 

© 2022 F5 58 • 將PaaS DNS體系分成三部分進行部署 • Local DNS負責終端控制和DNS轉發功能 • DNS接入控制單元實現DNS系統高可用, 使用 irules管理功能變數名稱分發策略 • PaaS功能變數名稱按照子域進行劃分，根據功能 變數名稱數量基線 進行擴容 • 該結構結構清晰，運維簡單 • 不同管理單元負責不同功能，分工明確 • 高擴展性，各邏輯單元自身實現高擴展性 • 高可靠性，通過各單元自身的結構和高性能設備 實現高可靠性 優勢 DNS Query PaaS功能變數名稱DNS 管理單元2 DNS 接入控制單元 Local DNS 管理單元 終端 DNS Query 方案介紹 PaaS功能變數名稱DNS 管理單元N 按照子域擴展 58 | © 2021 F5 NETWORKS PaaS功能變數名稱DNS 管理單元1 *.a2.domain.com *.a1.domain.com *.aN.domain.com 容器雲中的DNS- F5解決方案架構 

Global Service Mesh/ Global API Gateway Multi-Cluster/Multi-DC/Multi-Cloud F5 Distributed Cloud Platform Routing Firewall Loadbalancer e API Gateway WAF Proxy y Distributed Cloud Mesh 應用網路與安全 

© 2022 F5 60 F5 Distributed Cloud 架構 (網路面向) Public Cloud Private Cloud F5 XC Global Network (ADN) Users & CDNs Nomadic Edge Physical Edge RE RE CE CE CE CE XC Console IPSec/SSL tunnels IPSec/SSL tunnels 

© 2022 F5 61 Internet Load Balancer (VIPs) Sample App (hipster-shop) frontend.svc K8s cluster skg.quickstart.distributedappsonvolt.org Enable WAF Security frontend.svc K8s cluster K8s Ingress/Egress GW Allow gituhb.com (URL) Deny all other URLs Developers / Users SaaS / Services Deny All Others (Ingress/Egress) Allow Ingress: Enable WAF Allow Developer ISP Allow Egress: 8.8.8.8/32 (Network) gituhb.com (URL) F5 ® Distributed Cloud Console (SaaS) F5® Distributed Cloud Secure Kubernetes Gateway: Use-Case Topology F5 ® Distributed Cloud Secure Kubernetes Gateway: Cluster outside 

© 2022 F5 62 Internet Load Balancer (VIPs) Sample App (hipster-shop) frontend.svc K8s cluster skg.quickstart.distributedappsonvolt.org Enable WAF Security frontend.svc K8s cluster K8s Ingress/Egress GW Allow gituhb.com (URL) Deny all other URLs Developers / Users SaaS / Services Deny All Others (Ingress/Egress) Allow Ingress: Enable WAF Allow Developer ISP Allow Egress: 8.8.8.8/32 (Network) gituhb.com (URL) F5 ® Distributed Cloud Console (SaaS) F5® Distributed Cloud Secure Kubernetes Gateway: Use-Case Topology F5 ® Distributed Cloud Secure Kubernetes Gateway: Cluster inside 

© 2022 F5 63 ⚫ Kubernetes 網路 ⚫ CNI ⚫ Ingress ⚫ Egress ⚫ API GW ⚫ Service Mesh ⚫ DNS/Multi-Cluster/Multi-Cloud 總結 

No content