20210812 如何採用雲原生作法 Velero 備份還原你的 Kubernetes 叢集?

#kubernetes
#velero
#backup

Transcript

1. 如何採用雲原生作法 Velero 備份還原你的 Kubernetes 叢集? Phil Huang 黃秉鈞 <pichuang@pichuang.com.tw> 台灣雲原生使用者社群 (Cloud Native Taiwan User Group)
2. 黃秉鈞 Phil Huang • 在地社群活躍推廣者 • 台灣雲原生使用者社群 Cloud Native Taiwan User Group • 開源人年會 COSCUP • 現任職於 VMware Systems Engineer • 負責現代化應用平台 Tanzu (aka 猛男撿樹枝) • 專長領域 • 私有雲平台維運技術研究與實踐 • IT 自動化規劃及實踐 • 網路虛擬化及軟體定義網路 • 個人技術部落格：blog.pichuang.com.tw
3. Cloud Native Taiwan User Group 我們在這邊！ 技術迭代，持續學習，行有餘力，努力分享
4. Q: Kubernetes 災備還原計畫?
5. 災難還原計畫 Disaster Recovery Plan RTO / RPO 目標為 星期/天/小時 為單位 RTO / RPO 目標為 秒 / 即時 為單位 RTO: Recovery Time Objective 目標還原時間 RPO: Recovery Point Objective 目標點時間 Multi Site/Region 多區域部署 Backup / Restore 備份還原
6. Kubernetes DRP 架構 • 平台建立：基於 Kubernetes as a Service 觀念，建立多叢集 Kubernetes 部署，如 Azure Kubernetes Service • 程式部署：利用 Kubernetes 聲明 式宣告特性，透過 CI/CD Pipeline 或 kubectl apply 直接推送服務 於平台之上 • 網路服務：對外服務透過 GSLB / SLB / Ingress Controller 以 L7 層 服務為主，搭配協助控制網路流 • 儲存同步：以個別 Storage 供應商 能力為主 Storage Replication Ingress A App 3 App 2 PV App 1 Shared Storage Kubernetes Prod Ingress B App 3 App 2 App 1 PV Shared Storage Kubernetes DR GSLB SLB A SLB B CI / CD Pipeline External Container Registry Version Control System … DevOps Platform
7. 服務為主，平台為輔 Ref: 因應 Azure Kubernetes Service (AKS) 中商務持續性和災害復原的最佳做法 Kubernetes Ingress Service by VMware NSX Advanced Load Balancer • 在雲原生架構下，主要是以應用程式 (Applications) 作為災難復原主體，而非早期保護單體式服務 BM / VM 為主 • 基於基礎架構即代碼、Kubernetes 聲明式宣告及容器映像檔不可變動之三大當代雲原生平台特性， 於跨雲部署相同服務變得異常簡單 • 對於服務來說，最重要的是對外網路架構、多地儲存同步和微服務是否遵照雲原生應用 12 要素撰寫
8. Q: 每個微服務都能雙活?
9. 理解微服務 3 大類型 • 專注於 Application 本身，而非 Kubernetes 平台 • 主要分為 3 種類型 • App 1：Stateless App • App 2：Stateful App • App 3：Distributed App • 關於 Persistent Volume 的存取差異 • ReadWriteOnce (RWO) • ReadOnlyMany (ROM) • ReadWriteMany (RWX) • 並非每一個 App 都能適用於支援 Active / Active 架構，尤其是 Stateful App 形態 GSLB SLB A SLB B Ingress A Ingress B App 3 App 3 App 2 App 2 PV App 1 App 1 PV Shared Storage Shared Storage Storage Replication Kubernetes Prod Kubernetes DR RDBMS RDBMS NoSQL NoSQL Database Replication Active-Active Database
10. 災難還原計畫 Disaster Recovery Plan RTO / RPO 目標為 星期/天/小時 為單位 RTO / RPO 目標為 秒 / 即時 為單位 RTO: Recovery Time Objective 目標還原時間 RPO: Recovery Point Objective 目標點時間 Multi Site/Region 多區域部署 Backup / Restore 備份還原 Active / Active 微服務雙活 Active / Passive 微服務單活
11. Q: Kubernetes 如何做備份還原?
12. Ref: https://velero.io/ • 主要提供基於 Kubernetes 平台 3 大功能 • 基礎災難備援：備份還原 Kubernetes Objects • 跨雲搬遷服務：跨不同 Kubernetes 平台遷移 資源 • 資料保護能力：於指定 Kubernetes 平台內， 定期執行備份還原動作 • 由 VMware 作為專案最大貢獻者 良心推薦，這工具相當萬用，只要符合標準 API， 無論你是哪一家的 Kubernetes 皆可使用
13. Velero: 基礎災難備援 • 需要搭配相容於 S3 協議之 Object Storage 使用，例如 Azure Blob、 MinIO、Ceph 等 • 備份單位可選全叢集 (不含 etcd database)、特定 Namespace 或指定 Label 備份 • 可以使用內建指令 velero schedule 進行排程定期備份 • 依然可以遵循業界常見 備份 3 2 1 原則 • 至少複製 3 份備份 • 將備份分別存在 2 種不同儲存媒體 • 至少 1 份放在異地 GSLB SLB A Ingress A Kubernetes v1.20 Namespace: CNTUG Frontend Backend Shared Storage Backup namespace/label Restore namespace/label Object Storage
14. CSI: Container Storage Interface Ref: https://docs.pivotal.io/tkgi/1-11/velero-scenarios.html App Type Backup criteria Kubernetes Service Type Storage Provider Tools Stateless Namespace Load balancer with dynamic IP None Velero Label Load balancer with dynamic IP Namespace Ingress with static IP Stateful Namespace Load balancer with dynamic IP CSI Velero, Restic Stateful Namespace Load balancer with static IP CSI Velero, Restic StatefulSet Namespace Headless cluster IP CSI Velero, Restic Velero: 基礎災難備援常見類型 • 結論，學 Velero 就能做能做到備份還原 Kubernetes 相關資源 • velero install --use-restic …
15. Velero: 跨雲搬遷 • 如同備份還原，但涉及到不同 Cloud Provider 之 Kubernetes 平台，有高 機會會遇到以下事情 • 兩邊 Kubernetes API 不一樣，導致 有可能過期的 API 不能用 • 各自 Kubernetes 平台的特殊性，如 PSP/SCC、Kubernetes 資源不一樣 • 若是混合雲架構，則有高機率會遇 到雙邊網路受限，導致儲存或映像 檔一邊連得到另一邊連不到 • 通用建議 • 兵家必爭之地：等待各平台出基於 Velero 之搬遷工具 • 自行手動修復 GSLB SLB A SLB B Ingress A Ingress B Kubernetes v1.20 Kubernetes v1.19 Namespace: CNTUG Frontend Backend Namespace: CNTUG Backend Frontend Shared Storage Backup namespace/label Restore namespace/label Object Storage
16. 結論：學 Velero 準沒錯 • Velero 已成為現代 Kubernetes 資源備份還原最佳的選擇 • 很多專業備份軟體廠商也是基於 Velero + Restic 為基礎提供企業級備份能力 • 可評估各家 Cloud Provider 提供的 Kubernetes 跟別家的 Kubernetes API 相容性是否一致 • 開放性思考 • 基於基礎架構即代碼、Kubernetes 聲明式宣告及容器映像檔不可變動之三大當代雲原生平 台特性之下，加上現代微服務迭代更新速度較過往快速，為何還需要備份這堆資源？ 重新 部署不就得了？
17. Thank You