20241217-Azure Red Hat OpenShift 於 Azure TaiwanNorth 上之雲原生異地備援架構設計

1. Azure Red Hat OpenShift 於 Azure TaiwanNorth 上之雲原生異地備援架構設計 Phil Huang <phil.huang@microsoft.com> Sr. Cloud Solution Architect | CNCF Ambassador 2024/12/17 Microsoft x Red Hat 混合雲 AI 轉型論壇
2. https://datacenters.microsoft.com/globe/explore?info=region_taiwannorth
3. Phil Huang 黃秉鈞 台灣微軟客戶成功事業群 Customer Success Unit, Microsoft Taiwan
4. Agenda  Azure Red Hat OpenShift 於 Azure TaiwanNorth 整體架構 1. Azure Red Hat OpenShift 服務本體 2. 原始碼管理及 DevSecOps 3. 容器映像檔 4. 金鑰、秘密和憑證管理 5. 資料傳輸 6. 雲地網路串接整合
5. Architecture Azure TaiwanNorth is READY!!!
6. Azure Red Hat OpenShift
7. Azure Red Hat OpenShift 於 TaiwanNorth 實機畫面
8. Red Hat Operator Hub 可以運作於 ARO 上
9. 可明確辨識 IP 所在地: TW  下列 Geo IP Database 皆可正確辨識該 IP 位於 Taiwan • DB-IP • IPGeolocation • IP2Location • MaxMind GeoIP • IPInfo.io Azure Public IP
10. 部署 Azure Red Hat OpenShift Azure Red Hat OpenShift  部署 Azure Red Hat OpenShift 供裝方式 1. Azure Portal / Azure CLI 2. Red Hat Ansible Automation Platform 3. (NEW!) Azure Verified Modules
11. Microsoft Entra ID 多因子認證保護 Azure Red Hat OpenShift  可將 Microsoft Entra ID 作為 Cluster Identity Provider, 直接沿用既有的多因子驗 證 MFA 和條件式存取 (Conditional Access) 識別登入身份和分配權限
12. 供裝版本和後續升級維護 ARO 可供裝版本  Azure Red Hat OpenShift 現已支援在 Azure TaiwanNorth 開啟, 且可供裝下 列 OpenShift 版本 後續升級和 Security Patch  可執行 in-place update 至特定版本, 如 4.15.x  或者是指定特定 Channel, 更新至新 版本的 OpenShift, 如 stable-4.16 Azure Red Hat OpenShift
13. ARO 計算節點規劃 Azure Red Hat OpenShift  Control Node 最小規格為 3 台 Standard_D8as_v5  Worker Node 最小規格為 3 台 Standard_D4as_v5  可支援 Spot / GPU / Windows 節點  可額外建立最多 3 台 Infra Node 放置下列服務, 而 不另外收取 OpenShift 訂閱費用 1. Integrated Container Image Registry 2. OpenShift Router: HAProxy-based Ingress Controller 3. OpenShift Logging: 叢集等級的 Logging 服務 4. OpenShift Metrics: 叢集等級或專案等級的 Metrics
14. 程式碼 (Source Code) 及 DevSecOps
15. 於 Kubernetes 上部署服務 Source Code Control 於 DR 環境中須確保下列 2 個物件來源 1. YAML 原始碼及其有關係的 Kubernetes 資源 (如 ConfigMap / ServiceAccount / secret) 或 Helm Chart 的原始碼  可透過 Git push 的方式抄一份副本到 Azure DevOps 或 GitHub Repository 2. 容器映像檔 (Container Image) 的來源  可透過單向同步的方式抄一份副本到 Azure Container Registry
16. 程式碼管理 Source Code Control  萬物皆可版控, 無論是 YAML / Terraform / Script / CICD Pipeline 或者是生成物 (Artifacts)  敏感資料需要透過 Azure Key Vault 存放, 或使用 環境變數儲存, 而不要直接放在 Git Repository 進 行版控
17. 左移安全性: 初期就開始測試安全性問題, 而不是等到最後  密鑰掃描 (Secret Scanning) 提早偵測是 否有 Secrets 或 Token 被不小心放入到 程式碼倉庫內, 就算是 DR 環境也不能 例外  程式碼掃描 (Code Scanning) 預防寫出 有潛在漏洞的程式碼  相依性管理 (Dependency review) 對應 軟體供應鏈攻擊 Source Code Control
19. 透過 CICD Pipeline 自動化部署流程 GitHub Actions Azure Pipelines CICD Pipelines
20. 避免寫死環境變數，因隨環境不同有所調整 CICD Pipelines
21. 容器映像檔 (Container Images)
22. 平時持續抄寫, 可作為備份和備援之用 Azure Container Registry (ACR)  現已於 TaiwanNorth 可用  支援純私有網路容器映像檔儲存和資料傳輸  相容 Docker 容器映像檔  相容 OCI Images / Artifacts  相容 Helm Charts  不同 Container Registry 之間的同步方式 1. az acr import 2. skopeo copy 3. docker pull / docker push 4. Harbor replication rules
23. 最小權限原則 Azure Container Registry (ACR)  使用 ACR 內建的 Token 功能進行最小權限委派，將 Pull 和 Push 的權限拆分 1. Repository Pull: 提供給 Azure Red Hat OpenShift 具備拉取 Container Images 的權限 2. Repository Push: 提供給地端 Container Registry (例如 Red Hat Quay 等) 具有單向推送容器映像檔
24. Microsoft Defender for Cloud: Azure Container Registry
25. MS SQL in Container  Microsoft 官方釋放的映像檔位置皆位於 mcr.microsoft.com  提供 3 個不同代數 Microsoft SQL Server 2022/2019/2017 on Red Hat Container Image Microsoft Artifact Registry https://mcr.microsoft.com/en-us/artifact/mar/mssql/rhel/server/about 負責維護和安全更新
26. 將容器映像檔直接掛在在 Pod 上面 Kubernetes v1.31 [alpha]
27. 金鑰 / 憑證 / 秘密同步
28. 已支援多種加密供裝方式 Azure Key Vault AKV Standard AKV Premium Azure Managed HSM 支援區域 Azure Taiwan North 私有連線能力 皆支援 Azure Private Endpoint 合規性 FIPS 140-2 Level 1 FIPS 140-2 Level 3 PCI DSS v3.2.1 PCI 3DS FIPS 140-2 Level 3 PCI DSS v4.0 PCI 3DS HSM 硬體保護 No Yes Yes 支援功能 Asymmetric Key Secrets Certificates Asymmetric Key Secrets Certificates Asymmetric Key Symmetric Key 使用案例 提供經濟實惠的加密能力 提供相對嚴格的加密能力 具有嚴格安全性和合規性需求 需要儲存和處理客戶信用卡 https://learn.microsoft.com/zh-tw/azure/security/fundamentals/key-management-choose
29. 最常搭配使用 Secrets 存放 Azure Key Vault  除了常見存放 API Key，其實還可以 存放任何不應該放置於 Git Repository 的字串  可以匯入 Private Certificates，也可以 新增自簽憑證 (Self-signed certificates)
30. 地端 OpenShift 也可以使用 Azure Key Vault Azure Arc Enabled OpenShift Cluster https://learn.microsoft.com/en-us/azure/azure-arc/kubernetes/tutorial-akv-secrets-provider  Azure Arc 提供 Azure Key Vault Secrets Provider，可直接使用雲端 Azure Key Vaults 內的資源  採用 Secret Store Provider CSI 進行介接
31. 資料庫同步
32. SQL Managed Link On-premise Microsoft SQL Server -> Azure SQL Managed Instance https://learn.microsoft.com/en-us/azure/azure-sql/managed-instance/managed-instance-link-feature-overview?view=azuresql  提供 SQL Server 與 Azure SQL MI 之 間近乎即時的數據抄寫  使用場景  災害復原  唯讀資料放置於 Azure TaiwanNorth  複製地端資料於 Azure TaiwanNorth 主站 SQL Server 版本 作業系統 (OS) 單向複寫 災害復原選項 SQL Server 2022 (16.x) CU 10+ Windows Server Red Hat Enterprise Linux GA 雙向還原 SQL Server 2019 (15.x) Windows Server GA Online failback 支援從 SQL Server 至 SQL MI 反向回去則使用異動複寫或匯出 bacpac SQL Server 2016 (13.x) Windows Server GA Online failback 支援從 SQL Server 至 SQL MI 反向回去則使用異動複寫或匯出 bacpac
33. Oracle Data Guard On-premise Oracle Database -> Oracle Database on Azure VM https://learn.microsoft.com/zh-tw/azure/virtual-machines/workloads/oracle/oracle-reference-architecture#oracle-data-guard-far-sync
34. 雲地網路串接 Azure Platform Landing Zone
35. Azure VPN Gateway 雲地網路延遲 請注意, 測試數據會受到 ISP / 當下客戶內部網路環境 / 服務類別會有不同程度的影響, 故該值僅參考  Azure VPN Gateway 可採用 IPsec 協議, 確保雲地資料交換時能夠於加密通道內安全 地傳輸  台灣北部範圍內, 絕大部分網路延遲 (Network Latency) 大多都會坐落在 < 5ms 左右  該服務定位建議為 PoC 或作為 ExpressRoute 專線連線的備援線路選擇之一 Azure Network Design
36. Azure ExpressRoute 雲地網路延遲 請注意, 測試數據會受到 ISP / 當下客戶內部網路環境 / 服務類別會有不同程度的影響, 故該值僅參考  Azure ExpressRoute 除了可以確保資料傳輸可透過 802.1q 或 QinQ 專線傳輸以外, 同 時也可適用於 Microsoft 365 資料於專線內傳輸  無論是 ExpressRoute Direct (上限 100 Gbps) 或者是 ExpressRoute Circuit (上限 10 Gbps), 皆已經開放接入 Azure TaiwanNorth  直至今日實測最佳網路延遲約略在 <5ms 且低於 VPN Gateway Lantency Azure Network Design On-premise Router -> Azure TaiwanNorth
37. Hub 常見核心服務 Azure Network Design  Azure 私人 DNS 域名 (Private DNS Zone)  總計有 73 個限定 Azure Private DNS Zone 可被解析, 例如 privatelink.openai.azure.com 或 privatelink.azure-api.net  Azure 私人 DNS 解析器 (Private DNS Resolver)  讓你從地端環境查詢 Azure Private DNS Zone 能力, 或者是從雲端 轉發特定 DNS 查詢, 不需要部署和維護 VM  提供 SLA 99.99% PaaS DNS Resolver 解析能力  Azure 防火牆 (Azure Firewall Premium)  符合信用卡產業資料安全性標準 (PCI DSS)  支援網路入侵偵測和防護系統 (IDPS) / URL Filter / TLS Inspection / Web Categories
38. Azure Red Hat OpenShift + Azure TaiwanNorth 已準備好 1. 安全合規第一: 搭建異地備援環境之餘，同時強調各服務設計要點和注意事項，以 確保建立安全合規的雲原生環境 2. 雲地一致化: Azure Red Hat OpenShift 使用體驗一如既往地跟 Red Hat OpenShift 的使用體驗一致 3. Azure TaiwanNorth is READY!!!: 已具備多樣化服務符合大多數台灣使用者的需求 總結
39. Thank you