Tweet
Tweet

Slide 1

Slide 1 text

Azure Red Hat OpenShift 於 Azure TaiwanNorth 上之雲原生異地備援架構設計 Phil Huang Sr. Cloud Solution Architect | CNCF Ambassador 2024/12/17 Microsoft x Red Hat 混合雲 AI 轉型論壇

Slide 2

Slide 2 text

https://datacenters.microsoft.com/globe/explore?info=region_taiwannorth

Slide 3

Slide 3 text

Phil Huang 黃秉鈞 台灣微軟客戶成功事業群 Customer Success Unit, Microsoft Taiwan

Slide 4

Slide 4 text

Agenda  Azure Red Hat OpenShift 於 Azure TaiwanNorth 整體架構 1. Azure Red Hat OpenShift 服務本體 2. 原始碼管理及 DevSecOps 3. 容器映像檔 4. 金鑰、秘密和憑證管理 5. 資料傳輸 6. 雲地網路串接整合

Slide 5

Slide 5 text

Architecture Azure TaiwanNorth is READY!!!

Slide 6

Slide 6 text

Azure Red Hat OpenShift

Slide 7

Slide 7 text

Azure Red Hat OpenShift 於 TaiwanNorth 實機畫面

Slide 8

Slide 8 text

Red Hat Operator Hub 可以運作於 ARO 上

Slide 9

Slide 9 text

可明確辨識 IP 所在地: TW  下列 Geo IP Database 皆可正確辨識該 IP 位於 Taiwan • DB-IP • IPGeolocation • IP2Location • MaxMind GeoIP • IPInfo.io Azure Public IP

Slide 10

Slide 10 text

部署 Azure Red Hat OpenShift Azure Red Hat OpenShift  部署 Azure Red Hat OpenShift 供裝方式 1. Azure Portal / Azure CLI 2. Red Hat Ansible Automation Platform 3. (NEW!) Azure Verified Modules

Slide 11

Slide 11 text

Microsoft Entra ID 多因子認證保護 Azure Red Hat OpenShift  可將 Microsoft Entra ID 作為 Cluster Identity Provider, 直接沿用既有的多因子驗 證 MFA 和條件式存取 (Conditional Access) 識別登入身份和分配權限

Slide 12

Slide 12 text

供裝版本和後續升級維護 ARO 可供裝版本  Azure Red Hat OpenShift 現已支援在 Azure TaiwanNorth 開啟, 且可供裝下 列 OpenShift 版本 後續升級和 Security Patch  可執行 in-place update 至特定版本, 如 4.15.x  或者是指定特定 Channel, 更新至新 版本的 OpenShift, 如 stable-4.16 Azure Red Hat OpenShift

Slide 13

Slide 13 text

ARO 計算節點規劃 Azure Red Hat OpenShift  Control Node 最小規格為 3 台 Standard_D8as_v5  Worker Node 最小規格為 3 台 Standard_D4as_v5  可支援 Spot / GPU / Windows 節點  可額外建立最多 3 台 Infra Node 放置下列服務, 而 不另外收取 OpenShift 訂閱費用 1. Integrated Container Image Registry 2. OpenShift Router: HAProxy-based Ingress Controller 3. OpenShift Logging: 叢集等級的 Logging 服務 4. OpenShift Metrics: 叢集等級或專案等級的 Metrics

Slide 14

Slide 14 text

程式碼 (Source Code) 及 DevSecOps

Slide 15

Slide 15 text

於 Kubernetes 上部署服務 Source Code Control 於 DR 環境中須確保下列 2 個物件來源 1. YAML 原始碼及其有關係的 Kubernetes 資源 (如 ConfigMap / ServiceAccount / secret) 或 Helm Chart 的原始碼  可透過 Git push 的方式抄一份副本到 Azure DevOps 或 GitHub Repository 2. 容器映像檔 (Container Image) 的來源  可透過單向同步的方式抄一份副本到 Azure Container Registry

Slide 16

Slide 16 text

程式碼管理 Source Code Control  萬物皆可版控, 無論是 YAML / Terraform / Script / CICD Pipeline 或者是生成物 (Artifacts)  敏感資料需要透過 Azure Key Vault 存放, 或使用 環境變數儲存, 而不要直接放在 Git Repository 進 行版控

Slide 17

Slide 17 text

左移安全性: 初期就開始測試安全性問題, 而不是等到最後  密鑰掃描 (Secret Scanning) 提早偵測是 否有 Secrets 或 Token 被不小心放入到 程式碼倉庫內, 就算是 DR 環境也不能 例外  程式碼掃描 (Code Scanning) 預防寫出 有潛在漏洞的程式碼  相依性管理 (Dependency review) 對應 軟體供應鏈攻擊 Source Code Control

Slide 18

Slide 18 text

No content

Slide 19

Slide 19 text

透過 CICD Pipeline 自動化部署流程 GitHub Actions Azure Pipelines CICD Pipelines

Slide 20

Slide 20 text

避免寫死環境變數，因隨環境不同有所調整 CICD Pipelines

Slide 21

Slide 21 text

容器映像檔 (Container Images)

Slide 22

Slide 22 text

平時持續抄寫, 可作為備份和備援之用 Azure Container Registry (ACR)  現已於 TaiwanNorth 可用  支援純私有網路容器映像檔儲存和資料傳輸  相容 Docker 容器映像檔  相容 OCI Images / Artifacts  相容 Helm Charts  不同 Container Registry 之間的同步方式 1. az acr import 2. skopeo copy 3. docker pull / docker push 4. Harbor replication rules

Slide 23

Slide 23 text

最小權限原則 Azure Container Registry (ACR)  使用 ACR 內建的 Token 功能進行最小權限委派，將 Pull 和 Push 的權限拆分 1. Repository Pull: 提供給 Azure Red Hat OpenShift 具備拉取 Container Images 的權限 2. Repository Push: 提供給地端 Container Registry (例如 Red Hat Quay 等) 具有單向推送容器映像檔

Slide 24

Slide 24 text

Microsoft Defender for Cloud: Azure Container Registry

Slide 25

Slide 25 text

MS SQL in Container  Microsoft 官方釋放的映像檔位置皆位於 mcr.microsoft.com  提供 3 個不同代數 Microsoft SQL Server 2022/2019/2017 on Red Hat Container Image Microsoft Artifact Registry https://mcr.microsoft.com/en-us/artifact/mar/mssql/rhel/server/about 負責維護和安全更新

Slide 26

Slide 26 text

將容器映像檔直接掛在在 Pod 上面 Kubernetes v1.31 [alpha]

Slide 27

Slide 27 text

金鑰 / 憑證 / 秘密同步

Slide 28

Slide 28 text

已支援多種加密供裝方式 Azure Key Vault AKV Standard AKV Premium Azure Managed HSM 支援區域 Azure Taiwan North 私有連線能力 皆支援 Azure Private Endpoint 合規性 FIPS 140-2 Level 1 FIPS 140-2 Level 3 PCI DSS v3.2.1 PCI 3DS FIPS 140-2 Level 3 PCI DSS v4.0 PCI 3DS HSM 硬體保護 No Yes Yes 支援功能 Asymmetric Key Secrets Certificates Asymmetric Key Secrets Certificates Asymmetric Key Symmetric Key 使用案例 提供經濟實惠的加密能力 提供相對嚴格的加密能力 具有嚴格安全性和合規性需求 需要儲存和處理客戶信用卡 https://learn.microsoft.com/zh-tw/azure/security/fundamentals/key-management-choose

Slide 29

Slide 29 text

最常搭配使用 Secrets 存放 Azure Key Vault  除了常見存放 API Key，其實還可以 存放任何不應該放置於 Git Repository 的字串  可以匯入 Private Certificates，也可以 新增自簽憑證 (Self-signed certificates)

Slide 30

Slide 30 text

地端 OpenShift 也可以使用 Azure Key Vault Azure Arc Enabled OpenShift Cluster https://learn.microsoft.com/en-us/azure/azure-arc/kubernetes/tutorial-akv-secrets-provider  Azure Arc 提供 Azure Key Vault Secrets Provider，可直接使用雲端 Azure Key Vaults 內的資源  採用 Secret Store Provider CSI 進行介接

Slide 31

Slide 31 text

資料庫同步

Slide 32

Slide 32 text

SQL Managed Link On-premise Microsoft SQL Server -> Azure SQL Managed Instance https://learn.microsoft.com/en-us/azure/azure-sql/managed-instance/managed-instance-link-feature-overview?view=azuresql  提供 SQL Server 與 Azure SQL MI 之 間近乎即時的數據抄寫  使用場景  災害復原  唯讀資料放置於 Azure TaiwanNorth  複製地端資料於 Azure TaiwanNorth 主站 SQL Server 版本 作業系統 (OS) 單向複寫 災害復原選項 SQL Server 2022 (16.x) CU 10+ Windows Server Red Hat Enterprise Linux GA 雙向還原 SQL Server 2019 (15.x) Windows Server GA Online failback 支援從 SQL Server 至 SQL MI 反向回去則使用異動複寫或匯出 bacpac SQL Server 2016 (13.x) Windows Server GA Online failback 支援從 SQL Server 至 SQL MI 反向回去則使用異動複寫或匯出 bacpac

Slide 33

Slide 33 text

Oracle Data Guard On-premise Oracle Database -> Oracle Database on Azure VM https://learn.microsoft.com/zh-tw/azure/virtual-machines/workloads/oracle/oracle-reference-architecture#oracle-data-guard-far-sync

Slide 34

Slide 34 text

雲地網路串接 Azure Platform Landing Zone

Slide 35

Slide 35 text

Azure VPN Gateway 雲地網路延遲 請注意, 測試數據會受到 ISP / 當下客戶內部網路環境 / 服務類別會有不同程度的影響, 故該值僅參考  Azure VPN Gateway 可採用 IPsec 協議, 確保雲地資料交換時能夠於加密通道內安全 地傳輸  台灣北部範圍內, 絕大部分網路延遲 (Network Latency) 大多都會坐落在 < 5ms 左右  該服務定位建議為 PoC 或作為 ExpressRoute 專線連線的備援線路選擇之一 Azure Network Design

Slide 36

Slide 36 text

Azure ExpressRoute 雲地網路延遲 請注意, 測試數據會受到 ISP / 當下客戶內部網路環境 / 服務類別會有不同程度的影響, 故該值僅參考  Azure ExpressRoute 除了可以確保資料傳輸可透過 802.1q 或 QinQ 專線傳輸以外, 同 時也可適用於 Microsoft 365 資料於專線內傳輸  無論是 ExpressRoute Direct (上限 100 Gbps) 或者是 ExpressRoute Circuit (上限 10 Gbps), 皆已經開放接入 Azure TaiwanNorth  直至今日實測最佳網路延遲約略在 <5ms 且低於 VPN Gateway Lantency Azure Network Design On-premise Router -> Azure TaiwanNorth

Slide 37

Slide 37 text

Hub 常見核心服務 Azure Network Design  Azure 私人 DNS 域名 (Private DNS Zone)  總計有 73 個限定 Azure Private DNS Zone 可被解析, 例如 privatelink.openai.azure.com 或 privatelink.azure-api.net  Azure 私人 DNS 解析器 (Private DNS Resolver)  讓你從地端環境查詢 Azure Private DNS Zone 能力, 或者是從雲端 轉發特定 DNS 查詢, 不需要部署和維護 VM  提供 SLA 99.99% PaaS DNS Resolver 解析能力  Azure 防火牆 (Azure Firewall Premium)  符合信用卡產業資料安全性標準 (PCI DSS)  支援網路入侵偵測和防護系統 (IDPS) / URL Filter / TLS Inspection / Web Categories

Slide 38

Slide 38 text

Azure Red Hat OpenShift + Azure TaiwanNorth 已準備好 1. 安全合規第一: 搭建異地備援環境之餘，同時強調各服務設計要點和注意事項，以 確保建立安全合規的雲原生環境 2. 雲地一致化: Azure Red Hat OpenShift 使用體驗一如既往地跟 Red Hat OpenShift 的使用體驗一致 3. Azure TaiwanNorth is READY!!!: 已具備多樣化服務符合大多數台灣使用者的需求 總結

Slide 39

Slide 39 text

Thank you